Find your next tech and IT Job or contract Data Engineering

Contexte Dans le cadre du renforcement de nos équipes data, nous recherchons un(e) Data Engineer expérimenté(e) sur DBT (Data Build Tool) pour intervenir sur nos projets de transformation et de modélisation de données. Compétences techniques requises - Maîtrise de DBT (Data Build Tool) : modélisation, tests, documentation et déploiement - Bonne maîtrise du langage SQL (Structured Query Language) - Expérience sur un entrepôt de données cloud (Snowflake, BigQuery, Redshift ou équivalent) - Connaissance des bonnes pratiques d'architecture data (modèle en couches : staging, intermediate, marts) - Utilisation de Git (gestion de versions) et d'un pipeline CI/CD (Continuous Integration / Continuous Deployment) Compétences appréciées - Connaissance d'un orchestrateur de données (Airflow, Dagster ou équivalent) - Sensibilité à la gouvernance et à la qualité des données Profil recherché - Minimum 2 ans d'expérience confirmée sur DBT (Data Build Tool) - Autonomie, rigueur et capacité à s'intégrer rapidement dans une équipe existante - Bon niveau de communication en français

Au sein d'un client majeur du secteur de la protection sociale et de l'assurance, vous interviendrez sur un projet stratégique de transition cloud vers Google Cloud Platform (GCP). Votre mission consistera à concevoir et déployer des pipelines ETL/ELT pour centraliser les données métiers (comptabilité, achats, pilotage budgétaire) dans des data pools sécurisés et partagés. Vous serez responsable de l'automatisation des flux multi-sources, de la modélisation des données sous dbt et SQL dans BigQuery, ainsi que de l'optimisation des performances et des coûts. Vous contribuerez également à des initiatives GenAI (RAG, assistants internes) et accompagnerez les équipes métiers dans la gouvernance des données. Poste basé en Île-de-France.

Vous intégrerez une Data Factory au sein d'un Data Office, dont la mission est de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'équipe adopte une approche « produit », centrée sur les utilisateurs, afin de répondre aux besoins concrets des métiers tout en garantissant la performance, la sécurité et l'évolutivité des solutions. Missions principales Transformer les données brutes en données exploitables et requêtables dans le Data Lake. Consolider et orchestrer les données au fur et à mesure de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views ; réintégration des données dans le SI ; mise en place de services de scoring. Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et industrialiser les pipelines de données. Fiabiliser le cycle de développement et de mise en production des traitements Data. Mettre en place et respecter un processus qualité comprenant : documentation ; tests unitaires ; tests d'intégration ; commentaires du code ; gestion du versioning. Collaborer avec les différents interlocuteurs du projet : PO, BA, testeurs, architectes et équipes métiers.

Envie de relever un nouveau défi autour de la Data et de l'IA ? CELAD vous attend ! 🚀 Vous êtes passionné(e) par la recherche d'information, les architectures data et l'IA générative ? Vous souhaitez intervenir sur des problématiques de volumétrie, d'indexation et de pertinence à grande échelle ? Nous recherchons un Tech Lead Data Retrieval / RAG pour rejoindre un acteur du secteur de l'édition juridique et de la Legaltech, basé à La Défense. Au sein d'une équipe spécialisée dans les services IA, vous contribuerez à la conception du socle data qui alimente des applications intelligentes destinées aux professionnels du droit. 🎯 Votre rôleVous serez le référent technique sur la collecte, l'ingestion, la transformation et l'indexation de corpus documentaires volumineux. Votre objectif : concevoir des pipelines fiables et scalables, tout en optimisant la pertinence des résultats issus de moteurs de recherche hybrides et de systèmes RAG. 🚀 Vos principales missionsIngestion de données : concevoir des pipelines capables de collecter et de traiter des sources hétérogènes, d'assurer le parsing, le nettoyage, le chunking et la normalisation des documents. Indexation : industrialiser les mécanismes d'indexation et d'embeddings sur des corpus volumineux, en garantissant la fraîcheur et la cohérence des index. Recherche d'information : concevoir des stratégies de recherche combinant recherche lexicale, recherche sémantique, BM25, embeddings et reranking. Optimisation de la pertinence : définir des métriques et des jeux de tests pour mesurer et améliorer la qualité du retrieval. Architecture RAG : structurer la récupération des documents et du contexte transmis aux LLM, en gérant les citations, la déduplication et les fenêtres de contexte. Qualité et traçabilité : mettre en place le versioning des datasets et des index, le lignage des données et des mécanismes de supervision. Sécurité : contribuer à la protection des données, au cloisonnement des traitements et au respect des exigences réglementaires. Leadership technique : accompagner les équipes, promouvoir les bonnes pratiques de développement et contribuer aux choix d'architecture. 🛠️ Environnement techniqueLangages : Python 3.11+, Go apprécié. Recherche et indexation : OpenSearch, Elasticsearch, pgvector, Weaviate, Qdrant, BM25, recherche hybride. IA et NLP : embeddings, sentence-transformers, tokenisation, parsing documentaire, reranking, RAG, LangChain. LLM : OpenAI, Mistral, Bedrock ou technologies équivalentes. Data engineering : PostgreSQL, Airflow, Spark ou équivalents. Infrastructure : Kafka, Redis, Docker, CI/CD, Kubernetes. Tests et évaluation : Pytest, precision, recall, nDCG, MRR.

Notre client dans le secteur Aérospatial et défense recherche un/une Data Engineer GCP / BigQuery H/F Description de la mission : Dans le cadre d'un projet de migration vers Google Cloud Platform, notre client recherche un(e) Senior Data Engineer spécialisé(e) en GCP et BigQuery pour renforcer l'équipe en charge d'un projet de BI . Au sein d'une équipe de trois personnes organisée en mode Agile Kanban, vous interviendrez sur l'optimisation et la structuration de la plateforme data, avec notamment pour objectifs : Optimiser les traitements et les performances sous BigQuery. Améliorer l'organisation du code et des repositories Git. Contribuer à la migration en cours vers GCP. Mettre en place de bonnes pratiques de développement et de CI/CD. Réduire la dette technique et poser des bases solides pour la suite du projet. Collaborer avec les équipes techniques et les interlocuteurs métiers afin de bien comprendre les enjeux liés aux opérations Environnement techniqueGoogle Cloud Platform BigQuery GitHub et GitHub Actions CI/CD Compétences / Qualités indispensables : Expertise confirmée de GCP et BigQuery, Bonne maîtrise des pratiques Git et CI/CD., Anglais B1 Compétences / Qualités qui seraient un + : Capacité à intervenir sur des projets complexes et de grande ampleur. Très bonnes qualités d'écoute et de communication. Esprit d'équipe et capacité à s'intégrer rapidement dans une nouvelle organisation. Une bonne compréhension des activités opérationnelles d'une compagnie aérienne, notamment sur les volets passagers et Cargo, serait un réel atout.Informations concernant le télétravail : Oui — 4 jours/semaine

Mission Data Engineer Azure / Databricks Confirmé Freelance ⏳ Durée : 3 ans 🗓️ Démarrage : ASAP (mi-décembre au plus tard) 📍 Lieu : Hauts-de-Seine (92) 🎓 Expérience : 5 à 10 ans 🏠 Télétravail : 2 jours par semaine 🏭 Secteur : Grande distribution / Retail 🏢 Contexte de la mission Au sein de la DSI d'un grand groupe de la distribution, vous rejoindrez une équipe Data Lab qui porte un vaste programme de modernisation du SI autour de la Data, de l'IA et de l'Analytics Vous intégrerez une Data Factory qui réunit équipes IT et directions Data métiers. Elle conçoit et déploie des produits analytiques à forte valeur ajoutée pour les fonctions support, la logistique, les points de vente et les consommateurs L'organisation est Agile, structurée en domaines et squads. Vous rejoindrez une squad dédiée à l'équipement de la maison, qui développe des cas d'usage BI, Analytics et Data Science Le processus de sélection comprend un premier entretien en visio, puis un test technique sur site ⚙️ Environnement technique Cloud : Azure Data : Databricks, Spark, Data Lake, Cloud Data Warehousing Langages : Python, SQL BI : Power BI DevOps : CI/CD, Azure DevOps Méthodologie : Agile, JIRA 🛠️ Missions principales Concevoir et construire des pipelines de données pour transformer, enrichir et traiter les données du Data Lake Développer des notebooks Databricks pour des traitements avancés Mettre en œuvre des solutions de Cloud Data Warehousing (optimisation des traitements, tuning des requêtes SQL) Rédiger la documentation technique (dossiers d'analyse technique, release notes…) Réaliser des revues de code dans une logique de qualité et de bonnes pratiques Concevoir et exécuter les tests unitaires Réaliser des tableaux de bord sous Power BI Livrer les développements dans un environnement DevOps avec CI/CD

Contexte de la mission Dans le cadre de la transformation digitale de ses activités, notre client recherche un Business Analyst / Data Engineer expérimenté pour accompagner les équipes opérationnelles de Fraîcheur de Paris (FrDP) dans l'exploitation, l'optimisation et l'évolution de leurs solutions digitales. La mission comprend également une forte dimension Data Engineering, Cloud et Intelligence Artificielle, avec une participation aux projets de transformation et de valorisation des données. Missions principales 1. Business Analysis & Support applicatif – Forecast2Run • Accompagner les équipes de conduite FrDP dans l'utilisation quotidienne de Forecast2Run. • Assurer le support applicatif et le maintien en conditions opérationnelles (MCO). • Participer aux tests du fonctionnement entièrement automatique sur le réseau CENTRE. • Réaliser les diagnostics, analyses et reportings liés aux performances de l'application. • Maintenir et optimiser le paramétrage des réseaux de conduite. • Analyser, qualifier et suivre les incidents jusqu'à leur résolution. • Proposer et coordonner les actions correctives. • Piloter le backlog Run et suivre les demandes d'évolution. 2. Data Engineering & Développement Python • Développer et maintenir des scripts Python pour automatiser les traitements et contrôles de données. • Participer aux projets de développement Data liés aux activités de conduite et aux opérations. • Contribuer au projet GET de migration des référentiels Finance, Achats et Opérations. • Consolider la cartographie des données FrDP et veiller à leur conformité avec les référentiels Groupe et GBU via Collibra. • Participer aux projets de mise à disposition et de valorisation des données sur Databricks. • Assurer un rôle de backup sur la gestion du Data Lake et des API (AWS, Scalingo, Gravitee). 3. Intelligence Artificielle & Innovation • Contribuer aux projets Data et IA liés notamment à la détection de fuites, aux capteurs communicants et à la maintenance. • Utiliser GitHub Copilot et les outils d'IA générative pour assister les activités de développement et d'automatisation. • Évaluer et contrôler la qualité du code généré par l'IA. • Participer à l'acculturation Data et IA des équipes métier. • Contribuer à l'animation des communautés internes Data et IA. 4. Coordination & Pilotage • Collaborer avec les Product Owners, Tech Leads, développeurs et équipes d'exploitation. • Assurer l'interface entre les équipes métier, IT et partenaires externes. • Participer aux rituels Agile et aux comités de suivi. Référence de l'offre : lru1h34tbs

Missions principales ■ Être force de proposition et participer à la conception des solutions techniques avec les membres de l'équipe ■ Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels ■ Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc. ■ Concevoir et faire évoluer les architectures de données selon l'approche Databricks Medallion Architecture (Bronze, Silver, Gold) ■ Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API ■ Contribuer à l'amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations Activités ■ Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers ■ Mettre en œuvre et orchestrer les traitements de données avec Databricks ■ Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance ■ Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d'exécution ■ Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD ■ Concevoir, développer et maintenir des API pour l'exposition et la consommation des données ■ Mettre en place des mécanismes de Data Quality, de monitoring et d'alerting ■ Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives ■ Rédiger et maintenir la documentation technique des solutions mises en œuvre ■ Accompagner les équipes dans l'adoption des bonnes pratiques de Data Engineering

Job title: Data Engineer Location: London (Hybrid) Contract Length: 12 Months Service: Hybrid Cloud & Data Service Area: Big Data Services Day rate: £511.50 IR35: Inside Overview We are seeking an experienced Data Engineer to join a leading Hybrid Cloud & Data team, supporting large-scale data transformation and migration initiatives. The successful candidate will be responsible for designing, developing, and maintaining DataStage pipelines, ensuring the efficient extraction, transformation, and loading (ETL) of data from source systems into target data models. Working within a collaborative delivery environment, you will play a key role in data integration, migration, testing, and deployment activities while engaging with stakeholders across technical and business teams. Key Responsibilities * Design, develop, and maintain DataStage ETL pipelines. * Build robust data integration solutions to support business and project requirements. * Transform, cleanse, and migrate data between complex source and target systems. * Apply MOSAIC or equivalent data migration methodologies to ensure successful project delivery. * Develop and maintain XML and XSLT components for data transformation activities. * Collaborate with architects, analysts, developers, and business stakeholders to define data requirements and solutions. * Utilise Jira for project management, sprint planning, issue tracking, and workflow management. * Perform unit testing, system testing, and defect resolution activities. * Execute and monitor DataStage jobs, ensuring high levels of performance, reliability, and data quality. * Support production releases and provide troubleshooting for data-related issues. * Contribute to continuous improvement initiatives and best practices within the data engineering function. Required Skills & Experience * Strong commercial experience with DataStage Designer and ETL development. * Proven experience designing and maintaining complex DataStage pipelines. * Knowledge of MOSAIC, Data Migration Methodologies, or equivalent data migration frameworks. * Strong experience with XML and XSLT for data transformation and integration. * Practical experience using Jira for project and issue management. * Ability to test solutions, validate data quality, and execute DataStage jobs. * Strong analytical and problem-solving skills. * Excellent communication and stakeholder management abilities. * Experience working within Agile delivery environments. * Proactive mindset with a commitment to continuous improvement and learning. Desirable Skills * Experience delivering large-scale data migration programmes. * Knowledge of cloud-based data platforms and modern data architectures. * Experience within enterprise-scale transformation programmes. * Familiarity with data governance, data quality, and data lineage principles. What's on Offer * 12-month contract on a high-profile data transformation programme. * Hybrid working arrangement based in London. * Opportunity to work on complex data integration and migration projects. * Collaborative environment alongside experienced data and cloud professionals. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

Ne postulez pas si vous ne justifiez pas d'au moins 5 ans d'expérience et d'une parfaite maîtrise de Python et de Spark. Contexte de la mission Dans le cadre du renforcement de ses équipes Data, notre client, acteur majeur du secteur des services financiers, recherche un Data Engineer Scala ou Python / Spark. Vous intégrerez une équipe technique en charge de la conception, du développement et de la maintenance de solutions de traitement et d'exploitation de données à grande échelle. Missions principales Concevoir, développer et maintenir des pipelines de traitement de données. Développer des traitements distribués avec Apache Spark en Scala ou Python. Participer à la collecte, à la transformation et à l'intégration de données provenant de différentes sources. Optimiser les performances et la fiabilité des traitements Data. Garantir la qualité, la cohérence et la disponibilité des données. Participer à l'industrialisation et à l'automatisation des flux de données. Collaborer avec les équipes Data, IT et métiers. Contribuer aux bonnes pratiques de développement, de documentation et de mise en production. Compétences techniques requises Bonne maîtrise de Scala ou Python. Expérience significative avec Apache Spark. Bonne connaissance des architectures et traitements Big Data. Maîtrise des concepts ETL / ELT et des pipelines de données. Bonne compréhension des bases de données SQL. Connaissance des environnements distribués. Utilisation de Git et des bonnes pratiques de développement.

Nous rec herchons un(e) Data Engineer Hadoop Spark Scala capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : at9p10muxy