Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

🚀 Opportunité – Expert Data Engineer Azure / Databricks – Level 4 Dans le cadre de l'évolution d'une Data Platform Azure au sein d'un grand groupe, nous recherchons un(e) Data Engineer Senior / Expert Azure & Databricks. 🎯 Missions : Faire évoluer un Data Lake sur Azure Concevoir et déployer un Data Lake gouverné Intégrer et mettre en œuvre Databricks Unity Catalog Définir les modèles d'accès, de gouvernance et de partage des données Mettre à disposition les données sous forme de tables Delta / Iceberg Participer à la réalisation de POC et à l'industrialisation de la plateforme 🛠 Compétences recherchées : Azure Databricks / Unity Catalog Spark Azure DevOps GitHub Java JavaScript / TypeScript Data Lake / Data Platform Gouvernance et partage de données Delta / Iceberg 👤 Profil : Data Engineer Senior / Expert – Level 4 Forte expérience sur des plateformes Data Azure Expertise Databricks et gouvernance de données Autonomie et capacité à intervenir sur des sujets d'architecture et d'industrialisation 📍 Île-de-France – Présentiel ⏳ Mission longue

Dans le cadre d'un renforcement d'une équipe Data pour un de nos clients, nous recherchons un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d'industrialisation des plateformes Data. Vous participerez à la conception, au développement et à l'optimisation de pipelines de données robustes, performants et scalables, dans des environnements Lakehouse et Cloud. Vos principales responsabilités seront : Concevoir, développer et maintenir des pipelines de données sur Databricks. Développer des traitements distribués avec Apache Spark / PySpark. Assurer l'ingestion, la transformation et la mise à disposition des données. Concevoir et faire évoluer les différentes couches d'un Data Lake / Lakehouse. Mettre en œuvre les bonnes pratiques Medallion Architecture. Travailler avec Delta Lake / Delta Tables. Participer à la conception et à l'évolution de l'architecture Data. Optimiser les performances et la scalabilité des traitements. Industrialiser les développements et les déploiements. Mettre en place et maintenir les pipelines CI/CD. Utiliser Git pour la gestion, le versioning et la revue du code. Contribuer à l'automatisation et, lorsque nécessaire, aux pratiques Infrastructure as Code. Participer à l'amélioration continue de la plateforme Data et aux choix techniques.

Dans le cadre de la reprise d'activité de l'équipe LAC Marketing et de la transition d'une organisation Build vers un modèle Run pérenne, nous recherchons un consultant senior pour accompagner le pilotage des produits Data du périmètre CRM et MDM Client. Le contexte s'inscrit dans la poursuite de la refonte du Data Lake Marketing et du Référentiel Client Unique (RCU), dont les enjeux sont la centralisation et la fiabilisation des données clients issues de multiples sources, leur exploitation pour les usages d'activation marketing (email, SMS, push, personnalisation), ainsi que la garantie de la qualité, de la traçabilité et de la conformité RGPD. Missions La mission consistera notamment à : Reprendre et porter les responsabilités actuellement assurées par le Product Owner du périmètre. Accompagner le métier. Piloter les évolutions et la feuille de route des produits CRM et MDM Client. Rédiger les US pour les équipes techniques Arbitrer les demandes métiers et techniques Animer les comités de pilotage Recette des livraisons Coordonner les équipes métiers, data et techniques. Réaliser et maintenir la conception générale, conception détaillée, recette et amélioration continue. Accompagner la stabilisation et l'exploitation des solutions dans une logique de Run.

Dans le cadre de l'accélération de sa transformation technologique et digitale, un grand groupe bancaire recherche un Développeur Microservices .NET / Angular confirmé. Le consultant intégrera une équipe internationale spécialisée dans les plateformes Data & IA, les architectures Big Data, les Data Lakes, les environnements Lakehouse Cloud, la Business Intelligence et le déploiement de solutions de Machine Learning Missions principalesConcevoir, développer et maintenir des microservices en C#/.NET Core 6+. Développer et intégrer des API REST selon les standards et patterns de l'équipe. Contribuer ponctuellement au développement d'interfaces front-end avec Angular. Participer aux choix d'architecture et à la conception technique des solutions. Réaliser les revues de code et garantir la qualité des développements. Développer et maintenir les pipelines CI/CD avec Jenkins et Groovy. Gérer les déploiements avec XLDeploy et XLRelease. Déployer et maintenir les applications conteneurisées sur OpenShift/Kubernetes. Utiliser Git et Bitbucket pour la gestion des versions et la collaboration. Rédiger et maintenir la documentation technique. Participer aux cérémonies Agile : Sprint Planning, Daily Meeting, revue et rétrospective. Collaborer quotidiennement avec les équipes basées en France et au Portugal. Compétences techniquesC# / .NET Core 6+ : niveau confirmé. Architecture microservices, API REST et design patterns : niveau confirmé. Jenkins, Pipeline as Code et Groovy : excellente maîtrise. XLDeploy / XLRelease : pratique courante. OpenShift / Kubernetes : pratique courante. Git / Bitbucket : excellente maîtrise. Angular : capacité à intervenir ponctuellement sur le front-end. Python : connaissances appréciées. Conteneurisation et environnements Cloud/Data : bonne compréhension.

Leadership Data/Data Modelling- Structuration & Gouvernance des données d'ingénierie - Clermont-Ferrand Qualifications : Data Modelling & Design,Digital Twin (Performance Twin),Master Data Management, Contexte : grand groupe industriel international, dans le cadre d'une démarche de transformation digitale :enjeu de structurer les données d'ingénierie comme un véritable actif stratégique. Mission principale : définir et déployer une stratégie de structuration et de gouvernance des données d'ingénierie (modèles de données, conventions de nommage, classification, cycle de vie), en garantissant traçabilité et réduction des silos entre systèmes. Architecture & outils : contribuer aux décisions d'architecture data (data lake, plateformes, intégrations) et à la cohérence entre outils, modèles et usages, en lien avec les initiatives digitales et Industrie 4.0 du groupe. Compétences techniques clés : data management / gouvernance / data modeling, architecture des données, notions de digital thread / digital twin / IA appliquée à l'ingénierie, bonne compréhension des outils et applications d'ingénierie. Posture attendue : forte autonomie, capacité à piloter un alignement transverse entre plusieurs directions (métier, IT/Digital, initiatives 4.0) sans lien hiérarchique, pédagogie pour faire adopter des règles simples aux équipes d'ingénieurs. Niveau / séniorité : Leadership (autonomie élevée, capacité à initier l'activité et définir des jalons) — anglais professionnel recommandé pour les échanges avec les équipes globales. Modalités : mission jusqu'à fin d'année (renouvelable), démarrage rapide, hybride avec présence ponctuelle sur site (région Clermont-Ferrand) Qualifications : Data Modelling & Design,Digital Twin (Performance Twin),Master Data Management,

Expérience5 ans minimum en Data Engineering 🚀 DémarrageDès que possible – au plus tard fin septembre 2026 🏠 Télétravail2 jours de télétravail / semaine 3 jours de présence obligatoire sur site / semaine 🎯 Contexte de la missionAu sein de la Direction des SI Mutualisés, l'équipe DataLab intervient sur les périmètres Data & Analytics dans le cadre du programme de transformation du SI du Groupement Les Mousquetaires. Le consultant intégrera la Data Factory, qui regroupe les équipes Data de la Stime et des métiers. Cette organisation a pour objectif de concevoir et déployer des produits Data, BI, Analytics et Data Science à destination des fonctions support, des équipes logistiques, des magasins et des consommateurs. Dans un contexte de passage à l'échelle et d'industrialisation des pratiques Data, vous rejoindrez une Squad Supply / Logistique, en charge du développement de cas d'usage BI, Analytics et Data Science sur une plateforme Data basée sur Microsoft Azure et Databricks. 🎯 Description de la missionNous recherchons un Data Engineer Confirmé / Senior, polyvalent et opérationnel, disposant d'une solide expertise sur : Azure Databricks Apache Spark Python SQL Le consultant devra également avoir une forte appétence pour l'analyse de données et être capable d'intervenir sur les activités de QA et de testing, afin de garantir la qualité et la fiabilité des livrables de la Squad. Une expérience sur Power BI ainsi qu'une première expérience dans un environnement Supply Chain / Logistique seront fortement appréciées. 🔧 Missions principalesRecueillir et analyser les besoins Data Réaliser des analyses de données Concevoir et développer des pipelines de données Transformer, enrichir et traiter les données au sein du Data Lake Développer des notebooks Databricks pour les traitements avancés Concevoir et optimiser les traitements Data Mettre en œuvre des solutions de Cloud Data Warehousing Optimiser les requêtes SQL et réaliser le tuning des traitements Rédiger la documentation technique : dossiers d'analyse technique, release delivery notes, etc. Participer aux revues de code Garantir l'application des bonnes pratiques de développement Concevoir et exécuter les tests unitaires Réaliser les activités de QA / testing des pipelines développés par les autres Data Engineers de la Squad Concevoir et maintenir des tableaux de bord Power BI Livrer les développements dans un environnement DevOps / CI-CD Participer à l'amélioration continue des pratiques Data Engineering 🧩 Compétences techniques requisesCompétenceExpérience minimaleExpérience Data Engineering5 ansAzure3 ansDatabricks3 ansSpark3 ansPython5 ansSQL5 ansCI/CD – Azure DevOps3 ansAgile / JIRA1 an ⭐ Compétences appréciéesPower BI Expérience Supply Chain / Logistique Data Lake / Cloud Data Warehouse Optimisation et performance des traitements Data QA / Data Quality / Testing Environnement Agile à l'échelle

Chez ATLANSE, nous accompagnons nos clients dans la conception d'infrastructures résilientes, l'amélioration de la performance de leur production applicative, l'optimisation et le développement des environnements de travail ainsi que l'exploitation et la valorisation des données. Pour cela, nous nous appuyons sur nos consultants confirmés et experts ou à fort potentiel, reconnus pour leurs compétences techniques, leur compréhension métier et leurs pratiques éprouvées. En tant que Data Engineer Azure, vous contribuez à la mise en place de solutions data modernes et performantes, au service des enjeux métiers et de la stratégie data-driven. Votre rôle Ingestion & Traitement des données · Implémenter des solutions d'ingestion de données répondant aux différents cas d'usage métiers · Concevoir et mettre en œuvre des pipelines de données (batch et streaming) robustes et scalables · Assurer la reprise d'historique et réaliser des tests de non-régression pour garantir la qualité des données Construction & Optimisation des plateformes Data · Participer à la mise en place et l'évolution des environnements Data Lake / Data Warehouse / Big Data · Réaliser la modélisation et la consolidation de gros volumes de données en respectant les standards et bonnes pratiques · Optimiser les traitements existants, améliorer les performances des flux et diffuser les bonnes pratiques d'usage au sein des équipes Intégration DevOps & Industrialisation · Déployer des pipelines de données dans une approche CI/CD et dans un contexte DevOps · Gérer l'évolution des solutions proposées et assurer le support / TMA si nécessaire · Mettre en place l'automatisation des tests, du monitoring et des déploiements pour fiabiliser les solutions Gouvernance & Documentation · Rédiger et maintenir à jour la documentation projets (DATe, DEX, …) · Contribuer à la qualité des données et à leur bonne gouvernance (catalogue, lineage, sécurité, conformité)

Contexte : Dans le cadre de l'évolution d'une plateforme Data Groupe d'un acteur majeur du secteur des transports, nous recherchons un Architecte Solution / Tech Lead Databricks. Vous interviendrez au sein de l'équipe en charge de la plateforme Data afin d'accompagner plusieurs squads métiers dans la conception, l'industrialisation et la mise en production de leurs cas d'usage Data. Vous jouerez un rôle clé de référent technique, en accompagnant les équipes sur les choix d'architecture, les bonnes pratiques et la gouvernance de la plateforme. Vos missions : Participer au cadrage des projets Data et Big Data. Définir et valider les architectures techniques. Accompagner les Tech Leads et les équipes de développement. Concevoir des solutions basées sur Databricks. Participer aux revues d'architecture et aux arbitrages techniques. Rédiger la documentation d'architecture (DAT, HLD, DEX, dossiers techniques…). Accompagner les mises en production et les passages en exploitation. Participer à l'amélioration continue de la plateforme Data. Promouvoir les bonnes pratiques de développement, de sécurité, de gouvernance et de FinOps. Intervenir ponctuellement en support expert (N3). Former et accompagner les équipes projets. Environnement technique : Cloud : AWS Data Platform : Databricks Big Data : Spark, Scala, Python Data Lake / Lakehouse Power BI CI/CD : GitLab CI Infrastructure as Code : Terraform Conteneurisation : Docker, Kubernetes Sécurité & IAM Agile Scrum

Nous recherchons un(e) Ingénieur(e) Qualité Logicielle IT expérimenté(e) pour piloter les activités d'assurance qualité sur des plateformes de données complexes, des pipelines ETL et des écosystèmes Cloud. Le poste nécessite une combinaison solide de compétences en tests manuels, SQL avancé, tests ETL / Data, réconciliation et validation des données, tests API et tests de plateformes Data Cloud. La personne interviendra en étroite collaboration avec des équipes pluridisciplinaires afin de garantir la qualité des livraisons de données. Principales responsabilités : - Réaliser des tests end-to-end sur les processus ETL et les workflows Data afin de valider les étapes d'extraction, de transformation et de chargement des données. - Analyser les exigences fonctionnelles et techniques et élaborer les scénarios, cas et stratégies de tests. - Rédiger et exécuter des requêtes SQL avancées pour contrôler les jointures, agrégations, transformations et règles métier. - Développer et maintenir des solutions automatisées de validation des données avec Python, PySpark et Pandas. - Tester les pipelines Data développés avec Azure Data Factory, Azure Databricks et Azure Data Lake Gen2. - Réaliser des tests API et d'intégration avec Postman et d'autres outils afin de garantir l'intégrité des données entre les différents services. - Gérer le cycle de vie des anomalies : création, qualification, priorisation et suivi jusqu'à leur résolution. - Suivre l'avancement des campagnes de tests, produire les reportings et communiquer les risques aux différentes parties prenantes.

Nous recherchons un(e) Ingénieur(e) QA / Qualité Logicielle IT expérimenté(e) pour piloter les activités d'assurance qualité sur des plateformes de données complexes, des pipelines ETL et des écosystèmes basés sur le Cloud. Le poste nécessite une solide combinaison de compétences en tests manuels, SQL avancé, tests ETL/Data, réconciliation des données, tests d'API et tests de plateformes de données Cloud. La personne retenue travaillera en étroite collaboration avec les équipes pluridisciplinaires afin de garantir la qualité des mises en production de données. Responsabilités principales : Réaliser des tests de bout en bout des processus ETL et des workflows de données, en validant les processus d'extraction, de transformation et de chargement. Analyser les exigences fonctionnelles et techniques et élaborer des scénarios, cas et stratégies de tests détaillés. Rédiger et exécuter des requêtes SQL avancées afin de contrôler les jointures, agrégations, transformations et règles métier. Développer et maintenir des solutions automatisées de validation des données avec Python, PySpark et Pandas. Tester les pipelines de données développés avec Azure Data Factory, Azure Databricks et Azure Data Lake Gen2. Réaliser des tests d'API et d'intégration avec Postman et d'autres outils, en garantissant l'intégrité des données entre les différents services. Assurer la gestion du cycle de vie des anomalies, documenter les défauts, évaluer leur impact et collaborer avec les équipes concernées pour leur résolution. Suivre l'avancement des tests, communiquer l'état des activités et remonter les risques aux différentes parties prenantes.

Nous recherchons un QA Fonctionnel orienté Data pour intégrer une squad travaillant sur des environnements Data. La mission combine des compétences en tests fonctionnels, une bonne compréhension des environnements Data et une capacité à prendre progressivement le lead sur le périmètre QA. Compétences techniques / Data Bonne maîtrise de SQL Connaissance de Python Expérience sur des environnements Databricks / Data Lake Notions sur les API Tests fonctionnels Définition et mise en œuvre de la stratégie de test Conception et rédaction des plans et cas de test Préparation et exécution des campagnes de tests Analyse des résultats et suivi des anomalies Reporting et suivi de l'avancement des tests Utilisation de Jira / Xray Méthodologie Bonne maîtrise des environnements Agile Expérience des méthodologies Scrum / Kanban Participation aux différents rituels : sprint planning, daily, rétrospective, etc. Soft skills Très bonnes capacités de communication Esprit d'analyse et de synthèse Autonomie et capacité à travailler avec différentes parties prenantes Capacité à prendre de la hauteur et à être force de proposition Volonté d'évoluer progressivement vers un rôle de QA Lead / référent QA de la squad Les plus Certification ISTQB Expérience dans le secteur de l'assurance Expérience sur un projet de migration, notamment Data / SI.

Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet

Au sein de la DSI de notre client, dont la mission est de concevoir et maintenir les applications stratégiques des métiers du Groupe. Dans le cadre de l'évolution du Data Lake CIO Office, nous recherchons un Data Engineer expérimenté afin de participer au développement, à l'évolution et à l'industrialisation des pipelines de données, en collaboration avec les équipes de production applicative et DevOps. Vous évoluerez dans un environnement Big Data moderne, orienté Cloud et Agile, avec des échanges réguliers avec les équipes internationales basées à Porto.

Il aura la charge de gérer une architecture Lakehouse : • Data security : Apache Ranger • Data governance : Apache Atlas • Data processing : Spark, Apache Zeppelin • Data ingestion : nifi • Data analytics : Apache Impala • Data lake : hadoop, Apache KUDO • Dara serving: Hue Gestions des logs via la stack ELK (Elasticsearch-Logstash-Kibana) Provisionner des infrastructures via Terraform Connaissance réseaux (Mise en place et ouverture de flux réseau basé sur le dossier d'architecture réseau) Il documente les procédures d'exploitation et rédige des rapports synthétisés Il assure du bon fonctionnement des services dans le respect des SLA. Il connait et s'appuie sur les process ITIL (Gestion des incidents, des problèmes et des demandes de changement) pour opérer dans des environnements de production. Il a un bon niveau d'anglais pour converser avec les éditeurs dont Cloudera et les fournisseurs Il automatise les déploiements de fichiers de configurations, gestion des certificats et keystores via Ansible. Il utilise les Outils devops de versionning et de packages : Github, Jenkins Sa maitrise des environnements sous Linux lui permet d'analyser les logs dans le cadre du traitement des incidents. Il est force de proposition pour l'amélioration de l'exploitabilité des solutions et de la supervision des services. Il participe aux réunions d'équipe et rend compte des actions Il participe aux projets et aux différents comités.