Trouvez votre prochaine mission ou futur job IT.

Bonjour, Je suis à la recherche d'un Lead Data Engineer : Missions principales : • Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle • Réduire les coûts d'exploitation et améliorer les temps de résolution d'incidents • Renforcer la robustesse et la résilience de la plateforme Data • Mettre en place l'observabilité de bout en bout, l'alerting et le monitoring avancé • Définir et appliquer les politiques de gestion et rotation des secrets • Concevoir des mécanismes de reprise automatique et d'isolation des flux • Étudier les alternatives à AWS MWAA (Airflow sur ECS/EKS, Astronomer, Dagster, Prefect, etc.) • Réaliser les recommandations d'architecture et piloter les migrations si nécessaire • Faire évoluer les DAG Factories existantes et industrialiser les processus d'orchestration • Mettre en œuvre les bonnes pratiques de résilience (DLQ, retry strategies, circuit breakers) • Définir et faire respecter les standards techniques, patterns et conventions de développement • Former et accompagner les équipes Dev et Ops vers une autonomie opérationnelle complète • Assurer le suivi des plans d'amélioration, le reporting et la priorisation des chantiers techniques

Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : dedbg6qwsh

Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : efielz010x

Je recrute un Lead Data Engineer - Microsoft Fabric / Azure Databricks Je recherche un profil Lead Data Engineer senior (7+ ans d'expérience) capable de combiner expertise technique, architecture Data et posture de consultant. Je recherche un Lead Data Engineer senior (10+ ans d'expérience) capable de combiner expertise technique, architecture Data et posture de consultant. Prérequis indispensables * Expertise hands-on Microsoft Fabric ET/OU Azure Databricks * Solide maîtrise de l'écosystème Data Microsoft / Azure * Expérience en architecture de plateformes Data modernes * Anglais courant / fluent * Excellente posture client : workshops, conseil, communication avec les stakeholders et leadership technique ⚠️ Microsoft Fabric ou Azure Databricks est indispensable. Si vous n'avez travaillé sur aucune de ces deux technologies, inutile de postuler à cette opportunité. Les sujets * Concevoir des plateformes Data greenfield * Moderniser des environnements Data & BI existants * Piloter techniquement des migrations vers le Cloud * Définir et challenger les choix d'architecture * Encadrer les équipes techniques * Intervenir comme référent Data & Analytics en avant-vente Je cherche donc quelqu'un qui ne soit pas uniquement un très bon Data Engineer : il faut pouvoir porter une architecture, challenger un client, prendre le lead techniquement et embarquer une équipe. 📍 CDI - 100 % full remote, avec une localisation obligatoire en France. 📩 Intéressé(e) ? Envoyez-moi directement votre CV en MP. #DataEngineering #MicrosoftFabric #AzureDatabricks #Azure #DataArchitecture #LeadDataEngineer #Microsoft Montreal Associates is acting as an Employment Agency in relation to this vacancy.

Nous recrutons pour une entreprise du secteur de l'assurance un ou une Lead Data Engineer pour concevoir, fiabiliser et industrialiser sa plateforme data. Vous combinerez expertise technique, conception d'architecture et accompagnement d'équipe. Vous veillerez à la qualité, à la sécurité et à la performance des données, en lien étroit avec les équipes IT et métiers. Vos missions Pilotage et leadership Accompagner une équipe de Data Engineers et, éventuellement, d'Analytics Engineers Définir et promouvoir les bonnes pratiques en matière de qualité, de documentation, de gestion de versions et de supervision des données Jouer un rôle de référent technique et garantir la cohérence des choix d'architecture, en collaboration avec les équipes DevOps et l'architecte d'entreprise Travailler avec les équipes métiers, notamment en actuariat, finance, gestion des sinistres et marketing, ainsi qu'avec les équipes IT Data engineering Concevoir et maintenir des pipelines de données robustes et évolutifs Orchestrer les flux de données avec Apache Airflow Modéliser et structurer les bases de données selon les besoins analytiques Garantir la performance, la sécurité et la traçabilité des données Industrialisation et DevOps Mettre en œuvre les pratiques CI/CD pour les projets data Automatiser les tests, les déploiements et les contrôles qualité Collaborer avec les équipes DevOps et Réseaux sur la gestion et la sécurisation des environnements Superviser les traitements et contribuer à la gestion des incidents data

Missions : Être la référence technique Data Engineering : définir les standards d'architecture, challenger les choix techniques, industrialiser les pipelines, garantir performance/qualité/sécurité et accompagner les équipes. Profils recherchés : Senior / Expert – Lead Data Engineer / Data Architect / Data Engineering Design Authority Compétences : Architecture Data, batch/streaming, Kafka, Spark, Airflow, Databricks, Snowflake, Cloud, DataOps, gouvernance/sécurité. Anglais B2+

Rejoignez une grande organisation du secteur automobile en tant que Lead Data Orchestration Engineer, en charge du pilotage et de l'optimisation d'une plateforme d'orchestration Apache Airflow hébergée sur AWS MWAA. Vous porterez une mission stratégique de transformation technique, alliant optimisation architecturale, sécurisation de l'infrastructure, et autonomisation des équipes autour d'une plateforme bancaire de données critiques. Notre client gère des pipelines de données complexes traversant 9 pays européens, avec une volumétrie considérable (200+ DAGs en production). Suite à un audit technique approfondi en début 2026, la plateforme a été stabilisée et entre désormais dans une phase d'optimisation structurelle. Vous serez au cœur de cette évolution, responsable de faire évoluer les mécanismes d'orchestration existants, de renforcer la robustesse face à la charge et aux défaillances, d'étudier les alternatives architecturales, et de structurer les équipes pour une exploitation en autonomie long terme. La mission s'organise autour de quatre axes complémentaires : - Axe 1 - Optimisation architecturale : faire évoluer la DAG Factory existante, migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets), optimiser les performances au parse-time et runtime, et mettre en place la validation automatisée en CI/CD (parse test, linting, tests d'intégration). - Axe 2 - Sécurisation et résilience : implémenter une politique de rotation des secrets, déployer le routage différencié des alertes par type d'incident et criticité, piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs), renforcer l'isolation réseau et durcir la configuration, finaliser et maintenir les runbooks d'incidents. - Axe 3 - Étude et migration vers une infrastructure cible : l'audit a mis en évidence les limites structurelles d'AWS MWAA (contraintes de scaling, flexibilité limitée, coûts). Vous serez chargé de benchmarker les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect ou autres solutions), de produire une recommandation argumentée avec analyse coûts/bénéfices et risques, et de piloter la migration vers l'infrastructure retenue si pertinent. - Axe 4 - Autonomie des équipes : lancer et piloter un programme de formation sur l'orchestration destiné aux équipes Dev et Ops (environ 10 personnes), constituer une méta-équipe plateforme avec vision unifiée Dev + Ops sous leadership technique commun, accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps), et évaluer l'internalisation progressive de profils techniques clés. Vous travaillerez dans un environnement technique mature et ambitieux, au sein d'une organisation valorisant l'excellence technique, la rigueur architecturale et le mentorat. Vous aurez également la responsabilité de concevoir et faire appliquer des standards...

Contexte : Dans le cadre du développement de sa plateforme de données groupe, notre client recherche un Senior Data Engineer expérimenté pour rejoindre une équipe en charge de la conception et de la mise en œuvre de produits de données temps réel à forte valeur ajoutée. Vous interviendrez sur des architectures modernes orientées événements et participerez à la construction de solutions robustes, scalables et industrialisées permettant l'exploitation de données en temps réel à l'échelle du groupe. Vous serez également un référent technique auprès de l'équipe et contribuerez à la définition des bonnes pratiques de développement et d'exploitation. Vos missions : Concevoir et développer des pipelines de données temps réel basés sur Apache Kafka et Apache Flink Mettre en place des architectures orientées événements (Event-Driven Architecture) Développer et maintenir des APIs REST et microservices à destination des consommateurs de données Concevoir des pipelines d'ingestion, de transformation et de diffusion de données en streaming et batch Garantir la qualité, la fiabilité et la gouvernance des données Mettre en œuvre les bonnes pratiques CI/CD et DevOps Assurer le monitoring, l'observabilité et le support en production Participer aux choix d'architecture et aux revues de code Encadrer techniquement les membres moins expérimentés de l'équipe Produire la documentation technique et les procédures d'exploitation Environnement technique : Data & StreamingApache Kafka Apache Flink Event-Driven Architecture Data Modeling API Design OpenAPI Cloud AWSAmazon MSK Kinesis Amazon Managed Service for Apache Flink AWS Lambda API Gateway ECS / EKS Amazon S3 IAM DevOps & ObservabilitéGitLab CI / GitHub Actions CloudWatch OpenTelemetry Prometheus Grafana SécuritéOAuth2 OpenID Connect (OIDC) Secrets Management Encryption IAM & Least Privilege

Dans le cadre d'un projet Data stratégique, nous recherchons un Tech Lead Data Engineer pour accompagner la conception, le développement et l'industrialisation de solutions Data dans un environnement technique exigeant. 🎯 Vos missions Concevoir et faire évoluer des architectures Data robustes et scalables Piloter techniquement les développements et accompagner les Data Engineers Concevoir et industrialiser des pipelines de données Intervenir sur des architectures Data temps réel / streaming avec Kafka Développer et maintenir des solutions sur Palantir Foundry Garantir la qualité, la performance et la fiabilité des traitements Data Participer aux choix d'architecture et aux bonnes pratiques de développement Assurer la revue de code et accompagner la montée en compétences de l'équipe Collaborer avec les équipes Data, Architecture, DevOps et métiers 🛠️ Environnement technique Indispensables : Kafka Palantir Foundry Solide expertise en Data Engineering Conception de pipelines Data Architecture Data / traitement distribué Python et/ou SQL Expérience en environnement de production Atouts : Kafka Streams / Confluent Spark / PySpark APIs / microservices CI/CD, Git, Docker, Kubernetes Cloud Expérience en lead technique ou en accompagnement d'équipe 👤 Profil recherché De formation supérieure en informatique ou Data, vous disposez d'au moins 7 ans d'expérience en Data Engineering, dont une expérience significative en lead technique. Vous êtes à l'aise dans des environnements complexes et avez une forte capacité à challenger les choix techniques, concevoir des solutions robustes et accompagner les équipes dans leur mise en œuvre. Une expérience concrète sur Palantir Foundry et Kafka est indispensable.

Pour un grand acteur de l'industrie automobile, nous recherchons un(e) Lead Data Orchestration Engineer Senior, expert(e) Apache Airflow et AWS MWAA, pour piloter l'optimisation et l'évolution d'une plateforme d'orchestration Data à grande échelle. 🎯 Objectif de la mission Faire évoluer une plateforme d'orchestration Data critique afin d'améliorer sa scalabilité, sa résilience, son observabilité et ses coûts d'exploitation, tout en étudiant une éventuelle migration vers une architecture cible plus adaptée. 🚀 Vos missions ✔️ Auditer, optimiser et faire évoluer l'architecture Apache Airflow / AWS MWAA ✔️ Améliorer les performances et la scalabilité d'une plateforme de plus de 200 DAGs en production ✔️ Optimiser les mécanismes d'exécution : Scheduler, Executors, Pools, Triggers, Deferrable Operators ✔️ Faire évoluer les DAG Factories dynamiques et les mécanismes de génération automatisée des DAGs ✔️ Renforcer la résilience des flux : Retry Strategies, Dead Letter Queues, Circuit Breakers, isolation des traitements ✔️ Mettre en place une observabilité de bout en bout : monitoring, métriques, dashboards et alerting ✔️ Sécuriser les environnements : gestion des secrets, IAM et bonnes pratiques AWS ✔️ Étudier les alternatives à AWS MWAA : Airflow sur ECS/EKS, Astronomer, Dagster, Prefect ✔️ Définir une architecture cible et piloter une éventuelle migration d'orchestrateur ✔️ Optimiser les coûts d'exploitation et réduire les délais de résolution des incidents ✔️ Définir les standards techniques : Code Reviews, Design Patterns, conventions de développement ✔️ Accompagner les équipes Dev & Ops dans leur montée en compétences et leur autonomie

Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA La mission se structure autour de quatre axes : Axe 1 — Optimisation architecturale Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle et réduire les coûts d'exploitation (temps de résolution d'incidents, effort d'ajout de nouveaux pays). Axe 2 — Sécurisation et résilience Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique. Axe 3 — Étude et migration vers une infrastructure cible L'audit a mis en évidence les limites structurelles d'AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts). Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l'infrastructure retenue si pertinent. Axe 4 — Autonomie des équipes Former et structurer les équipes Dev et Ops pour qu'elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme. Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer). Compétences techniques requises : Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production) Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM Connaissance d'alternatives à MWAA : Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée Expérience avec des DAG Factories dynamiques (génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité Python avancé (plugins custom, operators, sensors) Infrastructure as Code (Terraform) — connaissance souhaitée Compétences transverses : Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns, conventions) Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops) Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting) Autonomie et force de proposition

Le contexteUn acteur majeur du secteur du voyage et de la distribution lance un nouveau projet stratégique : la construction d'un moteur de recommandation et de personnalisation destiné à proposer en temps réel, à chaque client, les offres et produits les plus pertinents selon son profil. Vous êtes le premier profil technique recruté pour poser les fondations d'une nouvelle équipe Data Engineering qui s'étoffera progressivement. Tout est à construire : l'architecture a été esquissée mais reste entièrement challengeable. Votre rôle : concevoir et bâtir de zéro la plateforme de données en streaming qui alimentera les équipes Data Science et Produit. Vos missionsConcevoir et construire from scratch le pipeline de données en streaming qui alimentera les modèles de recommandation et de personnalisation. Mettre à disposition les données en temps réel pour les équipes Data Science et les produits, avec une contrainte métier forte : un temps de réponse de l'ordre de 3 secondes entre la recherche du client et la recommandation affichée. Définir et challenger les choix d'architecture (event-driven), clarifier la stack par rapport au cadrage initial. Gérer également une partie batch pour enrichir l'historique et les profils clients. Accompagner la montée en puissance de l'équipe et jouer un rôle de référent technique. Compétences techniques requisesStreaming & temps réel (critique) Maîtrise approfondie des concepts de streaming : gestion du fenêtrage (windowing), traitement temps réel, garanties de livraison, au-delà du seul outil Kafka. Expérience solide d'une architecture event-driven. Cloud & traitement Expertise Google Cloud Platform (BigQuery notamment). Python comme langage principal. Aisance sur les pipelines batch pour l'enrichissement de données historiques. Pratiques d'ingénierie Infrastructure as Code (Terraform), CI/CD, bonnes pratiques de qualité et de documentation.

Dans le cadre du renforcement d'une équipe Data Platform dans le secteur automobile et financier, nous recherchons un Lead Data Orchestration Engineer / Expert Apache Airflow pour accompagner l'optimisation, la sécurisation et l'évolution d'une plateforme d'orchestration Data à forte volumétrie. La plateforme Apache Airflow sous AWS MWAA orchestre actuellement des pipelines de données bancaires couvrant 9 pays européens. Vous interviendrez autour de 4 axes majeurs : 1. Optimisation de la plateforme Airflow Optimisation d'une plateforme de 200+ DAGs en production Évolution et optimisation de la DAG Factory Migration des dépendances inter-DAGs vers les Datasets Airflow Optimisation des performances au parse-time et runtime Mise en place de tests automatisés des DAGs en CI/CD 2. Sécurisation & résilience Capacity planning et tuning Airflow Gestion des pools, scaling et rétention des logs Rotation des secrets Amélioration de l'observabilité et de l'alerting Mise en œuvre de mécanismes de résilience : retry strategies, DLQ, circuit breakers, isolation des flux 3. Étude et migration de la plateforme Benchmark des alternatives à AWS MWAA Étude d'architectures Airflow sur ECS/EKS, Astronomer, Dagster, Prefect Réalisation de POC et recommandation d'une architecture cible Pilotage d'une éventuelle migration jusqu'à la mise en production 4. Leadership & transmission Définition et application des standards techniques Mentorat des équipes Dev & Ops Formation d'une dizaine de collaborateurs Accompagnement des équipes vers des compétences Data Engineering / DataOps

position : Data Airflow expert Informations mission : Localisation / Site : Sochaux (TT à déterminer) / Île-de-France ou hybride selon accord TJM : 750 € HT/jour Date de démarrage : ASAP Date de fin : 31/12/2026 (renouvelable) Langue de travail : Français / Anglais professionnel Synthèse de la mission : Nous recherchons un Lead Data Orchestration Engineer expert sur Apache Airflow et AWS MWAA pour renforcer l'équipe Data Platform de notre client dans le secteur financier. La plateforme d'orchestration (Airflow MWAA v2.10.3) gère des pipelines de données bancaires à travers 9 pays européens. Suite à un audit technique et une première phase de stabilisation, la mission porte sur l'optimisation, la sécurisation durable de la plateforme et l'étude d'une infrastructure cible plus adaptée (passage à l'échelle, renforcement de l'observabilité et montée en compétence des équipes). Objectifs et axes de la mission : La mission se structure autour de quatre axes majeurs : Optimisation architecturale : Faire évoluer la DAG Factory existante, migrer vers des mécanismes natifs (Datasets), optimiser les performances (parse-time/runtime) et intégrer la validation automatisée en CI/CD. Sécurisation et résilience : Renforcer la robustesse face à la charge (observabilité de bout en bout, rotation des secrets, isolation des flux, politique d'alerting et runbooks). Étude et migration vers une infrastructure cible : Étudier les limites d'AWS MWAA, benchmarker les alternatives (Airflow sur ECS/EKS, Astronomer, Dagster, Prefect, etc.), produire une recommandation argumentée (coûts/bénéfices) et piloter la migration vers l'infrastructure retenue si pertinent. Autonomie des équipes : Former et structurer les équipes Dev et Ops (environ 10 personnes) pour assurer l'opérabilité, le diagnostic et l'évolution autonome de la plateforme à long terme. Profil recherché : Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer). Compétences techniques requises : Maîtrise avancée du modèle d'exécution Airflow (scheduler, executor, pools, triggers, deferrable operators). Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production). Expertise AWS (MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM) et compétences en Infrastructure as Code (Terraform). Connaissance des alternatives à MWAA (Airflow sur ECS/EKS, Astronomer, orchestrateurs modernes) et appétence pour les projets de migration. Expérience avec des DAGs Factory dynamiques et mise en place de patterns de résilience (retry strategies, DLQ, circuit breakers). Python avancé (plugins custom, operators, sensors). Compétences transverses : Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns). Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops). Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting). Autonomie, leadership technique et force de proposition.

Je recherche un Lead Data & AI Engineer pour un poste en CDI au sein d'un groupe industriel énergétique international. Rattaché au Responsable de l'équipe IA de la DSI, vous êtes garant d'un socle de données fiable, gouverné et exploitable par l'IA : vous construisez les fondations data (ingestion, modélisation, qualité, gouvernance) sur Snowflake et les transformez en cas d'usage à forte valeur. Vos missions sont les suivantes : Data engineering & plateforme Concevoir et faire évoluer la plateforme data sur Snowflake : modélisation, transformations, couches métier exploitables, performance et coûts. Développer et opérer les pipelines de données (batch et temps réel) alimentant les usages analytiques et IA. Construire le modèle sémantique de référence, exploitable par les usages IA (RAG, agents, analytics). Exploiter les capacités IA de Snowflake (Cortex : fonctions LLM, AI SQL, recherche vectorielle) et préparer les données pour le RAG et les agents. Qualité & gouvernance Mettre en place la qualité et la gouvernance : règles de qualité mesurées, lignage, documentation, catalogue, gestion des accès (RGPD). Assurer la traçabilité des pipelines et des modèles de données. Diffuser les bonnes pratiques data et contribuer à l'acculturation data / IA. Cas d'usage data & valeur Développer, en lien étroit avec les métiers, les cas d'usage à valeur : détection de fraude, prévision, scoring, optimisation. Industrialiser et suivre les modèles en production (MLOps : déploiement, monitoring, ré-entraînement). Mesurer la valeur générée et en assurer le reporting. Fonctionnement en socle & rayonnement Groupe Fournir au socle et aux IA champions des données fiables et exposées, intégrées au SI (ERP, applications, sources documentaires). Diffuser un modèle sémantique et des standards data communs, d'abord au sein de la DSI puis dans tout le Groupe.