Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Mission: Renforcement de l'équipe Data Platform , avec un profil Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA. Contexte de la mission La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données bancaires à travers 9 pays européens. Un audit technique approfondi a été conduit début 2026, suivi d'une phase de remédiation qui a permis de stabiliser les fondations. La mission porte aujourd'hui sur la phase d'optimisation et de sécurisation durable de la plateforme : passage à l'échelle, renforcement de l'observabilité, étude d'une infrastructure cible plus adaptée, et montée en compétence des équipes. Objectifs de la mission La mission se structure autour de quatre axes : Axe 1 — Optimisation architecturale Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle et réduire les coûts d'exploitation (temps de résolution d'incidents, effort d'ajout de nouveaux pays). Axe 2 — Sécurisation et résilience Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique. Axe 3 — Étude et migration vers une infrastructure cible L'audit a mis en évidence les limites structurelles d'AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts). Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l'infrastructure retenue si pertinent. Axe 4 — Autonomie des équipes Former et structurer les équipes Dev et Ops pour qu'elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme. Profil recherché Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer). Compétences techniques requises : Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production) Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM Connaissance d'alternatives à MWAA : Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée Expérience avec des DAG Factories dynamiques (génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité Python avancé (plugins custom, operators, sensors) Infrastructure as Code (Terraform) — connaissance souhaitée Compétences transverses : Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns, conventions) Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops) Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting) Autonomie et force de proposition Missions principales Axe 1 — Optimisation architecturale Faire évoluer la DAG Factory existante : enrichissement, patterns avancés, maintenabilité Piloter la migration des dépendances inter-DAGs vers des mécanismes natifs Airflow (Datasets) Optimiser les performances au parse-time et runtime (mise en cache, suppression des appels coûteux) Mettre en place la validation automatisée des DAGs en CI/CD (parse test, linting, tests d'intégration) Axe 2 — Sécurisation et résilience Implémenter une politique de rotation des secrets Mettre en place le routage différencié des alertes par type d'incident et par criticité Piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs) Renforcer l'isolation réseau et le durcissement de la configuration Finaliser et maintenir les runbooks d'incidents (classification, escalade, post-mortem) Axe 3 — Étude et migration vers une infrastructure cible Réaliser un benchmark des alternatives à AWS MWAA au regard de nos contraintes (multi-pays, volumétrie, séparation Dev/Ops, coûts) Produire une recommandation argumentée avec analyse coûts/bénéfices, risques de migration, et plan de transition Piloter la migration vers l'infrastructure retenue (POC, migration progressive, bascule production) Garantir la continuité de service pendant la transition Axe 4 — Autonomie des équipes Lancer et piloter le programme de formation sur l'orchestration (Dev + Ops, ~10 personnes) Constituer la méta-équipe plateforme (vision unifiée Dev + Ops sous un leadership technique commun) Accompagner l'évolution des profils Dev → Data Engineers et Ops → DataOps Évaluer l'internalisation progressive de profils techniques clés Compétences techniques

Contexte de la missionDans le cadre du renforcement de son équipe Data Platform, notre client recherche un Lead Data Orchestration Engineer, expert Apache Airflow et AWS MWAA. La plateforme actuelle orchestre des pipelines de données bancaires dans 9 pays européens. Après une première phase de stabilisation, l'objectif est désormais d'optimiser son architecture, de renforcer sa résilience et d'étudier une éventuelle migration vers une infrastructure plus adaptée. Missions et responsabilités1. Optimisation de l'architecture Airflow Faire évoluer et optimiser la DAG Factory existante. Migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets). Améliorer les performances et la scalabilité de la plateforme. Automatiser la validation des DAGs dans les pipelines CI/CD. 2. Sécurisation et résilience Renforcer l'observabilité : monitoring, dashboards, alerting. Implémenter une politique de rotation des secrets. Optimiser le capacity planning, le scaling et la gestion des ressources. Améliorer l'isolation réseau et les mécanismes de reprise automatique. Formaliser les procédures de gestion des incidents (runbooks). 3. Étude et migration d'infrastructure Réaliser un benchmark des alternatives à AWS MWAA (ECS/EKS, Astronomer, Dagster, Prefect). Évaluer les coûts, les performances et les risques associés. Définir une architecture cible et un plan de migration. Piloter les POC et la migration progressive si une nouvelle solution est retenue. Garantir la continuité de service pendant la transition. 4. Accompagnement et montée en compétences Former et accompagner les équipes Dev et Ops (environ 10 personnes). Définir et faire appliquer les standards techniques. Structurer une organisation Data Platform favorisant l'autonomie des équipes. Assurer le transfert de connaissances et le mentorat. Compétences techniques indispensablesApache Airflow : expertise avancée (scheduler, executor, pools, triggers, deferrable operators, Datasets). AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM. Python avancé : développement de plugins, operators et sensors personnalisés. Optimisation Airflow : expérience sur des plateformes de grande envergure (200+ DAGs en production). DAG Factory : conception et optimisation de génération dynamique de DAGs. Résilience et observabilité : monitoring, alerting, retry strategies, Dead Letter Queues, circuit breakers. Architecture Cloud : capacité à évaluer et concevoir des solutions d'orchestration évolutives. Compétences appréciéesExpérience d'une migration d'orchestrateur ou d'infrastructure Airflow. Connaissance d'Airflow sur ECS/EKS, Astronomer, Dagster ou Prefect. Maîtrise de Terraform (Infrastructure as Code). Expérience en environnement bancaire, international ou multi-pays. Compétences / Qualités indispensables : Apache Airflow, AWS MWAA ou Google Cloud Composer, Data Orchestration, Lead Data Engineer, Python, DAG Factory, AWS, ECS, EKS, Astronomer, Dagster, Prefect, DataOps, Terraform, CI/CD, CloudWatch

Rejoignez une grande organisation du secteur automobile en tant que Lead Data Orchestration Engineer, en charge du pilotage et de l'optimisation d'une plateforme d'orchestration Apache Airflow hébergée sur AWS MWAA. Vous porterez une mission stratégique de transformation technique, alliant optimisation architecturale, sécurisation de l'infrastructure, et autonomisation des équipes autour d'une plateforme bancaire de données critiques. Notre client gère des pipelines de données complexes traversant 9 pays européens, avec une volumétrie considérable (200+ DAGs en production). Suite à un audit technique approfondi en début 2026, la plateforme a été stabilisée et entre désormais dans une phase d'optimisation structurelle. Vous serez au cœur de cette évolution, responsable de faire évoluer les mécanismes d'orchestration existants, de renforcer la robustesse face à la charge et aux défaillances, d'étudier les alternatives architecturales, et de structurer les équipes pour une exploitation en autonomie long terme. La mission s'organise autour de quatre axes complémentaires : - Axe 1 - Optimisation architecturale : faire évoluer la DAG Factory existante, migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets), optimiser les performances au parse-time et runtime, et mettre en place la validation automatisée en CI/CD (parse test, linting, tests d'intégration). - Axe 2 - Sécurisation et résilience : implémenter une politique de rotation des secrets, déployer le routage différencié des alertes par type d'incident et criticité, piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs), renforcer l'isolation réseau et durcir la configuration, finaliser et maintenir les runbooks d'incidents. - Axe 3 - Étude et migration vers une infrastructure cible : l'audit a mis en évidence les limites structurelles d'AWS MWAA (contraintes de scaling, flexibilité limitée, coûts). Vous serez chargé de benchmarker les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect ou autres solutions), de produire une recommandation argumentée avec analyse coûts/bénéfices et risques, et de piloter la migration vers l'infrastructure retenue si pertinent. - Axe 4 - Autonomie des équipes : lancer et piloter un programme de formation sur l'orchestration destiné aux équipes Dev et Ops (environ 10 personnes), constituer une méta-équipe plateforme avec vision unifiée Dev + Ops sous leadership technique commun, accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps), et évaluer l'internalisation progressive de profils techniques clés. Vous travaillerez dans un environnement technique mature et ambitieux, au sein d'une organisation valorisant l'excellence technique, la rigueur architecturale et le mentorat. Vous aurez également la responsabilité de concevoir et faire appliquer des standards...

Bonjour à tous 😀 Contexte de la mission : Nous recherchons un Data Engineer capable d'intervenir en autonomie sur l'ensemble du cycle de vie des pipelines de données de notre client! Missions principales : Concevoir, développer et maintenir des pipelines de données de bout en bout. Assurer l'ingestion, la transformation et la modélisation des données. Développer des traitements en Python / SQL / dbt. Orchestrer les flux de données avec Airflow. Garantir la qualité des données à travers les tests, la documentation et les bonnes pratiques de développement. Participer à l'amélioration continue de la plateforme Data Foundation. Collaborer avec les équipes techniques et métiers dans un environnement international. Environnement technique : Python | SQL | dbt | Airflow | Snowflake | GitLab | CI/CD | Tableau Informations pratiques : Localisation : Île-de-France Démarrage : 19 ou 26 octobre 2026 Durée : Mission longue Télétravail : À confirmer Déplacements / astreintes : Aucun Profil cible : Data Engineer Senior / Data Engineer Python-dbt / Analytics Engineer avec une forte dimension Engineering. Mots-clés sourcing : Data Engineer, Senior Data Engineer, Python, SQL, dbt, Airflow, Snowflake, Data Foundation, Data Platform, Analytics Engineer.

Mission freelance pour un client industriel : piloter l'orchestration et le paramétrage d'un framework Data sur-mesure au sein d'une plateforme décisionnelle critique. Vous serez responsable de concevoir, configurer et administrer Apache Airflow, optimiser la plateforme d'orchestration, et intervenir sur l'écosystème AWS, Snowflake et dbt. Vous participerez aux ateliers techniques et proposerez des évolutions architecturales pour garantir scalabilité et performance. Mission en distanciel avec déplacements ponctuels en Région Parisienne ou dans l'Est de la France.

Contexte L'équipe ODA (Operational Data & Analytics) fait de la donnée un levier de pilotage opérationnel réel pour mon client. Elle couvre à la fois la qualité de la donnée (CMDB, référentiels), l'analytics ITSM, et l'outillage data au service des équipes opérationnelles. L'équipe est en pleine transformation technique : nous développons et déployons des applications internes destinées à la production, et nous avons besoin de renforcer notre capacité d'architecture et de déploiement, tout en gardant un lien fort avec les besoins métier ITSM. Ce poste convient à un profil technique confirmé, capable de peser sur des choix d'architecture data et système, tout en restant à l'aise pour dialoguer avec des parties prenantes métier et comprendre rapidement un besoin d'analyse. Mission Architecture & Déploiement • Être le binôme technique de notre tech lead : contribuer aux choix d'architecture data et système, et en assumer la responsabilité en son absence • Déployer et industrialiser des applications internes destinées à la production, en autonomie sur nos outils de déploiement internes • Garantir la fiabilité et la maintenabilité des pipelines et applications développés par l'équipe Data Engineering • Construire et maintenir des workflows de données (Dataiku, Airflow ou équivalent) • Contribuer à des projets de données à enjeu métier, notamment la refonte d'un algorithme de priorisation des incidents basé sur le revenu, actuellement en phase de choix d'architecture • Évaluer, cadrer et implémenter de nouvelles intégrations de sources de données Analyse & Réactivité métier • Répondre rapidement à des besoins d'analyse ad-hoc sur des données incidents, changes et autres datasets ITSM, en s'appuyant sur les outils d'IA générative pour accélérer la production de requêtes et de résultats, et en challengeant leurs résultats • Monter en compétence sur les concepts et processus ITSM (incidents, problems, changes, requests, event management) au fil des projets Outillage IA • Utiliser les outils d'IA générative pour accélérer les livrables : vibe-coding d'applications internes, génération de requêtes, documentation • Relire, challenger et corriger les productions de l'IA plutôt que de les valider sans recul • Être force de proposition sur l'intégration de l'IA dans les pratiques de l'équipe

Dans le cadre du renforcement d'une équipe Data Platform dans le secteur automobile et financier, nous recherchons un Lead Data Orchestration Engineer / Expert Apache Airflow pour accompagner l'optimisation, la sécurisation et l'évolution d'une plateforme d'orchestration Data à forte volumétrie. La plateforme Apache Airflow sous AWS MWAA orchestre actuellement des pipelines de données bancaires couvrant 9 pays européens. Vous interviendrez autour de 4 axes majeurs : 1. Optimisation de la plateforme Airflow Optimisation d'une plateforme de 200+ DAGs en production Évolution et optimisation de la DAG Factory Migration des dépendances inter-DAGs vers les Datasets Airflow Optimisation des performances au parse-time et runtime Mise en place de tests automatisés des DAGs en CI/CD 2. Sécurisation & résilience Capacity planning et tuning Airflow Gestion des pools, scaling et rétention des logs Rotation des secrets Amélioration de l'observabilité et de l'alerting Mise en œuvre de mécanismes de résilience : retry strategies, DLQ, circuit breakers, isolation des flux 3. Étude et migration de la plateforme Benchmark des alternatives à AWS MWAA Étude d'architectures Airflow sur ECS/EKS, Astronomer, Dagster, Prefect Réalisation de POC et recommandation d'une architecture cible Pilotage d'une éventuelle migration jusqu'à la mise en production 4. Leadership & transmission Définition et application des standards techniques Mentorat des équipes Dev & Ops Formation d'une dizaine de collaborateurs Accompagnement des équipes vers des compétences Data Engineering / DataOps

Nous recrutons pour une entreprise du secteur de l'assurance un ou une Lead Data Engineer pour concevoir, fiabiliser et industrialiser sa plateforme data. Vous combinerez expertise technique, conception d'architecture et accompagnement d'équipe. Vous veillerez à la qualité, à la sécurité et à la performance des données, en lien étroit avec les équipes IT et métiers. Vos missions Pilotage et leadership Accompagner une équipe de Data Engineers et, éventuellement, d'Analytics Engineers Définir et promouvoir les bonnes pratiques en matière de qualité, de documentation, de gestion de versions et de supervision des données Jouer un rôle de référent technique et garantir la cohérence des choix d'architecture, en collaboration avec les équipes DevOps et l'architecte d'entreprise Travailler avec les équipes métiers, notamment en actuariat, finance, gestion des sinistres et marketing, ainsi qu'avec les équipes IT Data engineering Concevoir et maintenir des pipelines de données robustes et évolutifs Orchestrer les flux de données avec Apache Airflow Modéliser et structurer les bases de données selon les besoins analytiques Garantir la performance, la sécurité et la traçabilité des données Industrialisation et DevOps Mettre en œuvre les pratiques CI/CD pour les projets data Automatiser les tests, les déploiements et les contrôles qualité Collaborer avec les équipes DevOps et Réseaux sur la gestion et la sécurisation des environnements Superviser les traitements et contribuer à la gestion des incidents data

position : Data Airflow expert Informations mission : Localisation / Site : Sochaux (TT à déterminer) / Île-de-France ou hybride selon accord TJM : 750 € HT/jour Date de démarrage : ASAP Date de fin : 31/12/2026 (renouvelable) Langue de travail : Français / Anglais professionnel Synthèse de la mission : Nous recherchons un Lead Data Orchestration Engineer expert sur Apache Airflow et AWS MWAA pour renforcer l'équipe Data Platform de notre client dans le secteur financier. La plateforme d'orchestration (Airflow MWAA v2.10.3) gère des pipelines de données bancaires à travers 9 pays européens. Suite à un audit technique et une première phase de stabilisation, la mission porte sur l'optimisation, la sécurisation durable de la plateforme et l'étude d'une infrastructure cible plus adaptée (passage à l'échelle, renforcement de l'observabilité et montée en compétence des équipes). Objectifs et axes de la mission : La mission se structure autour de quatre axes majeurs : Optimisation architecturale : Faire évoluer la DAG Factory existante, migrer vers des mécanismes natifs (Datasets), optimiser les performances (parse-time/runtime) et intégrer la validation automatisée en CI/CD. Sécurisation et résilience : Renforcer la robustesse face à la charge (observabilité de bout en bout, rotation des secrets, isolation des flux, politique d'alerting et runbooks). Étude et migration vers une infrastructure cible : Étudier les limites d'AWS MWAA, benchmarker les alternatives (Airflow sur ECS/EKS, Astronomer, Dagster, Prefect, etc.), produire une recommandation argumentée (coûts/bénéfices) et piloter la migration vers l'infrastructure retenue si pertinent. Autonomie des équipes : Former et structurer les équipes Dev et Ops (environ 10 personnes) pour assurer l'opérabilité, le diagnostic et l'évolution autonome de la plateforme à long terme. Profil recherché : Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer). Compétences techniques requises : Maîtrise avancée du modèle d'exécution Airflow (scheduler, executor, pools, triggers, deferrable operators). Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production). Expertise AWS (MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM) et compétences en Infrastructure as Code (Terraform). Connaissance des alternatives à MWAA (Airflow sur ECS/EKS, Astronomer, orchestrateurs modernes) et appétence pour les projets de migration. Expérience avec des DAGs Factory dynamiques et mise en place de patterns de résilience (retry strategies, DLQ, circuit breakers). Python avancé (plugins custom, operators, sensors). Compétences transverses : Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns). Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops). Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting). Autonomie, leadership technique et force de proposition.

Le client est une grande enseigne de la distribution spécialisée. VOTRE MISSION : Automatiser et industrialiser les pipelines de transformation de données qui servent aux dashboards, modèles IA et data analyses Construire et modéliser la semantic layer de domaine métier (supply chain et production) ; Définir la stratégie de nos stacks techniques et garantir la qualité des données exposées ; Maintenir et repenser les datasets et pipelines existants pour servir une plus large variété de use cases ; Permettre de l'analytique intelligente en construisant des datasets robustes, fiables et pertinents ; Contribuer activement à notre communauté d'analytics engineers et de data engineers ; Le périmètre technique : Data-platform : Amazon Web Services, Databricks, Glue, S3 Code Programming : SQL, Python, Scala Data orchestration : Airflow Data modeling : dbt Data quality : great_expectations Software Delivery : Git, Github, Make

ContexteLa squad Server, au sein d'une grande entreprise du secteur bancaire et financier, a pour mission d'exposer et d'orchestrer des produits "Server", majoritairement des solutions de virtualisation d'OS, pour les usages du groupe. Elle permet le provisionnement et la gestion d'une gamme étendue de produits répondant à des besoins métiers variés. Plusieurs solutions existantes vont être rapprochées via l'opportunité du chantier en cours de passage au nouvel outil d'automatisation. Il s'agit donc d'un projet de refonte profonde aussi bien sur la stack technologique que sur les produits. Suite à ce chantier et à la migration du parc existant, plusieurs évolutions sont prévues avec la mise en œuvre de fonctionnalités attendues par les clients. Dans ce contexte, l'équipe cherche à se renforcer avec des gestionnaires de run spécialisés dans le support au développement et à l'orchestration d'infrastructure as code. La stack technologique étant orientée sur Python et Terraform, un développeur / OPS sur ces deux technologies est recherché pour assurer le support sur les produits de la squad. MissionsDéveloppement des nouveaux correctifs pour les workflows de provisionnement et de gestion d'infrastructure as code pour le projet VMWARE as code. Mise en place de librairies standards partagées entre produits. Intégration à un nouvel outil d'automatisation (AirFlow/Terraform). Développement de nouvelles fonctionnalités avec Python, Go et Terraform. Mise à disposition de l'offre dans la marketplace interne. Outils & EnvironnementPython Terraform Go AirFlow JIRA Méthodologie SCRUM Conditions de travailMission au sein de la squad Server Expérience requise : au moins 3 ans dans le domaine de l'infrastructure as code Autonomie demandée Langue : anglais professionnel

Ingénieur(e) / Architecte adjoint(e) Middleware & Data Mission · Services à l'environnement · 5 à 8 ans d'expérience MODALITÉS - Localisation : Île-de-France, 2 à 3 jours de télétravail - Démarrage : ASAP - Durée : mission longue - TJM : selon profil CONTEXTE DE LA MISSION Au sein des équipes IT d'un grand groupe de services à l'environnement, vous accompagnez l'architecte d'un domaine transverse qui englobe les équipes Data, Middleware, Finance SAP et Développement Core. Vous l'aidez à garantir la cohérence technologique du périmètre pendant les grands chantiers de refonte de l'infrastructure : socle analytique, ordonnancement et flux inter-applicatifs. MISSIONS 01. Accompagner l'architecte du domaine pour assurer la cohérence technologique sur le périmètre Data, Middleware, Finance SAP et Développement Core 02. Vulgariser les architectures complexes pour faciliter la prise de décision des métiers et du management 03. Interagir avec les équipes opérationnelles et les chefs de projet pour le suivi des grands chantiers 04. Assister au pilotage des grands chantiers de refonte de l'infrastructure : socle analytique, ordonnancement, flux inter-applicatifs 05. Contribuer à l'évaluation et à la conception des solutions adaptées aux besoins de l'entreprise 06. Participer à la définition de l'architecture d'automatisation du PRI (Plan de Reprise Informatique) pour garantir la résilience applicative 07. Aider au pilotage technique de la refonte de l'ordonnanceur, spécifiquement pour la migration vers Apache Airflow 08. Contribuer à l'architecture technique de la refonte des flux Middleware et du socle analytique 09. Collaborer à la conception et au développement d'un projet data interne 10. Travailler avec la Sécurité SI pour valider l'architecture et l'intégration sécurisée des solutions

Contexte de la mission Nous recherchons un ingénieur expérimenté pour concevoir, déployer et maintenir des infrastructures de Machine Learning et de Large Language Models (LLM) dans des environnements hybrides, combinant infrastructures sur site (On-Premise) et Cloud. Le consultant travaillera en étroite collaboration avec les Data Scientists et les développeurs Backend afin de mettre en œuvre des solutions de Machine Learning fiables, sécurisées, évolutives et adaptées à la production. Responsabilités principales Concevoir, développer et maintenir des infrastructures MLOps/LLMOps dédiées aux LLM. Déployer, tester, superviser et administrer des modèles de Machine Learning dans des environnements conteneurisés. Gérer l'ensemble du cycle de vie des LLM : préparation des données, fine-tuning, évaluation, déploiement et monitoring. Concevoir et maintenir des pipelines CI/CD et des solutions d'orchestration des workflows ML. Mettre en place des outils de versioning des données et des modèles. Automatiser la détection des anomalies et le suivi des performances. Optimiser les coûts et les performances des pipelines de Machine Learning. Garantir la fiabilité et la sécurité des infrastructures ML en environnement hybride. Create CI/CD pipelines, orchestration solutions, and data versioning tools for ML workflows. Implement automated anomaly detection, performance tracking, and cost-optimisation for ML pipelines.

Dans le cadre de la mise en production d'une nouvelle Data Factory, reposant sur un Data Warehouse transverse et un ensemble de services data mutualisés, nous recherchons un(e) Architecte Data / Data Platform pour accompagner l'évolution et l'industrialisation de la plateforme. Vos missionsÊtre le référent sur les choix technologiques et architecturaux de la plateforme Data. Analyser les besoins et définir les solutions techniques et fonctionnelles adaptées. Valider l'intégration de nouveaux cas d'usage sur la plateforme. Identifier les écarts entre les besoins métier et les fonctionnalités existantes (gap analysis). Challenger et faire évoluer les choix d'architecture. Accompagner les équipes de développement dans le cycle de développement. Coordonner les différents interlocuteurs IT, projets, production et métiers. Définir les priorités et les trajectoires d'évolution de la plateforme. Contribuer à la documentation technique : cartographies, dossiers d'architecture, principes d'utilisation et d'éligibilité de la plateforme. Garantir les bonnes pratiques en matière de modélisation, Data Lineage et Data Quality. Environnement techniqueData Platform / Data Warehouse : Oracle Exadata Virtualisation Data : Starburst Transformation Data : DBT Orchestration : Airflow Conteneurisation : Kubernetes CI/CD : Ansible, Jenkins Monitoring : Dynatrace Développement : Java, Angular Architecture de type Data Mesh / multi-instances Profil recherchéDe formation supérieure en informatique, vous justifiez d'une expérience significative en architecture Data / Data Platform. Vous disposez idéalement d'une expertise sur DBT et Starburst, ainsi que d'une bonne compréhension des enjeux de Data Architecture, Data Quality et Data Lineage. Vous êtes capable de prendre de la hauteur, de challenger les choix d'architecture et de faire le lien entre les besoins métier et les solutions techniques. Vous êtes à la fois référent technique, force de proposition et facilitateur auprès des équipes de développement.