Find your next tech and IT Job or contract Apache Airflow

Je recherche unv Data Platform Engineer – DataOps / SRE (orienté Databricks & Dataiku) une prestation d’accompagnement dans l’objectif de garantir la fiabilité, la performance et l’industrialisation des solutions data au sein de l’équipe OPS (ITOps / SRE). Au-delà de la gestion des pipelines, le profil intervient en amont sur la conception et le déploiement d’architectures data complètes, de la définition des choix techniques avec les équipes Dev/Archi/Sécurité/Cloud … à la mise en production jusqu’à assurer le fonctionnement optimal des plateformes en production. Intégrer une équipe IT Ops pour assurer le déploiement et l’architecture Data autour des solutions Databricks & Dataiku. Le rôle consiste à garantir la stabilité, la performance et la sécurité des environnements, en collaboration avec les équipes techniques et métiers de la direction Data & IA Responsabilités principales : Administrer les environnements Databricks et Dataiku : gestion des clusters, sécurité et gouvernance (Databricks Azure, Dataiku on prem) Déployer et maintenir les pipelines de données (ETL/ELT) en production (MCO) Automatiser le déploiement et la configuration IaC Administrer des environnements Airflow, Starburst … Assurer la fiabilité, l’intégrité et la qualité de la plateforme en production. Définir et suivre les SLO/SLI ; rétablir le service en cas d’incident. Participer à la conception d’architectures data end-to-end (ingestion, stockage, transformation, exposition) et anticiper les impacts sur la production. Compétences clés : Techniques : Linux (RHEL), Docker, Kubernetes / OpenShift Databricks, Dataiku (connaissances avancées) Airflow, Starburst, Domino AI (un plus) Automatisation & IaC Git, Ansible, Terraform, Helm, DigitalAI, ArgoCD Scripting : Python, SQL, Shell, YAML Observabilité & Monitoring: ELK, SysDig, Dynatrace, Grafana Cloud : IBM Cloud (Cloud Principal), Azure (pour la solution Databricks) Métier & Soft skills : Analyse, diagnostic, résolution de problèmes et définir des indicateurs pertinents (SLI/SLO) Orientation fiabilité, performance et expérience utilisateur Autonomie, sens des priorités et proactivité Capacité à anticiper les besoins futurs en matière de Data & AI et à proposer des solutions innovantes pour améliorer la fiabilité et la performance des services. Profil recherché : Expérience en DataOps, DevOps/IAOps/Architecture Data ou exploitation en production. Maîtrise opérationnelle de Databricks et Dataiku sur des projets réels en production Communication fluide et maitrise de l’anglais obligatoire pour un usage quotidien Conception et mise en œuvre des architectures de production pour les nouveaux projets Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour sur l'intégralité de la plateforme Design et implémentation de scripts pour les besoins du DEV, en support des ingénieurs OPS affectés aux projets Agiles Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning) ; Pilotage de la mise à niveau des infrastructures et gestion des impacts Mise en oeuvre des bonnes pratiques DevOps et intégration continue Installation, configuration et divers paramétrages Alimentation du backlog des Services de production ( CI/CD, Continuous Operation, Time2fix,...) en complément des informations collectées auprès des Ingénieurs OPS Connaître les environnements de Production et Containers Apport d’expertise autours de la pratique DEVOPS Connaissance de l'intégration Continue Connaissance des Infrastructures/ serveurs / OS/Base De Donnée /Flux/firewall Connaissance en infrastructure Cloud (IaaS, PaaS) privé ou public Maîtrise de l’ordonnancement (Schedulers) Connaissance des pratiques Agile et DevOps Connaissance de l'intégration Continue (Continuous Integration) : Outil de gestion de versions, Référentiel du code source (GitLab, Bit bucket,..), référentiel binaires (Nexus, Artifactory…), orchestration (Jenkins, …). Connaissance de la Livraison Continue (Continuous Delivery) : gestion de configuration d’environnement, déploiement, Infrastucture as code (Ansible, Puppet, Chef) Connaissance des processus et Outils du Time2fix et Time2repair

Contexte Dans le cadre de l'accélération de sa transformation Data, un grand groupe international renforce son équipe Data Europe afin de développer des plateformes de données et des produits Data répondant aux besoins opérationnels et décisionnels des différentes entités européennes. L'équipe intervient dans un environnement en pleine évolution, où certaines plateformes Data globales sont encore en cours de déploiement. Afin de répondre rapidement aux besoins métiers, des solutions régionales sont développées tout en respectant les standards d'architecture du Groupe et en garantissant leur intégration future dans l'écosystème cible. Dans ce contexte, nous recherchons un Senior Data Engineer capable de concevoir, développer et industrialiser des solutions Data robustes, évolutives et performantes. Vos missions En tant que Senior Data Engineer, vous participerez à toutes les étapes de la chaîne de valeur Data, de la conception jusqu'à la mise en production. Architecture Data Concevoir des architectures Data évolutives et maintenables. Définir les différentes couches de données (Raw, Curated, Consumption/Data Mart). Garantir l'alignement des solutions avec les standards d'architecture Data de l'entreprise. Participer aux choix techniques et aux évolutions de la plateforme. Développement des pipelines de données Vous serez responsable de la conception, du développement et de l'optimisation des pipelines de données. À ce titre, vous devrez : Développer des pipelines ETL / ELT industrialisés. Concevoir des flux de chargement batch et incrémentaux. Mettre en œuvre des traitements réutilisables et évolutifs. Assurer la fiabilité et la maintenabilité des traitements. Optimiser les performances des pipelines. Modélisation des données Vous participerez à la conception du modèle décisionnel. Vos responsabilités comprendront : La modélisation dimensionnelle. La création de tables de faits et de dimensions. La conception de Data Marts orientés métier. La standardisation des jeux de données destinés au reporting et aux KPI. Optimisation des performances Vous serez garant de la performance de la plateforme Data. Vous interviendrez notamment sur : L'optimisation des requêtes SQL. L'amélioration des performances des traitements. L'optimisation des ressources de calcul et de stockage. La réduction des coûts d'exploitation. Qualité des données Vous contribuerez à garantir la qualité et la fiabilité des données. Vous mettrez en œuvre : Des règles de contrôle qualité. Des mécanismes de validation des données. Des procédures de suivi des incidents. Des outils de supervision et d'observabilité. Gouvernance et sécurité Vous appliquerez les bonnes pratiques de gouvernance des données. Vos missions incluront notamment : La gestion des droits d'accès (RBAC). La documentation des flux de données. Le respect des normes de sécurité. La gestion du cycle de vie des données. La traçabilité des données (Data Lineage). Orchestration Vous développerez et maintiendrez les workflows d'orchestration. Vous serez amené à : Concevoir des DAGs Airflow. Gérer les dépendances entre traitements. Mettre en place des mécanismes de reprise sur incident. Superviser les traitements automatisés. Collaboration Vous travaillerez en étroite collaboration avec : les Business Analysts ; les Product Owners ; les équipes BI et Analytics ; les équipes techniques ; les parties prenantes métier. Vous participerez aux ateliers de conception, aux cérémonies Agile et aux phases de recette. Documentation Vous produirez une documentation claire et maintenable portant sur : l'architecture des solutions ; les pipelines développés ; les modèles de données ; les procédures d'exploitation ; les transferts de connaissances. Livrables attendus Le consultant interviendra sur la production des livrables suivants : Architecture Schémas d'architecture Data. Documentation technique. Cartographie des flux de données. Mapping Source → Cible. Développement Pipelines ETL/ELT prêts pour la production. Workflows Airflow. Modèles dbt. Frameworks d'ingestion. Scripts SQL. Modélisation Modèles dimensionnels. Tables de faits et dimensions. Data Marts certifiés. Jeux de données destinés au reporting. Qualité Règles de contrôle. Scripts de validation. Tableaux de bord de supervision. Rapports de qualité. Gouvernance Documentation des accès. Data Lineage. Standards de développement. Documentation de conformité. Optimisation Optimisation SQL. Optimisation des performances. Optimisation des coûts. Recommandations d'amélioration. Intégration Jeux de données destinés aux outils BI. Interfaces avec les applications consommatrices. Documentation des échanges de données. Tests Tests unitaires. Tests d'intégration. Support aux phases de recette. Validation avant mise en production. Amélioration continue Refactoring des traitements. Automatisation des processus. Propositions d'évolution de la plateforme. Environnement techniquePlateforme Data Snowflake dbt Apache Airflow Cloud AWS Langages SQL avancé DevOps Git CI/CD Méthodologie Agile / Scrum Outils Jira Confluence Lucid

Concevoir et implémenter des pipelines de données robustes et évolutifs Optimiser les performances et la rentabilité (optimisation des requêtes, clustering, stratégies de stockage) Implémenter des pipelines CI/CD et des frameworks d'observabilité pour améliorer la fiabilité des données Collaborer étroitement avec les architectes et les parties prenantes métiers pour s'aligner sur les objectifs stratégiques Promouvoir les bonnes pratiques en matière de gouvernance, sécurité et conformité des données Encadrer les ingénieurs et contribuer aux bonnes pratiques et aux normes d'ingénierie Assurer le support des environnements de production, résoudre les problèmes et effectuer des analyses de causes profondes Contribuer à l'amélioration continue de la plateforme de données

💥 Enjeux de la mission Intervention sur des plateformes data critiques , au cœur de l’infrastructure SI. Focalisation sur : performance haute disponibilité fiabilité des systèmes Positionnement à la croisée du run avancé, de l’optimisation et des projets techniques . 🎯 Périmètre d’intervention Gestion des incidents N3 en production critique Optimisation des bases MySQL (tuning, performance, haute disponibilité) Industrialisation des solutions techniques Gestion de l’obsolescence (upgrades, stabilisation) Suivi des KPIs de performance et disponibilité Contribution aux évolutions de l’infrastructure data 🛠️ Environnement technique attendu Maîtrise nécessaire ou forte montée en compétence attendue sur : MySQL → expertise (performance, réplication, HA) Linux → administration avancée Docker → conteneurisation ELK → supervision et analyse avancée Ansible / Puppet → automatisation Kafka → compréhension opérationnelle Airflow → orchestration CI/CD & Git → usage courant Expériences appréciées sur : Hadoop, Spark, Hive

Freelance – Data Engineer / Data Analyst Confirmé (Snowflake, Airflow, dbt) Contexte Notre client recherche un Consultant Data Engineer / Data Analyst confirmé pour renforcer son équipe Data et accompagner les évolutions de sa plateforme décisionnelle. Missions Concevoir et développer des pipelines de données robustes et performants. Participer à la modélisation et à la transformation des données. Assurer la qualité, la fiabilité et la disponibilité des données. Collaborer avec les équipes métier afin de répondre aux besoins d'analyse et de reporting. Participer aux bonnes pratiques de développement et à l'optimisation des traitements. Compétences requisesIndispensables Excellente maîtrise de Snowflake . Solide expérience sur Apache Airflow . Bonne maîtrise de dbt (Data Build Tool) . Expérience significative en environnement Data Engineering et Data Analytics. Anglais professionnel impératif (échanges réguliers dans un contexte international). Informations complémentaires Démarrage : 19 juillet 2026 Mission jusqu'à fin d'année avec possibilité de prolongation.

Contexte de la mission La Direction du Numérique dispose d'une Direction Data dont l'objectif est de faire de la donnée un levier de croissance des offres numériques. Ses activités couvrent la maximisation de la collecte de données dans le respect des réglementations en vigueur, le développement de la connaissance et de l'expérience utilisateur, ainsi que la mise à disposition d'outils de pilotage et d'aide à la décision. La prestation s'inscrit au sein de l'équipe Bronze, composée d'un Product Owner, d'un Data Steward et de deux Data Ingénieurs. La stack technique repose sur Python, Spark, SQL, Airflow, Delta Lake, Cloud Storage, et les services GCP (BigQuery, Dataproc, PubSub). L'infrastructure est gérée via Terraform et Terragrunt. Rôle et responsabilités principales Construire et maintenir des pipelines data robustes et scalables Participer aux phases de conception, planification et réalisation des tâches en équipe Organiser et structurer le stockage des données Mettre en place et maintenir les infrastructures scalables adaptées à la croissance des volumes Construire et maintenir les workflows CI/CD (GitLab CI/CD) Assurer la conformité, la sécurité et la stabilité des environnements Partager les bonnes pratiques au sein de l'équipe et participer aux instances des Data Ingénieurs Contribuer à la mise à jour de la documentation et assurer une veille technologique active Livrables attendus Pipelines data opérationnels et maintenus Infrastructure scalable mise en place et documentée Workflows CI/CD fonctionnels Documentation technique à jour Collecte et centralisation des sources de données non homogènes Contribution aux initiatives de gouvernance des données

Lead Data Engineer / Lead Data Platform (H/F)Votre mission En tant que Lead Data, vous êtes responsable de la conception, de la fiabilité et de l’industrialisation de la plateforme data dans un environnement assurantiel fortement réglementé. Vous combinez un rôle de : référent technique, architecte data, lead d’équipe, garant de la qualité et de la sécurité des données. Vos responsabilitésLeadership & coordination Encadrer et accompagner une équipe de Data Engineers Définir les bonnes pratiques : qualité des données, documentation, monitoring, versioning Garantir la cohérence des choix techniques avec les équipes DevOps et Architecture Collaborer avec les équipes métiers (finance, actuariat, sinistres, marketing) Data Engineering Concevoir et maintenir des pipelines de données robustes et scalables Orchestrer les flux avec Apache Airflow Modéliser les données (schémas étoile / flocon) Garantir la performance, la sécurité et la traçabilité des données Industrialisation & DataOps Mettre en place les pratiques CI/CD pour les projets data Automatiser les tests et déploiements Superviser les traitements et gérer les incidents de production Travailler avec les équipes DevOps sur les environnements et la sécurité Profil recherché Formation supérieure en informatique ou data 7 à 10 ans d’expérience en Data Engineering Expérience significative en rôle de lead technique Une expérience en assurance, banque ou finance est appréciée Compétences indispensables SQL avancé Python Apache Airflow Git & CI/CD (GitLab CI, GitHub Actions, Jenkins…) Modélisation de données décisionnelles Bonne culture DataOps / industrialisation Compétences appréciées Spark / Databricks dbt Docker / Terraform Outils de data quality et observabilité Connaissance RGPD et données sensibles Soft skills Leadership et pédagogie Excellente communication Vision globale et sens des priorités Autonomie et rigueur Capacité à travailler avec des interlocuteurs techniques et métiers

En tant que DevOps Tech Lead, vous pilotez la conception, l’industrialisation et l’évolution des plateformes cloud/data de l’entreprise. Vous encadrez techniquement l’équipe DevOps/Data Platform et garantissez la fiabilité, la sécurité, l’automatisation et la scalabilité des environnements. Vous intervenez au croisement du Cloud Engineering, du CI/CD, de la Data Platform et du leadership technique. Responsabilités principales Leadership & Gouvernance technique • Encadrer et faire monter en compétence une équipe DevOps / Platform Engineers. • Définir les standards d’architecture, sécurité, CI/CD et Infrastructure as Code. • Participer aux choix technologiques et à la roadmap plateforme. • Garantir les bonnes pratiques DevOps, FinOps et SRE. Cloud & Infrastructure • Concevoir et administrer des architectures sur Amazon Web Services. • Industrialiser les infrastructures via Terraform et AWS CDK. • Gérer réseaux, IAM, sécurité, monitoring, sauvegardes et résilience. CI/CD & Automatisation • Mettre en place et maintenir les pipelines GitLab CI/CD. • Automatiser les déploiements applicatifs et data pipelines. • Optimiser les stratégies de branching, release management et quality gates. Data Platform / Databricks • Administrer et industrialiser Databricks. • Déployer les assets via Databricks Asset Bundles (DAB). • Gérer les clusters, policies, secrets, jobs et notebooks. • Mettre en place et maintenir Databricks Workflows. Orchestration & Scheduling • Concevoir et maintenir les workflows data avec Apache Airflow. *** • Superviser les dépendances, retries, SLA et observabilité. * Conteneurisation & Scripting • Construire et maintenir des images Docker. • Développer des scripts d’automatisation en Bash/Linux et Python. • Améliorer les outils internes et les processus d’exploitation. Compétences techniques requises Obligatoires • Expertise Amazon Web Services (IAM, VPC, EC2, S3, Lambda, RDS, CloudWatch…) • Solide maîtrise Terraform • Expérience AWS CDK • Très bonne maîtrise GitLab CI/CD • Expertise Databricks • Maîtrise Apache Airflow • Bonne maîtrise Docker • Scripting Bash/Linux • Développement Python Souhaitées • Kubernetes • Observabilité (Prometheus, Grafana, ELK) • Sécurité cloud / DevSecOps • FinOps • Spark / Data Engineering