Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Contexte de la mission Dans le cadre du renforcement de son Center of Expertise Data Governance , notre client recherche un Data Governance Specialist pour intégrer l’équipe “Expertise”. Cette équipe joue un rôle transverse clé et intervient sur : la structuration des standards de gouvernance data l’industrialisation des pratiques la résolution des problématiques rencontrées par les équipes métiers et data (Digital Units) La mission s’inscrit dans un environnement data platform avancé , avec des enjeux forts autour de : Data Catalog Data Quality AI Governance Data Contracts Objectifs de la mission 1. Data Catalog (Collibra) – Configuration & amélioration produit Concevoir et implémenter des solutions dans Collibra Configurer l’outil (workflows, administration, évolutions spécifiques) Recueillir et prioriser les besoins utilisateurs Valider et implémenter les spécifications fonctionnelles 2. Intégration dans l’écosystème data Participer à l’intégration du Data Catalog avec la Data Platform Concevoir les flux d’échange de métadonnées Développer et maintenir les connecteurs (API, crawling, etc.) Collaborer avec les équipes architecture Gérer l’interaction avec le support éditeur 3. Gouvernance & transformation Contribution au programme Data Contracts Participation aux sujets stratégiques : AI Governance Framework Trust AI Data Quality by Design Environnement technique Data Catalog : Collibra Data Platform : Databricks Transformation : dbt Orchestration : Apache Airflow Intégration : APIs, connecteurs, metadata exchange Data Quality : Metrics Store / framework interne Compétences attendues Must have Data Governance (confirmé) Data Catalog (idéalement Collibra) Intégration data / metadata / APIs Databricks (avancé) dbt (avancé) Apache Airflow (avancé) Nice to have Expérience sur des programmes de Data Contracts Connaissance des enjeux AI Governance Expérience en environnement data platform à grande échelle Soft skills Capacité à travailler en transverse Bon relationnel avec équipes métiers et techniques Approche structurée / orientée solution Capacité à gérer des sujets complexes

Les attendus de la mission: 1. Développement d’Agents IA Concevoir et améliorer des agents IA end‑to‑end (RAG, multi‑agents, MCP). Développer des assistants intégrés (Google Chat, APIs internes). Implémenter du Tool Use pour orchestrer des actions métier (SAP, BigQuery, Firestore). Intégrer des capacités multimodales (PDF, images). 2. MLOps & Industrialisation Déployer sur GCP : Vertex AI, Cloud Run, BigQuery, Firestore. Intégrer les workflows dans Airflow (DAGs de traitement). Maintenir CI/CD (GitHub Actions) et conteneurisation (Docker). Assurer le monitoring et la qualité (MLflow, Evidently). 3. Sécurité & Gouvernance Mettre en place et maintenir un Human‑in‑the‑loop robuste. Protéger les agents contre prompt injection, jailbreaking et fuite de données. Garantir la conformité et la qualité des données injectées dans SAP/BigQuery. 4. Automatisation & Optimisation Optimiser les performances des agents (précision, autonomie, robustesse). Étendre les capacités du système (nouveaux outils, nouvelles sources). Développer des mécanismes de fallback intelligents pour les cas complexes.

Des missions data à fort impact, une communauté en pleine expansion. Tu arrives au bon moment ! Atecna, c'est une agence d'expérience digitale avec une mission claire : intégrer l'innovation technologique de manière responsable pour assurer la compétitivité et la performance de nos clients. Un ensemble d'experts qui couvrent toute la chaîne de valeur du digital : du cadrage à l’adoption. Et derrière tout ça, près de 200 Atecniens répartis sur 6 agences. 👥 Ta future équipe Tu rejoins la communauté Data, animée par Steve et une équipe d'experts passionné·es en pleine structuration. Une équipe qui capitalise sur ses expériences projets et partage activement ses bonnes pratiques et sa veille sur l'écosystème data. Tu es en mission chez nos clients, mais tu contribues aussi à quelque chose de plus grand : faire grandir l'expertise Data d'Atecna de l'intérieur. ⚡ Ton impact au quotidien Grâce à toi, nos clients cessent de subir leurs données et commencent à en faire un vrai levier de décision. Tu conçois et industrialises des pipelines data robustes (ETL/ELT, batch, streaming) Tu orchestres les flux avec les bons outils (Airflow, dbt…) dans des environnements cloud (GCP en priorité) Tu modélises et optimises des bases de données pour des usages métiers concrets Tu contribues à la structuration de la communauté Data Atecna : pratiques, standards, montée en compétences Bonus : tu as déjà monté une plateforme data from scratch ou tu as une appétence pour le mentorat ? Ce serait un vrai atout pour nous.

Description du besoin : Data Engineer – Plateforme Data AWS / Snowflake Client : Grand Groupe Industriel International Localisation : Magny-les-Hameaux (78) + déplacements ponctuels Malakoff (92) Télétravail partiel : 2 jours / semaine Démarrage idéal : ASAP Information de type C3 - Contexte industriel ? Contexte Dans le cadre de l’évolution de sa plateforme Data, un grand groupe industriel souhaite renforcer son dispositif avec un profil senior spécialisé en orchestration de pipelines de données, avec une expertise forte sur Apache Airflow. Le client dispose d’un écosystème data déjà en place (AWS / Data Lake / Snowflake) et cherche à améliorer la fiabilité, la scalabilité et l’industrialisation des traitements. L’objectif est d’intégrer un profil capable de concevoir et structurer les workflows data, et non simplement d’utiliser Airflow pour exécuter des jobs existants. ? Objectif de la mission Le client recherche un Data Engineer senior avec une expertise avancée sur Airflow, capable de : -concevoir et développer des DAGs complexes -structurer l’enchaînement des traitements de données -gérer les dépendances entre pipelines -implémenter des stratégies de gestion des erreurs, retry et reprise -optimiser l’orchestration et la planification des workflows Le consultant interviendra sur la fiabilisation et l’industrialisation des pipelines data, avec une forte autonomie dans la conception des solutions. ? Prestations attendues ? Orchestration & Airflow (cœur de mission) Conception et développement de DAGs Airflow complexes Structuration des workflows data et gestion des dépendances Mise en place de stratégies de retry, reprise et gestion des erreurs Optimisation du scheduling et des performances des pipelines Industrialisation des workflows ? Data Engineering & intégration Intégration et orchestration de pipelines batch et temps réel Collaboration avec les équipes Data (Data Engineers / Data Scientists) Contribution à l’architecture globale des pipelines ? Cloud & environnement technique Intégration dans un environnement AWS Data Lake Interaction avec les services data (stockage, compute, etc.) Automatisation et bonnes pratiques de développement ? Environnement technique Airflow (expertise avancée requise) Python AWS (S3, Glue, etc.) Data Lake / Snowflake CI/CD / Terraform (apprécié) ? Profil recherché ? Expérience 5+ ans en Data Engineering Expérience significative sur Airflow en production Expérience sur des environnements data complexes ? Compétences indispensables Airflow avancé (design de DAGs, orchestration complexe) Python Conception de pipelines data Gestion des dépendances et workflows ? Compétences appréciées AWS / Data Lake Terraform / CI/CD Snowflake ? Points clés (critères éliminatoires) Profil ayant utilisé Airflow uniquement comme outil de déclenchement ? Absence d’expérience en conception de DAGs ? Pas de maîtrise de la logique d’orchestration ? ? Profil idéal Un profil capable de penser et concevoir une orchestration complète de pipelines data, avec une vraie maîtrise des mécaniques internes d’Airflow, et une capacité à intervenir en autonomie sur des environnements existants.naires Communication claire et structurée

Contexte Dans le cadre du renforcement de ses équipes data, un acteur du secteur digital recherche un Data Engineer pour intervenir sur des problématiques de traitement et d’exploitation de données à grande échelle. Missions Concevoir et maintenir des pipelines de données (batch & streaming) Gérer l’ingestion, la transformation et la qualité des données Développer sur des environnements Big Data (Spark, Kafka) Mettre en place et optimiser les workflows (Airflow) Participer à l’industrialisation des traitements (CI/CD) Collaborer avec les équipes Data, DevOps et métiers Stack technique • Scala / Python / SQL avancé Spark / PySpark, Kafka Airflow (ETL / orchestration) Cloud : Azure et/ou AWS Git, CI/CD

Dans le cadre de son plan de transformation Data, le groupe poursuit un objectif central : développer des applications Data permettant aux directions métiers (pilotage, marketing, commerce, etc.) de gagner en autonomie dans l'analyse de leurs données et le suivi de leurs KPI mais aussi de mettre en place des applications customer-facing Pour répondre à cet enjeu, le groupe s'appuie sur un écosystème technologique étendu, comprenant notamment : AWS, GitLab, Terraform, DBT, Snowflake, GenAI, Braze, Scala, Spark, Python, Power BI, ainsi que des briques d'Intelligence Artificielle. La plateforme repose sur des architectures robustes et évolutives (Datalake, Lakehouse, des architectures multi-tenant, des architectures event-driven et streaming) conçues pour ingérer et gérer plus de 100 To de données par jour, dont une part majoritaire en temps réel. Description du poste : Notre environnement de travail combine rigueur, une ambiance décontractée au sein des équipes, et des méthodes Agiles (Scrum et Kanban). Votre mission principale, si vous l'acceptez, consistera à intervenir sur des architectures de Streaming Data et IA full AWS (notamment Lambda, Step Function, Kinesis Stream, S3, Batch, Firehose, EMR Serverless, DynamoDB, etc.), ainsi que sur des technologies comme Scala, Spark, SQL, Snowflake, GitLab CI/CD, DBT, Airflow, Terraform. Vous serez amené à : Concevoir et développer des pipelines de données performants Développer en utilisant des outils tels que Scala, DBT et Spark Implémenter des architectures de Streaming Data robustes Contribuer activement aux initiatives FinOps Développer et optimiser des traitements d'intégration de données en streaming Rejoignez une équipe dynamique où innovation et expertise se rencontrent !

Objectifs de la mission Le bénéficiaire souhaite une prestation d’accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters, Prestations demandées Les missions sont: Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Contexte de la mission Au sein d'une grande entité du secteur de l'énergie, vous interviendrez en tant qu' Architecte Data transverse avec une double expertise DevOps et FinOps . Votre rôle sera stratégique : concevoir des architectures cloud robustes, définir les standards d'urbanisation (Data, IA, MLOps) et piloter l'optimisation des coûts dans un environnement hybride et multi-cloud, avec un focus majeur sur GCP . Missions principales 1. Architecture & Urbanisation Définir les standards d'architecture et les règles d'urbanisation pour les domaines Data, IA, DevOps et MLOps. Concevoir et mettre en œuvre des architectures de données cloud performantes. Rédiger, maintenir et diffuser les bonnes pratiques (Data, On-Premise, Cloud et DevOps). Assurer la gouvernance des modèles et encadrer l'usage des LLM tout en gérant les risques éthiques et réglementaires. 2. Expertise DevOps & MLOps Industrialiser les pipelines de données et de Machine Learning (ML Pipelines). Superviser l'orchestration et la conteneurisation des services. Garantir la mise en œuvre des principes CI/CD et GitOps dans des environnements complexes. 3. Stratégie FinOps & Performance Intégrer les principes FinOps dès la conception (Architecture by design). Optimiser spécifiquement les coûts liés au Cloud et aux ressources GPU (Plan FinOps dédié à l'IA). Définir des modèles de refacturation interne et préconiser les outils de suivi de performance pour superviser les pipelines. Expertise Technique Requise Cloud : Maîtrise avancée de Google Cloud Platform (BigQuery, Composer, Airflow, DataProc, DataFlow). Infrastructure as Code & CI/CD : Terraform, Ansible, Git, Jenkins, GitLab-CI, GitOps, Helm. Conteneurisation : Docker, Kubernetes. Observabilité : ELK, Grafana, Prometheus, Google Monitoring. Environnement : Expérience significative en environnements hybrides (On-premise / Cloud). Modalités pratiques Lieu : Paris – Présence sur site obligatoire 2 à 3 jours/semaine . Date de démarrage : 01/06/2026. Date de fin : 31/12/2026 (Visibilité long terme). Prix d’achat max : 650 € HT / jour.

Opportunité -| un(e) ML Engineer / MLOps Engineer – Projet Data & IA en production Dans le cadre du renforcement d’une équipe Data & IA dédiée à la personnalisation de l’expérience utilisateur , nous recherchons un(e) ML Engineer confirmé(e) pour intervenir sur des projets à fort impact, en environnement cloud et production. Vos missions Concevoir, développer et maintenir des pipelines ML robustes et scalables Industrialiser les modèles développés avec les équipes Data Science Déployer les modèles en production et accompagner les A/B tests Mettre en place le monitoring des performances et le contrôle qualité des modèles Exposer les modèles via des API REST Structurer et optimiser le stockage et la circulation des données Développer et maintenir les workflows CI/CD Garantir la stabilité, la sécurité et l’évolutivité des environnements Collaborer avec les équipes Data, Produit et Tech dans un cadre Agile 🛠️ Environnement technique Python / SQL Google Cloud Platform Vertex AI BigQuery Cloud Run Airflow FastAPI / Flask Terraform GitLab CI/CD TensorFlow / Scikit-learn 👤 Profil recherché Minimum 3 ans d’expérience en environnement Data / Machine Learning Expérience confirmée en mise en production de modèles ML Très bonne maîtrise de Python, SQL et des architectures data Solide expérience sur GCP Connaissances MLOps / industrialisation / infrastructure as code Aisance en communication avec des interlocuteurs techniques et métiers Français courant indispensable

Objectif : Concevoir et maintenir des services back-end scalables et performants. Responsabilités Développer et optimiser des API (REST) en Python (FastAPI). Concevoir et maintenir des bases de données (PostgreSQL principalement) pour des requêtes performantes. Collaborer avec les équipes DevOps pour automatiser les déploiements (Docker, CI/CD). Intégrer des tests automatisés (pytest) et participer aux revues de code. Contribuer à l'amélioration continue de l'architecture back-end. Stack technique Langages : Python. Bases de données : PostgreSQL, NoSQL. Pipeline de données : Airflow ou autres Outils : Docker, Git, CI/CD, Ansible, Terraform.

Vous serez intégré dans une équipe pluridisciplinaire (Data Engineer, DevSecFinOps) Vous travaillerez sur un use case dédié en collaboration avec les équipes Data (tech lead, gouvernance et architectes). Vous devrez avoir une approche FINOPS (Maîtrise et diminution des coûts) BUILD - Interlocuteur lors de la contribution à des projets dans le domaine de la Supply - Conception de solutions en respectant les normes et framework data - Développement, Modélisation sous la gouvernance de l'architecture data - Contribution au développement d'appli - Tests - Reporting RUN : - Maintien en condition opérationnelle de notre périmètre de responsabilité (4 référentiels de données opérationnels (RDO) multi sourceurs, 6 applications) - gestion des incidents - mise en production (via Git) - suivi de flux EXPERTISE : - Montée en compétence sur notre SI et notre domaine de responsabilité

Renforcer et fiabiliser une plateforme interne utilisée par les équipes commerciales , qui permet de sélectionner des leads via Salesforce et d’interagir avec un backend API . Aujourd’hui, la plateforme a des soucis de stabilité et de fiabilité . La mission consiste donc à la stabiliser, l’optimiser et à y ajouter des fonctionnalités d’intelligence artificielle générative pour guider les actions commerciales et améliorer la performance des équipes. 🛠️ Missions principales Stabiliser et optimiser le backend existant Assurer une bonne communication entre Salesforce et le backend via API Intégrer des recommandations guidées par IA générative pour aider les commerciaux Automatiser et orchestrer les workflows avec Apache Airflow Déployer et gérer la plateforme sur Microsoft Azure Développer de nouvelles fonctionnalités en Full Stack Python

⚠️ Compétences obligatoires (indispensables pour ce poste) Les candidats doivent impérativement maîtriser les compétences suivantes : BigQuery (Google Cloud Platform) – niveau confirmé Orchestration de pipelines de données (ex : Airflow) – niveau confirmé Transformation de données (ex : dbt) – niveau confirmé Architecture Data Mesh / Data Product – niveau confirmé SQL et modélisation de données Environnement Google Cloud Platform (GCP) Gestion de pipelines de données et pratiques DevOps (CI/CD) Anglais professionnel Intitulé du poste Data Engineer Objectif global du poste Accompagner les équipes produits digitaux dans le déploiement d’un Framework Data Management , en assurant la diffusion des standards, bonnes pratiques et méthodes de Data Engineering au sein des plateformes digitales. Le poste s’inscrit dans une équipe Data transverse avec pour mission de faciliter l’exploitation et la valorisation des données par les équipes métiers et digitales . Principaux livrables Déploiement opérationnel du framework Data Management dans les produits digitaux Élaboration de guides pratiques à destination des équipes produits Mise en place et documentation de standards, patterns et bonnes pratiques Data Engineering Missions principales Le Data Engineer aura notamment pour responsabilités : Collecter, structurer et transformer les données afin de les rendre exploitables pour les utilisateurs métiers et digitaux Concevoir et organiser un modèle physique de données répondant aux enjeux d’architecture Data Mesh Mettre en œuvre des méthodes permettant d’améliorer : la fiabilité la qualité la performance des données l’optimisation des coûts ( FinOps ) Garantir la mise en production des flux de données dans le respect de la gouvernance et des règles de conformité Assurer le respect des réglementations liées à la protection des données Maintenir et faire évoluer la stack technique Data Mettre en place un cadre de bonnes pratiques pour améliorer la qualité des développements de flux de données et leur suivi en production Participer aux rituels agiles de l’équipe et contribuer à la veille technologique Environnement technique Cloud : Google Cloud Platform (GCP) Data Warehouse : BigQuery Orchestration : Airflow Transformation : dbt Streaming : Kafka Stockage : GCS Langages : SQL, Shell Bases de données : SQL / NoSQL DevOps : CI/CD, Git, data pipelines Méthodologie Travail en méthodologie Agile Gestion de version avec Git Participation active aux rituels d’équipe Langues Français : courant Anglais : professionnel (impératif)

Panda Services est une Entreprise de Services du Numérique spécialisée en Ingénierie Informatique, présente sur le marché depuis plus de 20 ans, réalisant pour ses clients des prestations de haut niveau en assistance technique. Nous sommes à la recherche d’ un(e) Data Engineer Snowflake Sénior, pour l'un de ses clients basé à Paris. Localisation : Paris Contexte de la mission Dans le cadre du renforcement de notre équipe data, nous recherchons un Data Engineer expérimenté pour intervenir sur la conception et l’optimisation de pipelines de données au sein d’une architecture moderne orientée cloud. 🎯 Missions principales Concevoir, développer et maintenir des pipelines de données robustes et scalables Modéliser et structurer les données dans Snowflake Assurer l’intégration et la transformation des données via Dataiku Optimiser les performances et les coûts des traitements de données Mettre en place des bonnes pratiques de qualité, gouvernance et sécurité des données Collaborer avec les équipes Data Science, BI et métiers Participer à l’industrialisation des workflows data 🛠️ Compétences techniques requises Excellente maîtrise de Snowflake (data warehouse cloud) Expérience confirmée sur Dataiku (DSS) Bonne maîtrise de SQL et des concepts de modélisation de données Expérience avec des outils ETL / ELT Connaissance des environnements cloud (AWS, Azure ou GCP) Maîtrise de Python appréciée Expérience en CI/CD et data pipelines (Airflow, dbt est un plus) 👤 Profil recherché Minimum 7 ans d’expérience en Data Engineering Forte capacité d’analyse et de résolution de problèmes Autonomie et proactivité Bon relationnel et capacité à travailler en équipe Expérience en environnement agile

Missions : • contribution aux projets décisionnels - Big data • participation et animation de groupes de travail avec les utilisateurs et les informatiques • collecte des besoins auprès des métiers • modélisation et développement des reporting : spécification des indicateurs décisionnels (statistique, qualité, facturation) • exploration de données • rédaction des livrables : spécifications fonctionnelles et techniques, cahiers de recette • participation aux recettes • formation et accompagnement des utilisateurs

Description Pour le compte de notre client grand compte, nous recherchons un Expert Data Engineer Spécialisé sur Google Cloud afin de rejoindre la Squad data pour le pilotage commercial Tâches principales Développement de pipeline de données sur Cloud Composer / Airflow Optimisation des performances et coûts des traitements sur GCP Participation aux choix d'outils et des solutions techniques sur GCP et développement de nouvelles application Modélisation des données sur BigQuery Maintenir l'existant en condition opérationnelle Préparer et mettre en œuvre l’interopérabilité avec de nouveaux systèmes opérationnels Proposer des simplifications et/ou optimisations selon les normes internes Compétences demandées GCP : Confirmé Big Query : Expert Base de donnée : Confirmé Python : confirmé Lieu : Paris