Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : Administration et optimisation de clusters HDP/CDP Installation, configuration et maintenance des clusters Gestion des mises à jour et des patchs de sécurité Surveillance des performances et optimisation des ressources Gestion/administration de clusters Kubernetes Automatisation des déploiements avec Operators Sécurisation et monitoring des environnements conteneurisés Orchestration des workflows avec Apache Airflow Développement et optimisation des DAGs pour la gestion des pipelines de données Gestion des dépendances et optimisation des temps d'exécution Intégration avec les autres outils de l'écosystème Traitement et analyse des données avec Apache Spark Développement et optimisation des jobs Spark (batch et streaming) Gestion des performances et tuning des jobs Intégration avec les systèmes de stockage distribués Optimisation des requêtes et accès aux données avec Starburst Configuration et administration de Starburst Optimisation des requêtes SQL distribuées Sécurisation et gestion des accès aux différentes sources de données

Dans le cadre de l’évolution et de l’industrialisation de sa plateforme Data multi-cloud, un acteur majeur du secteur de l’énergie recherche un Tech Lead Data senior . La mission s’inscrit au sein de la plateforme Data Groupe avec des enjeux forts de : Scalabilité Gouvernance et qualité des données Industrialisation des pipelines Fiabilité en production 🎯 Missions principales 🔹 Leadership technique Être le référent technique de la plateforme Data Définir et faire évoluer l’architecture Data Encadrer et accompagner les Data Engineers Participer aux choix technologiques et aux orientations stratégiques 🔹 Build – Industrialisation Concevoir et mettre en œuvre un Data Lake Définir, développer et automatiser les pipelines de données Mettre en place les bonnes pratiques CI/CD Garantir la performance, la robustesse et la scalabilité 🔹 Run – MCO Assurer la supervision des traitements Gérer les incidents et optimiser les processus Maintenir les environnements techniques Automatiser les tâches récurrentes 🛠 Environnement technique☁ Cloud AWS (Redshift, RDS, Lambda, SQS, SNS, API Gateway…) GCP Contexte multi-cloud 💾 Data & Big Data SQL / NoSQL Data Warehouse Spark / Hadoop / HDFS Airflow ⚙ Dev / DevOps Python APIs (FastAPI / Flask) Docker Terraform GitLab CI/CD Linux

Nous recherchons plusieurs AWS Data Engineers Seniors pour renforcer une équipe Data Platform . 🎯 Contexte de la mission Vous intégrerez une équipe en charge de la plateforme Data , avec des enjeux forts de scalabilité, industrialisation et fiabilité des flux de données . Les missions s’inscrivent dans un environnement cloud moderne, orienté bonnes pratiques et performance. ⚙️ Missions principales Concevoir, développer et maintenir des pipelines de données robustes et scalables . Contribuer à l’évolution de la plateforme Data . Mettre en place et maintenir l’ infrastructure as code . Participer à l’industrialisation des traitements (CI/CD, containerisation). Travailler en collaboration avec les équipes Data, Produit et Architecture. Être force de proposition sur les choix techniques et les optimisations.

Maison internationale du secteur du luxe , notre client renforce son pôle Data afin de soutenir ses enjeux stratégiques et décisionnels. La donnée est au cœur des prises de décision : fiable, lisible, élégante et orientée business . 🧠 Vos missions En tant que Data Analyst Senior , vous intervenez sur l’ensemble du cycle de valorisation de la donnée : Data & Modélisation Concevoir et maintenir des modèles analytiques robustes via dbt Exploiter l’écosystème Microsoft Fabric (Lakehouse, Data Warehouse, pipelines) Orchestrer et superviser les flux de données avec Airflow Garantir la qualité, la cohérence et la traçabilité des données Reporting & Dashboards Concevoir et maintenir des dashboards décisionnels à forte valeur ajoutée Traduire des besoins métiers complexes en KPIs clairs, cohérents et partagés Garantir une single source of truth entre les modèles data et le reporting Veiller à la lisibilité, performance et élégance des tableaux de bord Adapter les niveaux de lecture (opérationnel, management, exécutif) Documenter les indicateurs et règles de calcul Business & Communication Collaborer étroitement avec les équipes métiers, IT et Data Challenger les besoins métiers et formuler des recommandations Présenter les analyses de manière claire et impactante Accompagner l’adoption des dashboards et usages data 👤 Profil recherché Nous recherchons un(e) expert(e) data , à l’aise aussi bien sur la technique que sur la restitution business. Expérience & compétences Minimum 7 ans d’expérience en Data Analysis / Analytics Engineering Excellente maîtrise de SQL Solide expérience sur dbt Bonne connaissance de Microsoft Fabric (ou environnement Azure Data équivalent) Expérience avec Airflow Pratique avancée du reporting et de la conception de dashboards (Power BI ou équivalent) Forte culture data : qualité, gouvernance, performance, cohérence des indicateurs Soft skills Très bon communicant , à l’écrit comme à l’oral Capacité à dialoguer avec des interlocuteurs métiers exigeants Esprit analytique, rigueur, autonomie Sens du détail et de l’excellence Langues Anglais fluent impératif (environnement international)

Pour un client dans le domaine bancaire, Vous participez à l’évolution du moteur python permettant de réaliser l’analyse des données bancaires du client · Développement en Python et SQL avec une plateforme Big Data Snowflake · Utilisation de DBT, Pandas, MLFlow et Airflow. · Chaine de développement complète (bac à sable – recette – PV recette – mises en productions – suivi de mises en productions) Principaux livrables : · Codes Python, SQL dans Gitlab · Evolutions dans nos Code Base · Analyses Ad Hoc · Test Unitaire / Test Fonctionnel

Data Engineer Senior afin d’accompagner la conception, l’industrialisation et l’évolution de ses solutions data. Le prestataire interviendra sur les sujets d’architecture, de modélisation, d’optimisation des pipelines et contribuera activement à la stratégie Lakehouse de l’entreprise. Missions principales Concevoir, développer et optimiser des pipelines de données à grande échelle. Mettre en œuvre des flux batch , streaming et ingestion via API . Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold). Développer et industrialiser les pipelines via DBT , Spark et Iceberg . Contribuer à l’évolution de l’architecture Lakehouse de l’entreprise. Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent). Orchestrer les workflows ETL/ELT via Airflow . Mettre en œuvre l’ Infrastructure as Code ( Terraform ). Exécuter les traitements dans des environnements conteneurisés ( Docker , Kubernetes ). Garantir la disponibilité, la supervision et l’observabilité des traitements. Participer à la gestion des incidents et à l’amélioration continue. Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés). Documenter les architectures, pipelines et règles métier. Garantir la conformité des flux, notamment dans le cadre RGPD .

Dans le cadre de la phase 2 de construction de sa plateforme Data Groupe, un acteur majeur du secteur de l’énergie recherche un Data Engineer expérimenté afin de renforcer son équipe Data. L’objectif est de consolider le socle technique existant, d’industrialiser les pipelines et de contribuer aux projets d’ingénierie Data & IA, tout en assurant le Run des assets déjà en production. 🎯 Missions principales 🔹 Build – Data Platform Participer à la construction et à l’évolution de la plateforme Data Concevoir et développer des pipelines de données Réaliser des POC et spiker le backlog Contribuer aux choix d’architecture en respectant les standards définis Optimiser les requêtes Amazon Redshift (point clé de la mission) 🔹 Run – Exploitation Assurer le maintien en conditions opérationnelles Superviser les traitements Garantir la performance et la stabilité des assets 🔹 Contribution IA Participer aux projets d’AI Engineering Collaborer avec les squads Data Métier Être force de proposition sur les solutions techniques 🔹 Optimisation des coûts Maîtriser les coûts des services cloud (dimension FinOps importante) 🛠 Environnement technique☁ Cloud AWS (Redshift, RDS, Lambda, SQS, SNS, API Gateway…) GCP 💾 Data & Big Data SQL / NoSQL Data Warehouse Spark / Hadoop / HDFS Scalabilité & clustering ⚙ Dev & DevOps Python APIs (FastAPI / Flask) Airflow Docker Terraform GitLab CI/CD Linux Git (code review, merge request) 📊 Outils analytiques (bonus) Tableau Dataiku Alteryx

ntégration au sein de l'équipe Data event Management qui gère les trois offres de services suivantes : - Offre Infra. Kafka sur ITCloud OnPremise - Offre Infra. Kafka sur IBMCloud/dMZR. Activités principales - Construction/Déploiement/Support/MCO des offres autour de la technologie de messaging kafka Méthodologie de Travail - ITIL - Agile/Scrum à l'échelle - Product Based Projets principaux en cours - Transition vers un Nouvel Orchestrateur sur l'Offre Infra Kafka IBMCloud/dMZR basé sur Python et Airflow, Terraform - Extension de l'offre Kafka sur IBMCloud/dMZR avec l'intégration du produit Lenses - Migration du monitoring de l'infrastructure OnPremise de Splunk vers une solution Dynatrace combinée avec ELK. Technologies Utilisées - Outils administratifs: ServiceNow, Jira, Confluence - Infrastructure as Code: Ansible, Terraform - Langages: Bash, java (spring/jhipster), python - Repository: Artifactory - Database: SQL Server, PostgreSQL - Contenairsation: Docker/Kubernetes - Provider Cloud: ITCloud, IBMCloud - Orchestration: Airflow, Autosys, BPM - Versionning: Git - Messaging: kafka - CI/CD: GitLab CI - Operating system: Redhat - Monitoring: ELK, Dynatrace, LogDNA, Sysdig - Sécurité: HashiCorp Vault, Cyberarc

Nous recherchons pour le compte de notre client grand-compte dans l'Energie, un Lead data Engineer. Objectifs : Etre le/la référent(e) technique de la plateforme de données - coordination technique transverse Etre référent principale sur un sujet pilote Définir, mettre en œuvre et automatiser des pipes des données et gouvernance Assurer le Run notamment la MCO, la CI / CD et la mise en production en coordination avec l’équipe référente Préparer les pipelines Data en coordination avec l’architecte et le manager Avoir un sens expérimental et de proposition dans un contexte Multi cloud est un atout majeur Missions : Etre le/la référent(e) technique de la plateforme de données Etre garant(e) du socle technique de la plateforme data et de son évolution, Définir les besoins techniques, la roadmap d’évolution du socle technique de la plateforme de données pour suivre ses changements d’échelle et garantir ses performances et sa maintenabilité, Etre mentor et référent pour les membres de l’équipe, Participer aux choix de nos partenaires. Le dev de devops : définir, mettre en œuvre et automatiser des pipes des données et gouvernance Mettre en place des projets Data Lake (ingestion de sources, pipeline de traitements de données, modélisation, tests, déploiements) dans la meilleure architecture, Définir les meilleures de façon de stocker exposer les données au sein de la plateforme selon les usages attendus, Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats, Réaliser les développements en ayant intégré les besoins et pratiques des analystes et data scientists. run et environnements Maintenir les environnements techniques et partager vos connaissances, Gérer les incidents et s’assurer de leur résolution dans une logique d’amélioration continue et d’automatisation (ex : rejeu de données), Assurer la supervision des traitements (technique et fonctionnelle).

Nous accompagnons un leader mondial et prestigieux du secteur du Luxe, réunissant un ensemble de Maisons emblématiques de la mode, de la maroquinerie et de la joaillerie. En tant que responsable de la plateforme Data construite sur Google Cloud Platform (GCP), vous porterez la vision produit. Votre mandat est clair : transformer les besoins métier complexes (venant du Retail, de l'E-commerce, du Marketing, de la Finance ou de la Supply Chain) en solutions data robustes, scalables et sécurisées. Vous ne livrez pas simplement de la technique, mais de la valeur business tangible pour l'ensemble des Maisons. Vision Produit et Roadmap Stratégique : Vous définirez et porterez la vision à long terme de la plateforme Data en alignement avec la stratégie digitale du Groupe. Vous construirez et maintiendrez une roadmap évolutive, en priorisant rigoureusement les initiatives selon leur retour sur investissement (ROI) et leur impact business. Vous devrez anticiper les évolutions technologiques du Cloud pour maintenir le Groupe à la pointe de l'innovation. Pilotage du Delivery et Agilité : Vous orchestrerez le travail des équipes techniques (Data Engineers, Architectes Cloud) en appliquant les méthodologies agiles. Votre rôle inclut la rédaction et la priorisation des User Stories avec des critères d'acceptation précis, ainsi que l'animation des cérémonies (Sprint Planning, Reviews, Retrospectives). Vous serez le garant du rythme de livraison et de l'arbitrage constant entre les besoins tactiques immédiats et les investissements structurels nécessaires. Gestion des Parties Prenantes (Stakeholder Management) : Vous agirez comme l'interface centrale pour une grande variété d'interlocuteurs : Data Analysts, Data Scientists, équipes métiers dans les Maisons et responsables Sécurité. Vous devrez recueillir, challenger et consolider les besoins, tout en facilitant l'adoption de la plateforme par les utilisateurs finaux. La communication sera clé : vous partagerez régulièrement les indicateurs de performance (adoption, coûts, efficacité) et les succès de la plateforme. Garantie de l'Excellence Technique et Conformité : Vous devrez comprendre et challenger les choix d'architecture (Data Lake, Data Warehouse, solutions streaming vs batch) pour garantir la performance et la maîtrise des coûts (FinOps). Évoluant dans un secteur exigeant, vous assurerez également que tous les développements respectent les normes strictes de gouvernance des données, de conformité (RGPD) et de cybersécurité (IAM, chiffrement), protégeant ainsi le patrimoine informationnel du Groupe.

Nous recherchons, pour le compte de notre client dans le secteur de l’énergie , un(e) Data Engineer Cloud afin de renforcer ses équipes data et accompagner des projets stratégiques à forte valeur ajoutée. Compétences clés indispensables Excellente maîtrise de Python Solide expérience sur AWS , notamment Redshift Mise en place et orchestration de pipelines data avec Apache Airflow Infrastructure as Code avec Terraform Développement d’API avec FastAPI Conteneurisation avec Docker Très bonne maîtrise du SQL et de la modélisation de données Atouts majeurs Expérience sur Google Cloud Platform (GCP) Connaissances ou intérêt fort pour l’ IA Agentic (agents autonomes, workflows intelligents, LLMs) Sensibilité DataOps / MLOps Expérience sur des architectures data modernes Profil attendu Formation Bac+5 (école d’ingénieur, université ou équivalent) 3 à 6 ans d’expérience en Data Engineering (adaptable) Autonome, rigoureux(se) et orienté(e) solutions Bon relationnel et esprit d’équipe Curiosité technologique et goût pour l’innovation 📍 Localisation : Courbevoie

Objectif de la mission Mettre en place et maintenir une chaîne d’intégration et de déploiement des modèles de Machine Learning en production, garantissant robustesse, scalabilité et monitoring. Contexte Vous interviendrez au sein d’une équipe Data & IA pour industrialiser des modèles ML liés à la qualité, la classification et l’enrichissement des données produits. Collaboration étroite avec Data Scientists et Data Engineers pour transformer des prototypes en solutions fiables. Responsabilités Conception & Déploiement Développer et maintenir des pipelines MLOps automatisés (CI/CD). Mettre en place l’infrastructure cloud via IaC. Assurer le versioning des modèles, données et pipelines (ZenML, MLflow). Monitoring & Maintenance Implémenter l’observabilité (drift, latence, qualité prédictions). Configurer alertes pour anomalies et dégradations. Optimiser les ressources de calcul. Collaboration & Qualité Accompagner les Data Scientists sur les bonnes pratiques MLOps. Intégrer des Data Quality Gates dans les pipelines. Contribuer à l’architecture Data Mesh (modèles = Data Products).

Contexte: Dans un environnement numérique à forte volumétrie de données, une direction technique transverse renforce sa plateforme Data afin de faire de la donnée un levier stratégique de pilotage, de connaissance utilisateur et d’aide à la décision. La mission s’inscrit au cœur d’une organisation Data structurée, en interaction étroite avec les équipes produit, techniques et métiers. L’objectif est de centraliser, fiabiliser et gouverner des données hétérogènes tout en garantissant leur conformité réglementaire, leur sécurité et leur exploitabilité à grande échelle. Le consultant interviendra au sein d’une équipe Data Engineering intégrée à la plateforme centrale, composée de profils complémentaires (Product Owner, Data Steward, Data Engineers). Missions: Le Data Engineer interviendra sur l’ensemble de la chaîne de valeur data, avec un fort enjeu de robustesse, scalabilité et gouvernance. Responsabilités principales : Collecter, centraliser et structurer des sources de données multiples et non homogènes Concevoir, développer et maintenir des pipelines data fiables et performants Organiser et optimiser le stockage des données (lakes, tables, catalogage) Mettre en place et maintenir des infrastructures cloud scalables Développer et maintenir les workflows CI/CD Garantir la sécurité, la conformité et l’évolutivité des environnements data Participer aux initiatives de gouvernance des données Accompagner les équipes dans l’exploitation et le requêtage des données Contribuer activement à la documentation et aux bonnes pratiques Assurer une veille technologique continue

Vous intégrerez l’équipe Data Event Management en charge des offres d’infrastructure de messaging Kafka sur ITCloud OnPremise et IBMCloud/dMZR , avec pour mission de construire, déployer, exploiter et maintenir en conditions opérationnelles les plateformes Kafka du groupe. Vous interviendrez sur des projets structurants incluant la transition vers un nouvel orchestrateur basé sur Python/Airflow/Terraform , l’extension de l’offre Kafka IBMCloud/dMZR avec l’intégration de Lenses , ainsi que la migration du monitoring OnPremise vers une solution hybride Dynatrace + ELK . La prestation s’inscrit dans un cadre ITIL , Agile à l’échelle et Product-Based , au sein d’un environnement moderne mobilisant Kubernetes, Terraform, Git, SQL, Docker, CI/CD GitLab, monitoring (ELK, Dynatrace, Sysdig), sécurité HashiCorp Vault et ITCloud/IBMCloud.

Contexte Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé. Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle. Rôle et responsabilités Développement et ingestion de données Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks , avec gestion de gros volumes. Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3 . Orchestration et supervision Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements. Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité. Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies. Maintien en condition opérationnelle Assurer la disponibilité et la performance des jobs en production. Analyser et corriger les incidents et anomalies détectées. Contribution stratégique Participer aux ateliers de conception technique et fonctionnelle. Promouvoir les bonnes pratiques de développement et d’optimisation Big Data. Documenter les processus, architectures et scripts. Compétences techniques requises MUST : Python Spark Databricks SQL SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM) COULD : Big Data (gestion et traitement de très gros volumes de données) WOULD : Git Méthodologies et outils : CI/CD avec GitLab JIRA / Confluence Méthodologie agile Scrum

Dans le cadre du renforcement de l'équipe Data de notre client, nous recherchons un(e) Data Engineer AWS expérimenté(e) (5 à 7 ans d’expérience minimum), capable d’intervenir sur des plateformes data à forte volumétrie et à forts enjeux de performance, de sécurité et de coûts. Missions 1️⃣ Maintien en condition opérationnelle de la plateforme Contrôler et garantir la disponibilité des données et des services Assurer le suivi des traitements et la gestion des incidents Répondre aux demandes de données ad hoc et analyser les anomalies Développer des correctifs et des évolutions si nécessaire Contribuer à la qualité des données et à l’industrialisation de la plateforme Communiquer avec les utilisateurs et accompagner les équipes 2️⃣ Design & construction de services et pipelines data Concevoir et mettre en place des flux de données (acquisition, transformation, exposition) Développer des pipelines robustes et performants (batch et temps réel) Réaliser des modélisations de données adaptées aux usages métiers Mettre en place les traitements sur différents formats (CSV, XML, JSON, Parquet) Ordonnancer les traitements et gérer les dépendances (Airflow) Développer et maintenir des flux temps réel via Kafka (MSK) Réaliser les tests unitaires et d’intégration Participer aux revues de code et veiller au respect des standards Gérer les déploiements sur l’ensemble des environnements Enrichir et maintenir la documentation technique Environnement technique AWS : S3, EMR, EKS, EC2, Lambda, Athena Spark (Scala), Python, SQL Kafka Airflow Dataiku GitLab & GitLab CI Terraform