Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Contexte : Je recherche plusieurs Data Engineers pour un client final, dans le cadre de missions urgentes. Ces postes sont à pourvoir rapidement et nécessitent une expertise technique pointue. Intitulé du poste : Data Engineer – Snowflake / DBT / Airflow / AWS Missions principales : Concevoir, développer et maintenir des pipelines de données fiables et performants. Participer à l’architecture et à l’optimisation des solutions Cloud. Collaborer avec les équipes Data et les équipes métiers pour assurer la qualité des données et des flux. Mettre en place les bonnes pratiques DataOps et CI/CD pour les pipelines de données. Assurer le monitoring, la sécurité et l’optimisation des coûts des infrastructures cloud.

Nous recherchons un Ingénieur Data Oracle/SQL/Python Objectif global : Développement Data Engineer Oracle/SQL/Python Contrainte du projet: Contexte Data Les livrables sont: Développement des nouvelles fonctionnalités TU / Spécifications techniques MCO/RUN Compétences techniques: Oracle - Confirmé - Impératif SQL - Confirmé - Impératif Python - Junior - Important Airflow - Junior - Souhaitable Description détaillée: Nous cherchons un data ingénieur ASAP pour une mission longue durée Compétences : ORACLE impératif SQL impératif Python : c’est un plus mais pas obligatoire Expérience : Participation à des projets liés à la Data et aux Bases de données (injection et exposition des données) Bonne compréhension fonctionnelle Utilisation de GIT pour la gestion de version Niveau recherché : Confirmé (surtout Oracle et SQL, ok pour junior/intermédiaire sur Python) Compétences appréciées (Bonus) : Airflow Apache (ordonnanceur de traitements de données en Python) Trino (exposition des données depuis sources multiples en SQL) Méthodologie Agile SAFE & Scrum Outils de gestion de projet : Jira, Confluence Profil orienté Data Ingénieur On ne recherche pas de profil devsecOps, ni de data architecte Activités : Build 80% & MCO/RUN 20% Conditions de travail : Présentiel souhaité : 2 jours par semaine chez le client

Maison internationale du secteur du luxe , notre client renforce son pôle Data afin de soutenir ses enjeux stratégiques et décisionnels. La donnée est au cœur des prises de décision : fiable, lisible, élégante et orientée business . 🧠 Vos missions En tant que Data Analyst Senior , vous intervenez sur l’ensemble du cycle de valorisation de la donnée : Data & Modélisation Concevoir et maintenir des modèles analytiques robustes via dbt Exploiter l’écosystème Microsoft Fabric (Lakehouse, Data Warehouse, pipelines) Orchestrer et superviser les flux de données avec Airflow Garantir la qualité, la cohérence et la traçabilité des données Reporting & Dashboards Concevoir et maintenir des dashboards décisionnels à forte valeur ajoutée Traduire des besoins métiers complexes en KPIs clairs, cohérents et partagés Garantir une single source of truth entre les modèles data et le reporting Veiller à la lisibilité, performance et élégance des tableaux de bord Adapter les niveaux de lecture (opérationnel, management, exécutif) Documenter les indicateurs et règles de calcul Business & Communication Collaborer étroitement avec les équipes métiers, IT et Data Challenger les besoins métiers et formuler des recommandations Présenter les analyses de manière claire et impactante Accompagner l’adoption des dashboards et usages data 👤 Profil recherché Nous recherchons un(e) expert(e) data , à l’aise aussi bien sur la technique que sur la restitution business. Expérience & compétences Minimum 7 ans d’expérience en Data Analysis / Analytics Engineering Excellente maîtrise de SQL Solide expérience sur dbt Bonne connaissance de Microsoft Fabric (ou environnement Azure Data équivalent) Expérience avec Airflow Pratique avancée du reporting et de la conception de dashboards (Power BI ou équivalent) Forte culture data : qualité, gouvernance, performance, cohérence des indicateurs Soft skills Très bon communicant , à l’écrit comme à l’oral Capacité à dialoguer avec des interlocuteurs métiers exigeants Esprit analytique, rigueur, autonomie Sens du détail et de l’excellence Langues Anglais fluent impératif (environnement international)

Pour un client dans le domaine bancaire, Vous participez à l’évolution du moteur python permettant de réaliser l’analyse des données bancaires du client · Développement en Python et SQL avec une plateforme Big Data Snowflake · Utilisation de DBT, Pandas, MLFlow et Airflow. · Chaine de développement complète (bac à sable – recette – PV recette – mises en productions – suivi de mises en productions) Principaux livrables : · Codes Python, SQL dans Gitlab · Evolutions dans nos Code Base · Analyses Ad Hoc · Test Unitaire / Test Fonctionnel

Nous recherchons un Data Engineer expérimenté pour intervenir sur la conception, le développement et la maintenance d’ infrastructures et pipelines de données au sein d’un environnement data moderne et exigeant. 🎯 Contexte de la mission : Vous serez responsable de garantir des données fiables, sécurisées et optimisées pour des usages analytiques et opérationnels. Les activités d’ ingestion, transformation, stockage et mise à disposition des données seront au cœur de votre rôle. ⚙️ Vos missions principales : Concevoir et développer des pipelines de données performants et scalables . Assurer la qualité, la cohérence et la sécurité des données. Optimiser les bases de données et les flux de traitement. Collaborer étroitement avec les Data Scientists, Data Analysts et équipes métiers . Mettre en place des outils de monitoring, gouvernance et observabilité . Garantir la conformité RGPD des traitements de données.

Dans le cadre de notre développement, nous recherchons un Expert Big Data pour accompagner un acteur majeur du secteur bancaire sur des projets stratégiques liés à la transformation et à l’optimisation de ses plateformes de données. Le consultant aura un rôle clé dans l’architecture et la mise en œuvre des pipelines Big Data, garantissant performance, scalabilité et conformité aux exigences métier et réglementaires. Objectifs de la mission : Conception et développement de pipelines Big Data Définir et mettre en place des architectures de traitement de données complexes. Développer et optimiser des workflows Spark et Airflow pour des traitements batch et temps réel. Assurer la qualité, la fiabilité et la performance des pipelines. Support stratégique et technique Conseiller les équipes sur les choix technologiques et les bonnes pratiques Big Data. Participer à la définition de la stratégie de données et à la roadmap technique. Collaborer étroitement avec les équipes métier et IT pour anticiper les besoins et prioriser les évolutions. Gouvernance et qualité des données Garantir la conformité des pipelines aux normes de sécurité et réglementaires du secteur bancaire. Mettre en place des mécanismes de supervision, de monitoring et d’alerte. Assurer la documentation technique et fonctionnelle des solutions déployées.

ntégration au sein de l'équipe Data event Management qui gère les trois offres de services suivantes : - Offre Infra. Kafka sur ITCloud OnPremise - Offre Infra. Kafka sur IBMCloud/dMZR. Activités principales - Construction/Déploiement/Support/MCO des offres autour de la technologie de messaging kafka Méthodologie de Travail - ITIL - Agile/Scrum à l'échelle - Product Based Projets principaux en cours - Transition vers un Nouvel Orchestrateur sur l'Offre Infra Kafka IBMCloud/dMZR basé sur Python et Airflow, Terraform - Extension de l'offre Kafka sur IBMCloud/dMZR avec l'intégration du produit Lenses - Migration du monitoring de l'infrastructure OnPremise de Splunk vers une solution Dynatrace combinée avec ELK. Technologies Utilisées - Outils administratifs: ServiceNow, Jira, Confluence - Infrastructure as Code: Ansible, Terraform - Langages: Bash, java (spring/jhipster), python - Repository: Artifactory - Database: SQL Server, PostgreSQL - Contenairsation: Docker/Kubernetes - Provider Cloud: ITCloud, IBMCloud - Orchestration: Airflow, Autosys, BPM - Versionning: Git - Messaging: kafka - CI/CD: GitLab CI - Operating system: Redhat - Monitoring: ELK, Dynatrace, LogDNA, Sysdig - Sécurité: HashiCorp Vault, Cyberarc

Contexte: Dans un environnement numérique à forte volumétrie de données, une direction technique transverse renforce sa plateforme Data afin de faire de la donnée un levier stratégique de pilotage, de connaissance utilisateur et d’aide à la décision. La mission s’inscrit au cœur d’une organisation Data structurée, en interaction étroite avec les équipes produit, techniques et métiers. L’objectif est de centraliser, fiabiliser et gouverner des données hétérogènes tout en garantissant leur conformité réglementaire, leur sécurité et leur exploitabilité à grande échelle. Le consultant interviendra au sein d’une équipe Data Engineering intégrée à la plateforme centrale, composée de profils complémentaires (Product Owner, Data Steward, Data Engineers). Missions: Le Data Engineer interviendra sur l’ensemble de la chaîne de valeur data, avec un fort enjeu de robustesse, scalabilité et gouvernance. Responsabilités principales : Collecter, centraliser et structurer des sources de données multiples et non homogènes Concevoir, développer et maintenir des pipelines data fiables et performants Organiser et optimiser le stockage des données (lakes, tables, catalogage) Mettre en place et maintenir des infrastructures cloud scalables Développer et maintenir les workflows CI/CD Garantir la sécurité, la conformité et l’évolutivité des environnements data Participer aux initiatives de gouvernance des données Accompagner les équipes dans l’exploitation et le requêtage des données Contribuer activement à la documentation et aux bonnes pratiques Assurer une veille technologique continue

Objectif de la mission Mettre en place et maintenir une chaîne d’intégration et de déploiement des modèles de Machine Learning en production, garantissant robustesse, scalabilité et monitoring. Contexte Vous interviendrez au sein d’une équipe Data & IA pour industrialiser des modèles ML liés à la qualité, la classification et l’enrichissement des données produits. Collaboration étroite avec Data Scientists et Data Engineers pour transformer des prototypes en solutions fiables. Responsabilités Conception & Déploiement Développer et maintenir des pipelines MLOps automatisés (CI/CD). Mettre en place l’infrastructure cloud via IaC. Assurer le versioning des modèles, données et pipelines (ZenML, MLflow). Monitoring & Maintenance Implémenter l’observabilité (drift, latence, qualité prédictions). Configurer alertes pour anomalies et dégradations. Optimiser les ressources de calcul. Collaboration & Qualité Accompagner les Data Scientists sur les bonnes pratiques MLOps. Intégrer des Data Quality Gates dans les pipelines. Contribuer à l’architecture Data Mesh (modèles = Data Products).

Vous intégrerez l’équipe Data Event Management en charge des offres d’infrastructure de messaging Kafka sur ITCloud OnPremise et IBMCloud/dMZR , avec pour mission de construire, déployer, exploiter et maintenir en conditions opérationnelles les plateformes Kafka du groupe. Vous interviendrez sur des projets structurants incluant la transition vers un nouvel orchestrateur basé sur Python/Airflow/Terraform , l’extension de l’offre Kafka IBMCloud/dMZR avec l’intégration de Lenses , ainsi que la migration du monitoring OnPremise vers une solution hybride Dynatrace + ELK . La prestation s’inscrit dans un cadre ITIL , Agile à l’échelle et Product-Based , au sein d’un environnement moderne mobilisant Kubernetes, Terraform, Git, SQL, Docker, CI/CD GitLab, monitoring (ELK, Dynatrace, Sysdig), sécurité HashiCorp Vault et ITCloud/IBMCloud.

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Les Systèmes de Données du Groupe recherchent un(e) Senior Cloud Data Engineer passionné(e) basé(e) à Paris afin d’accompagner la forte croissance de nos activités. En rejoignant notre équipe, vous ferez partie d’une équipe autonome et serez affecté(e) à un programme de transformation , en travaillant sur des projets de Data Engineering . Vous apporterez des conseils en stratégie data , participerez à la conception de l’architecture et à sa mise en œuvre , et aurez l’opportunité d’expérimenter de nouvelles technologies et solutions . Au sein de notre équipe, vous serez accompagné(e) par des collègues dynamiques, toujours prêts à partager leurs connaissances . Nous attendrons de vous que vous apportiez des recommandations sur les meilleures pratiques . Vous serez un point central , mettant à profit vos compétences et votre état d’esprit pour contribuer au développement des compétences professionnelles de l’équipe, avec un accent particulier sur la fiabilité , la maintenabilité et la scalabilité des solutions que nous fournissons à nos clients. Compétences et expériences requises 3 à 5 ans d’expérience pratique dans la construction de pipelines de données sur des services et plateformes cloud publics , de préférence Amazon Web Services (notre principal fournisseur cloud) et/ou Azure , Google Cloud Platform Plus de 3 ans d’expérience dans l’ architecture , la conception , le développement , l’ implémentation et le support de solutions data Expérience dans plusieurs des domaines suivants : architecture de bases de données , ETL , business intelligence , big data , machine learning , analytique avancée Expérience dans des environnements basés sur Hadoop et Spark Expérience dans l’ orchestration de pipelines avec Airflow Expérience des architectures Lakehouse : Hudi, Iceberg, Delta Connaissance des optimisations Lakehouse : compaction , Z-Order , etc. Expérience en développement logiciel et en langages de transformation de données tels que Python , SQL , ainsi qu’avec Docker , les pipelines CI/CD et les concepts d’ automatisation pour construire des pipelines de traitement de données critiques Sensibilisation aux concepts clés du DevOps et aux principes Agile Connaissances de base des services fondamentaux du cloud (réseau, sécurité, stockage, IAM), de leur fonctionnement et de leurs options de configuration Esprit ouvert et attitude proactive en faveur de l’ apprentissage continu , du développement personnel et de l’orientation client Solides compétences relationnelles , avec une sensibilité et une compréhension des enjeux interculturels Capacité à garantir la performance , la disponibilité et la scalabilité des applications, tout en maintenant un haut niveau de qualité de code et une conception réfléchie En tant qu’ ingénieur cloud , vous livrez des solutions de haute qualité , de la conception à la mise en production, avec un fort accent sur la fiabilité , l’ automatisation , la maintenabilité et la sécurité Contribution à l’ évolution de notre offre de Cloud Data Engineering (conception, implémentation, déploiement)

Au sein de la SQUAD Oracle, vous intervenez en tant que Lead DevOps pour renforcer une équipe DBA en pleine modernisation de ses pratiques. Votre rôle est double : Accélérer et fiabiliser l’automatisation des opérations Oracle Cloud (provisioning, gestion utilisateurs, workflows DBA) Structurer et animer la squad en prenant un rôle de Scrum Master (organisation, rituels, backlog, Jira) Vous devenez le point de convergence entre les DBA, les équipes Cloud, et les enjeux d’industrialisation. 1. Automatisation & Développement Développer et maintenir des outils d’automatisation en Python , notamment pour consommer les API Oracle Cloud Créer et maintenir des modules Ansible personnalisés pour automatiser les tâches DBA Industrialiser les workflows de provisioning (bases, utilisateurs, environnements) Mettre en place des pipelines GitLab CI/CD robustes (tests, packaging, déploiement) Garantir la qualité logicielle via Pytest , BDD (Gherkin), et bonnes pratiques d’ingénierie (DRY, abstraction, idempotence) Assurer la gestion des dépendances via Python ( Poetry, pip ) 2. Support aux DBA & fiabilisation des opérations Comprendre les besoins métiers des DBA et les traduire en automatisations fiables Standardiser les scripts, outiller les opérations, réduire les interventions manuelles Accompagner l’équipe dans la montée en compétence sur les pratiques DevOps 3. Rôle de Scrum Master Structurer et animer les rituels agiles (daily, sprint planning, rétrospectives) Gérer le backlog Jira, prioriser les demandes, suivre les tickets Faciliter la communication entre DBA, Cloud Engineering, Sécurité et DevOps Accompagner l’équipe dans l’adoption de pratiques agiles adaptées au contexte Oracle/DBA

NOUVELLE OPPORTUNITÉ – MISSION FREELANCE Je recrute un(e) TECH LEAD / LEAD DATA pour un client final. Démarrage : début janvier Localisation : Ile de France/ hybride Durée : mission longue, renouvelable Profil recherché Expérience confirmée en TECH LEAD / LEAD DATA => Stacks techniques obligatoires : SQL / Environnement Cloud (AWS) / Snowflake / dbt / Airflow / => BI / Dataviz (ex : Tableau ou équivalent) Solide background technique (Data / Cloud / Engineering) À l’aise avec les enjeux d’architecture, qualité et delivery Responsabilités clés Co-pilotage de l’équipe (priorisation, planification, animation) Binôme étroit avec le Product Owner Encadrement de Data Engineers (internes & externes) Mise en œuvre des bonnes pratiques (DevOps, qualité, FinOps, RUN) Cadrage, découpage et estimation des sujets Data Choix d’architectures et de modélisation Data Livraison des produits dans le respect des délais et standards Gestion des incidents, communication et escalade des risques Contribution à la dynamique collective et aux instances Data/Engineering Objectifs à court/moyen terme Redynamiser et structurer l’équipe Réduire les dépendances individuelles et sécuriser le RUN Auditer l’existant et réduire la dette technique Reprendre et intégrer de nouveaux produits Data stratégiques Accompagner des initiatives à fort enjeu décisionnel Intégrer un nouveau Product Owner

Big APPS recrute un Data & IA Engineer en CDI pour intervenir sur des projets Data & IA à forte valeur ajoutée. En tant que Data Engineer, vous aurez pour responsabilités de : Concevoir, développer et maintenir les plateformes de données de nos clients, en garantissant l’intégrité, la disponibilité et la sécurité des données Mettre en œuvre des pipelines de traitement de données : ingestion, stockage, transformation et analyse en temps réel Participer à la création et au déploiement de solutions d’intelligence artificielle (machine learning, systèmes de recommandation) Collaborer avec les équipes Data Science pour l’industrialisation des modèles prédictifs Exploiter les environnements Cloud (Azure, AWS, GCP) pour concevoir des solutions performantes et scalables Contribuer à la culture DevOps en automatisant les déploiements et en intégrant des pratiques CI/CD Profil recherché Pour réussir sur ce poste, vous disposez de : Une expérience ou de solides connaissances en Python, Spark, Scala, Kafka, Java Une forte appétence pour l’IA et la Data Science Une expérience avec au moins un Cloud Provider (Azure, AWS ou GCP) Des connaissances en orchestration de données (Airflow, Prefect) et en bases de données SQL / NoSQL Une sensibilité aux bonnes pratiques DevOps Des certifications Data & Cloud appréciées : Azure Data Engineer, AWS Big Data, Google Cloud Data Engineer, DBT, Snowflake, Databricks Environnement de travail - Une équipe soudée, motivée par le partage de connaissances et le développement des compétences. - Des projets variés touchant à des domaines tels que l'IA, la Big Data, le DevOps et le Cloud. - Un environnement stimulant, favorisant l’innovation et l’utilisation des dernières technologies. - La possibilité de travailler avec des experts et de se former en continu sur les technologies émergentes, notamment dans le domaine de l’intelligence artificielle. Si vous souhaitez rejoindre une entreprise où l'innovation et le développement sont au cœur des projets, envoyez-nous votre candidature dès aujourd’hui !

L’équipe développe et maintient les modèles de prévision de la demande et des ventes pour l’ensemble des produits Décathlon, par centre d’approvisionnement continental. Aujourd’hui, notre pipeline est en production sur l’Europe, la Chine et l’Inde, et notre ambition pour 2026 est d’étendre la couverture à LATAM et MEA. Dans ce cadre, nous recherchons un Data Engineer Senior expérimenté sur PySpark et l’optimisation de pipelines. Notre Stack Data : AWS (S3, ECR, EKS); Databricks; Airflow; Pyspark; Python Et Github. La mission portera principalement sur la reprise, l’optimisation et la refonte partielle du module de “refining”, hérité d’une autre équipe. Ce module présente aujourd’hui plusieurs limites : lenteur d'exécution (compute), manque de gouvernance, faible modularité, documentation incomplète et difficulté à évoluer ou à scaler à l’échelle mondiale. Le contexte inclut également plusieurs dettes techniques autour de la stabilité, de la qualité du code et du renforcement des tests (unitaires et fonctionnels).