Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Description détaillée Pour l'un de nos Clients à Tours nous recherchons un Data Engineer Airflow Confirmé . Objectif : Analyser l’usage, l’organisation et/ou la performance d’ Airflow dans le service, afin d’identifier des axes d’amélioration, risques ou optimisations. > Mission possible en Full Distanciel avec quelques déplacement à Tours au démarrage – Démarrage ASAP Le livrable est Dev + TU Airflow Compétences techniques Airflow - Confirmé - Impératif Python - Confirmé - Impératif Power BI - Confirmé - Appréciable Connaissances linguistiques Français Courant (Impératif)

Contexte de la mission Mon client est engagé dans une transformation data ambitieuse. Cette évolution les amène aujourd'hui à répondre à des besoins métiers croissants côté Snowflake. Pour renforcer leur équipe de 2 consultants experts BI déjà en place, ils recherchent un consultant BI/Data senior capable de monter rapidement en autonomie sur un environnement technique exigeant. Missions principales Répondre aux besoins métiers en matière de reporting et d'analyse de données Développer et maintenir des pipelines de données via dbt et Snowflake Contribuer à l'infrastructure data avec Terraform Produire et déployer des rapports Power BI (SSIS/SSAS, Power BI Services) Gérer les déploiements via GitHub Collaborer étroitement avec les équipes métier et technique

Almatek recherche pour l'un de ses clients un Un Data Engineer Airflow Confirmé sur Tours. Objectif : Analyser l’usage, l’organisation et/ou la performance d’Airflow dans le service, afin d’identifier des axes d’amélioration, risques ou optimisations. Compétences requises: Airflow - Confirmé - Impératif Python - Confirmé - Impératif Power BI - Confirmé - Appréciable Mission possible en Full Distanciel avec quelques déplacement à Tours au démarrage Almatek recherche pour l'un de ses clients un Un Data Engineer Airflow Confirmé sur Tours. Objectif : Analyser l’usage, l’organisation et/ou la performance d’Airflow dans le service, afin d’identifier des axes d’amélioration, risques ou optimisations. Compétences requises: Airflow - Confirmé - Impératif Python - Confirmé - Impératif Power BI - Confirmé - Appréciable Mission possible en Full Distanciel avec quelques déplacement à Tours au démarrage

Le contexte : L'un des objectifs majeurs du plan de transformation DATA est de développer les applications DATA qui permettent à nos métiers business (pilotage, marketing, commerce, ...) d'être autonomes dans l'analyse des données et des KPI et de déployer des applications destinées à nos abonnés directement (recommandation contenu et offres, etc.). Dans ce cadre, le client a déployé les outils : AWS, Gitlab, Terraform, Informatica, DBT, Snowflake, Braze, AI, Scala, Spark, Python, POWERBI, etc. Architectures sophistiquées pour ingérer plus de 100To de données par jours: Datalake, Event-Driven, Streaming, etc. Des exemples de projets sont nombreux : Plateforme agentique, Socle vidéo, navigation et calcul des audiences, AI pour recommandation des programmes, etc. Feature Store, Moderniser les flux financiers, Content Platform, Mise en place Kubernetes, Plateforme pour le traitement des données CRM et usage, Partager des informations sur les clients à nos partenaires (Netflix, Apple, M6, TF1, etc.), Piloter plus efficacement l'activité des marchés professionnels, Mettre à disposition des applications de data-selfservice. Votre rôle sera de : Administrer, maintenir et optimiser la plateforme Informatica PowerCenter (serveurs, repository, workflows, sessions, etc.), Contribuer activement au décommissionnement en cours d'Informatica via la mise en place d’un Lakehouse AWS (Airflow, DBT, Iceberg, etc.), Concevoir, développer et documenter des workflows data pour alimenter le data warehouse et les systèmes applicatifs, Concevoir, développer et documenter des workflows Lakehouse avec AWS, Airflow, DBT et Python, Identifier et résoudre les problèmes de performance ou de qualité des données, Contribuer au run de la plateforme (analyse des incidents, MEP, support production, etc.), Collaborer avec les équipes Data, BI et Infrastructure pour garantir la cohérence et la disponibilité des données, Former et assister les utilisateurs internes (équipe data, développeurs, MOA, etc.), Proposer des améliorations techniques et de bonnes pratiques sur l’utilisation de la plateforme. Vous maîtrisez Informatica, Snowflake, Airflow, DBT, AWS et aimez les challenges, Vous êtes experts dans le développement de solution d'intégration de données, Vous parlez Anglais couramment, Vous connaissez et maîtrisez les outils JIRA et les méthodes 'agiles' n’ont pas de secret pour vous ! Autonome, ouvert d’esprit et bon communiquant, vous disposez d’une grande curiosité scientifique.

Nous recherchons un Ingénieur Data Oracle/SQL/Python Objectif global : Développement Data Engineer Oracle/SQL/Python Contrainte du projet: Contexte Data Les livrables sont: Développement des nouvelles fonctionnalités TU / Spécifications techniques MCO/RUN Compétences techniques: Oracle - Confirmé - Impératif SQL - Confirmé - Impératif Python - Junior - Important Airflow - Junior - Souhaitable Description détaillée: Nous cherchons un data ingénieur ASAP pour une mission longue durée Compétences : ORACLE impératif SQL impératif Python Expérience : Participation à des projets liés à la Data et aux Bases de données (injection et exposition des données) Bonne compréhension fonctionnelle Utilisation de GIT pour la gestion de version Niveau recherché : Confirmé (surtout Oracle et SQL, ok pour junior/intermédiaire sur Python) Compétences appréciées (Bonus) : Airflow Apache (ordonnanceur de traitements de données en Python) Trino (exposition des données depuis sources multiples en SQL) Méthodologie Agile SAFE & Scrum Outils de gestion de projet : Jira, Confluence Profil orienté Data Ingénieur On ne recherche pas de profil devsecOps, ni de data architecte Activités : Build 80% & MCO/RUN 20% Conditions de travail : Présentiel souhaité : 2 jours par semaine chez le client

Nous recherchons un Ingénieur Data H/F pour une mission à Tours. Missions : Développer et maintenir des pipelines de données avec Airflow Concevoir et optimiser des traitements de données en Python Collecter, nettoyer et transformer des données issues de sources variées Alimenter des entrepôts de données (Data Warehouse / Data Lake) Assurer la qualité, la fiabilité et la traçabilité des données Collaborer avec les équipes métiers pour la mise à disposition de dashboards sous Power BI Participer à l’optimisation des performances et à l’automatisation des flux

Un client migre sa dataplateforme legacy vers un socle full GCP. L'architecture et le plan sont validés. On recherche un experts polyvalents, moteurs de la migration, pas des exécutants. Vous portez plus spécifiquement l'orchestration du projet. Contexte : Vous rejoignez le pôle plateforme data (5 pôles au total) en binôme avec un autre Data Engineer GCP expert. Vous êtes tous les deux capables de tout couvrir, vous tirez l'équipe, vous posez les standards. Missions - Piloter la migration de l'orchestration vers Cloud Composer 2. - Nettoyer, rationaliser, porter les DAG existants, industrialiser les standards (CI/CD, tests, observabilité). - Orchestrer le cut-over legacy → cible sans double run. - Contribuer à la migration des pipelines BigQuery et à l'IaC Terraform du socle. - Transmettre à l'équipe interne au fil de l'eau. Stack (maîtrise attendue sur l'ensemble) Airflow 2.x, Cloud Composer 2, Python, BigQuery, Terraform, GCS, IAM GCP, Git, CI/CD. Exposure Dataplex, Mulesoft, Fivetran, dbt.

Dans le cadre du renforcement d’une plateforme Data en production, nous recherchons un Ingénieur Système / Data Ops pour intégrer une équipe en charge du support et de l’exploitation d’un Data Hub et d’une plateforme de Data Virtualisation. Le poste consiste à assurer le bon fonctionnement des environnements de production, à superviser les traitements de données, à coordonner les incidents et à garantir la continuité de service. Vous interviendrez sur le monitoring quotidien des flux, la gestion des incidents et des problèmes, ainsi que sur la coordination des mises en production et des changements techniques. Vous serez également amené à analyser les incidents, proposer des actions correctives et préventives et participer à l’amélioration continue des processus et des outils de supervision.

Contexte de la mission Le Data Governance Specialist rejoint l’équipe Expertise du Centre d’Expertise (CoE) Data Governance . Cette équipe a pour mission d’élaborer des principes communs, de favoriser la transversalité des rôles et des processus de gouvernance des données, ainsi que d’industrialiser l’utilisation de l’expertise afin de résoudre les problématiques rencontrées par les Digital Units lors de l’exécution des processus de gestion des données. La mission consiste à assurer une expertise à la fois fonctionnelle et technique concernant la solution de Data Catalog de Decathlon ( Collibra ) et son intégration dans l’écosystème de la Data & Agentic Platform . Elle inclut également une participation active aux chantiers stratégiques de transformation, tels que le AI Governance Framework , la Trust AI et la Data Quality by Design . Objectifs et livrables Développement produit / Configuration du Data Catalog Collibra : Conception de solutions pour répondre aux problématiques des utilisateurs de Collibra et mise en œuvre de ces solutions dans l’outil (administration, configuration, développements spécifiques si nécessaire). Validation des spécifications, développement et déploiement des workflows. Assistance pour la collecte des demandes et des requêtes des utilisateurs, ainsi que leur tri. Intégration du Data Catalog (Collibra) avec l’écosystème technologique de la donnée : Participer à la conception, à la mise en œuvre et à l’exploitation du système d’échange de métadonnées entre le Data Catalog, les solutions composant la Data Platform de Décathlon et les différents référentiels de métadonnées de l’entreprise. Collaborer avec l’équipe d’architecture pour assurer une intégration fluide. Configurer les capacités Edge en vue de la collecte des différentes zones de données. Développer et maintenir les connexions (crawling, APIs, connecteurs), assurer l’échange d’informations entre les systèmes IT et le Data Catalog (en interaction avec le support technique de Collibra). Intégrer le Data Catalog au sein du Data Quality Metrics Store. Participer activement au programme de Data Contract.

Vos missions : Collaborer avec le métier pour concevoir des transformations data / AI pertinentes pour le business, Industrialiser et gérer des pipelines de traitement de données en production, Contribuer à l’implémentation d’évolutions des plateformes data de nos clients, Accompagnement du métier dans le cadrage et le delivery de leurs cas d’usage data Être force de proposition auprès du client dans l’évolution de sa plateforme data Participation éventuelle à des avant-ventes afin d’aider à la conception de solutions techniques pour nos futurs clients Qualifications ? Vos atouts pour nous rejoindre : Cloud Data / IA Platform : Snowflake Orchestrateur : Airflow Framework de calcul distribué : Spark Langage : Python, PySpark, Scala, Java Infrastructure As Code : Terraform CI/CD : GitlabCI, Jenkins Containers : Docker, Kubernetes Versioning : Git

Expert Data Engineer GCP — Tilt Migration data Migration d'une dataplateforme legacy vers un socle full GCP pour un client. Vous portez spécifiquement la migration des pipelines, modèles et traitements data. Contexte plateforme data en binôme avec un autre expert GCP. Même niveau d'exigence, même capacité à tout couvrir, un partage des référents. Missions - Porter pipelines et modèles data legacy sur BigQuery / Dataplex, avec tests de parité et non-régression. - Arbitrer les politiques de partitioning, clustering, coûts BigQuery. - Écrire et compléter les modules Terraform du socle. - Contribuer aux DAG Composer et au cut-over sans double run. - Poser et transmettre les standards qualité data (fraîcheur, volumes, tests). Stack (maîtrise attendue sur l'ensemble) BigQuery, SQL avancé, Python, Terraform, GCS, IAM GCP, Airflow / Composer, Git, CI/CD. Exposure Dataplex, Mulesoft, Fivetran, dbt.

Dans le cadre du renforcement des équipes de production, notre client recherche un Consultant Systèmes de Production afin d’assurer la supervision, l’exploitation et l’automatisation des environnements IT critiques. La mission s’inscrit dans un contexte de forts enjeux de disponibilité, de performance et de sécurité. Objectifs de la mission Garantir la disponibilité et la performance des systèmes de production Assurer une supervision efficace des infrastructures et applications Automatiser les tâches récurrentes et améliorer les processus d’exploitation Contribuer à la fiabilité des flux applicatifs et des échanges de données R esponsabilités principales Mise en œuvre, administration et optimisation de la supervision via Zabbix et Grafana CI/CD Deploy (XLD) + Release (XLR) Création et maintenance de tableaux de bord, alertes et indicateurs de performance Analyse et résolution des incidents de production (N2 / N3) Rédaction et mise à jour de la documentation d’exploitation Contribution à l’amélioration continue des processus (industrialisation, automatisation) Compétences techniques requises Supervision : Zabbix / Grafana Orchestration de Workflow : Airflow / Windmill Ordonnanceur : Control-M, Jenkins, … Scripting / Automatisation : Python PowerShell Bash Systèmes : Linux (RedHat, Debian, Ubuntu…) Windows Server (administration) Environnement de travail : Soumis à des astreintes 1 fois le week-end tous les 2 mois

Dans le cadre d'une migration de GCP à AWS, nous recherchons un ingénieur cloud senior pour accompagner ntore client. Voici les missions : Concevoir, construire et maintenir des pipelines de données de niveau production qui alimentent les indicateurs et modèles. Industrialiser les prototypes de recherche de l'équipe en systèmes de production fiables et évolutifs. Construire et maintenir des services backend exposant des indicateurs et des produits de données. Assumer la responsabilité du cycle de vie des systèmes que vous construisez, y compris l'infrastructure, le déploiement et la surveillance, en collaboration avec les Ingénieurs Ops. Exploiter et maintenir les pipelines et les services en production , y compris le débogage, la résolution d'incidents et les améliorations de performances. Participer à la migration de GCP vers AWS et contribuer au démantèlement progressif des anciens pipelines et de l'infrastructure. Garantir la qualité, la fiabilité et la reproductibilité des données à travers les pipelines et les services. Travailler en étroite collaboration avec les économistes, les scientifiques et les Ingénieurs Ops pour assurer la livraison fluide de nouveaux indicateurs et modèles en production. Améliorer l'expérience développeur, la documentation et les outils internes pour rendre les systèmes plus faciles à exploiter et à maintenir.

Nous recherchons, dans le cadre du renforcement des equipes Data Governance d'un de nos clients au rayonnement international, un.e Expert.e Data Governance. Ce poste est base a Paris. Poste ouvert au statut freelance. Au sein de l'équipe Data Governance, l'Expert.e Data Gouvernance interviendra sur l'évolution fonctionnelle et technique du Data Catalog de l'entreprise et son intégration au sein d'un écosystème data & agentic platform en pleine structuration, ainsi que sur des chantiers stratégiques tels que l'AI Governance Framework et la mise en oeuvre d'une démarche Data Quality by Design. Les missions principales Administration, configuration et développement de workflows sur le Data Catalog Collecte et priorisation des besoins utilisateurs Conception et mise en oeuvre des échanges de métadonnées avec la plateforme data (crawling, APIs, connecteurs) Synchronisation avec les équipes architecture Intégration avec le Data Quality Metrics Store Participation au programme Data Contract

Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l’amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data