Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Dans le cadre de notre développement, nous recherchons un Expert Big Data pour accompagner un acteur majeur du secteur bancaire sur des projets stratégiques liés à la transformation et à l’optimisation de ses plateformes de données. Le consultant aura un rôle clé dans l’architecture et la mise en œuvre des pipelines Big Data, garantissant performance, scalabilité et conformité aux exigences métier et réglementaires. Objectifs de la mission : Conception et développement de pipelines Big Data Définir et mettre en place des architectures de traitement de données complexes. Développer et optimiser des workflows Spark et Airflow pour des traitements batch et temps réel. Assurer la qualité, la fiabilité et la performance des pipelines. Support stratégique et technique Conseiller les équipes sur les choix technologiques et les bonnes pratiques Big Data. Participer à la définition de la stratégie de données et à la roadmap technique. Collaborer étroitement avec les équipes métier et IT pour anticiper les besoins et prioriser les évolutions. Gouvernance et qualité des données Garantir la conformité des pipelines aux normes de sécurité et réglementaires du secteur bancaire. Mettre en place des mécanismes de supervision, de monitoring et d’alerte. Assurer la documentation technique et fonctionnelle des solutions déployées.

Notre client, acteur majeur du secteur [énergie / distribution], recherche un.e Data Engineer confirmé.e pour renforcer ses équipes Data. Le poste combine Data Engineering et MLOps , avec une implication sur l’ensemble du cycle de vie des pipelines de données et modèles ML. Missions principales : Data Engineering (intervention sur 2 projets) Concevoir, développer et maintenir les pipelines de données pour 2 applications disctinctes. Assurer l’ingestion, la transformation et le stockage de données à grande échelle. Optimiser les traitements pour garantir des performances adaptées aux volumes traités. Mettre en place des mécanismes de qualité des données (contrôles, alertes, monitoring). Collaborer avec le pôle Développement pour définir les interfaces de données (API, bases de données). Documenter les flux de données et maintenir le catalogue de données. MLOps (Intervention sur 1 des 2 projets) Industrialiser l’entraînement des modèles ML pour l’optimisation du dimensionnement des groupes électrogènes. Déployer des pipelines CI/CD pour les modèles ML (versioning des données et modèles, automatisation de l’entraînement). Assurer le monitoring des performances des modèles en production (drift detection, métriques de performance). Collaborer avec les Data Scientists pour faciliter le passage des modèles du développement à la production.

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Livrable attendu Pipelines MLOps automatisés (CI/CD) pour entraînement, validation et déploiement. Infrastructure cloud (IaC) opérationnelle. Système de monitoring et alerting pour modèles ML en production. Documentation technique et bonnes pratiques MLOps. Compétences techniques (Impératives) Frameworks MLOps : ZenML, MLflow, Vertex AI ou équivalent. Python : Confirmé. Orchestration/Pipelines : Airflow, Kubeflow, Dagster ou Prefect. Conteneurisation : Docker, Kubernetes. CI/CD & IaC : Git/GitLab/GitHub, Terraform/Ansible. Data Quality/Versioning : Great Expectations, Deeque, Feast, MLflow Model Registry. Cloud : Maîtrise d’un cloud majeur (GCP fortement recommandé). Connaissances linguistiques Français : Courant (Impératif). Anglais : Professionnel (Impératif).

NOUVELLE OPPORTUNITÉ – MISSION FREELANCE Je recrute un(e) TECH LEAD / LEAD DATA pour un client final. Démarrage : début janvier Localisation : Ile de France/ hybride Durée : mission longue, renouvelable Profil recherché Expérience confirmée en TECH LEAD / LEAD DATA => Stacks techniques obligatoires : SQL / Environnement Cloud (AWS) / Snowflake / dbt / Airflow / => BI / Dataviz (ex : Tableau ou équivalent) Solide background technique (Data / Cloud / Engineering) À l’aise avec les enjeux d’architecture, qualité et delivery Responsabilités clés Co-pilotage de l’équipe (priorisation, planification, animation) Binôme étroit avec le Product Owner Encadrement de Data Engineers (internes & externes) Mise en œuvre des bonnes pratiques (DevOps, qualité, FinOps, RUN) Cadrage, découpage et estimation des sujets Data Choix d’architectures et de modélisation Data Livraison des produits dans le respect des délais et standards Gestion des incidents, communication et escalade des risques Contribution à la dynamique collective et aux instances Data/Engineering Objectifs à court/moyen terme Redynamiser et structurer l’équipe Réduire les dépendances individuelles et sécuriser le RUN Auditer l’existant et réduire la dette technique Reprendre et intégrer de nouveaux produits Data stratégiques Accompagner des initiatives à fort enjeu décisionnel Intégrer un nouveau Product Owner

Mission: Lieu : IDF (sud de Paris) Démarrage souhaité : Janvier 2026 Télétravail : 2 jours par semaine Astreintes : Oui Nous recherchons trois Administrateurs Systèmes N2/N3 pour intervenir sur une plateforme Data Lake de grande envergure. Vous rejoindrez l’équipe en charge de l’administration, du maintien en conditions opérationnelles et de l’automatisation des environnements Linux/Cloudera. Il s’agit d’une mission longue et techniquement exigeante, dans un environnement moderne mêlant Big Data, automatisation, scripting et ordonnancement. Responsabilités principales Administrer et exploiter la plateforme Data Lake (environnements Cloudera & Linux) Assurer le MCO/MCS des clusters (fiabilité, disponibilité, supervision) Implémenter et maintenir des pipelines d’automatisation via AWX / Ansible Rédiger et maintenir des scripts d’administration (Python, Shell, Ansible) Participer aux phases d’industrialisation, normalisation et sécurisation des environnements Gérer les accès et l’identité via IDM / FreeIPA Exploiter et optimiser les workflows sous Airflow Participer à la gestion des incidents (N2/N3), astreintes et interventions HNO Travailler en coordination avec les équipes Data, Sécurité et Exploitation

Objectif : Renforcer l’équipe en charge du maintien en condition opérationnelle du DATAHUB en assurant un support de niveau 2-3 et l’optimisation des environnements critiques. Missions : Assurer le support N2/N3 en production sur Spark , Airflow et Starburst ( sur Kubernetes ) Participer à la gestion et résolution d’incidents , analyse des root causes. Optimiser les traitements Spark sur Kubernetes (tuning, configuration, dimensionnement). Améliorer l’orchestration Airflow et la gestion des catalogues Starburst. Contribuer à la documentation et l’amélioration continue des procédures d’exploitation. Accompagner les équipes métiers dans l’usage sécurisé et performant des plateformes.

En quelques mots Cherry Pick est à la recherche d'un Senior Data Engineer (H/F) pour l'un de ses clients qui opère dans le secteur culturel Description 🧩 Contexte de mission Au sein d’un pôle Data d’une douzaine de personnes, vous intégrerez l’équipe Data Engineering composée de trois Data Engineers. La mission vise à renforcer l’expertise du pôle dans un contexte de croissance et d’industrialisation des usages data. L’objectif principal est d’optimiser l’infrastructure data afin d’assurer fiabilité, performance et scalabilité des pipelines. En 2026, les enjeux stratégiques portent sur l’intégration de nouvelles sources de données, le déploiement d’outils de diffusion de la donnée (interne/externe) et l’ouverture vers des usages avancés (reporting, IA, open data). 🎯 Missions principales & Rôle Mettre en œuvre les meilleures pratiques dbt pour la modélisation et la transformation des données dans BigQuery. Concevoir et développer des mécanismes d’ingestion et d’intégration pour de nouvelles sources de données externes. Réaliser un audit complet de l’infrastructure data GCP, et mettre en place les optimisations nécessaires pour garantir performance et scalabilité. Déployer une approche DataOps avancée : monitoring, alerting, documentation, tests automatisés, fiabilité des pipelines. Concevoir, développer et sécuriser des pipelines de bout en bout pour le déploiement de modèles ML en production (MLOps). Accompagner la montée en compétence des Data Engineers et Data Scientists du pôle. Participer au développement d’outils de diffusion de la donnée : reverse ETL, APIs, solutions internes/externalisées. 🎯 Objectifs Améliorer durablement la performance, la robustesse et la scalabilité des pipelines de données. Structurer les workflows DataOps & MLOps pour une industrialisation complète et fiable. Faciliter l’intégration de nouvelles sources de données dans une architecture GCP sécurisée et optimisée. Mettre en place les standards, bonnes pratiques et outillages pour accompagner la croissance du pôle data. Accélérer l’adoption interne des données via des API, dashboards et solutions de diffusion adaptées.

Dans le cadre du renforcement de sa Data Platform , l’un de nos clients grands comptes recherche un Architecte Data confirmé à senior pour accompagner ses équipes Data et garantir la cohérence, la performance et la scalabilité de l’architecture globale. Architecte Data – Environnement Cloud GCP Votre rôle Intégré(e) aux équipes Data (Product Owners, Data Engineers, Data Scientists…), vous interviendrez en accompagnement transverse sur l’architecture de la plateforme Data et des dispositifs associés. Vos principales responsabilités : Définir et garantir la cohérence de la stack technique Data Assurer le respect des normes et standards d’architecture Mettre en place et sécuriser les contrats d’interface entre équipes Auditer l’architecture existante et proposer des axes d’amélioration Réaliser une veille technologique et contribuer à l’introduction de nouvelles solutions Participer aux tests et à l’intégration de nouvelles technologies 🛠️ Developer Experience & FinOps Contribution à l’écriture de modules Terraform / Terragrunt Accompagnement des équipes sur l’ Infrastructure as Code et la CI/CD Définition des standards de développement et de déploiement Mise en place du suivi budgétaire par équipe (FinOps) Implémentation des outils de monitoring, alertes et seuils Identification et priorisation des optimisations de coûts Compétences recherchées 3 ans minimum d’expérience en tant qu’ Architecte Data Solide expertise en architecture Data & Cloud Excellente maîtrise des bonnes pratiques d’architecture Expérience en sécurisation des applications Cloud Environnement Google Cloud Platform (GCP) Maîtrise de BigQuery , Cloud Composer (Airflow) , Dataplex Langages Python et SQL Expérience avec Spark Expérience avec dbt Maîtrise de Terraform et Terragrunt

Conception & développement de pipelines Implémenter de nouveaux flux de données batch et streaming . Développer des pipelines ETL / ELT en Python et Airflow pour les traitements planifiés, et via NiFi ou Kafka pour les données en temps réel. Assurer l’intégration et la mise à disposition des données dans Snowflake . Industrialisation & bonnes pratiques Participer aux revues de code , aux tests unitaires et d’intégration . Contribuer à l’ industrialisation des pipelines avec des pratiques CI/CD robustes. Maintenir la documentation technique à jour et contribuer à l’amélioration continue des process. Maintenance & optimisation Garantir la maintenance corrective et évolutive des flux existants. Participer à la mise en place du monitoring , des alertes et des bonnes pratiques d’exploitation. Optimiser les performances, la fiabilité et la qualité des traitements de données.

Le Responsable DevOps devra encadrer et animer une équipe DevOps. Vous jouerez un rôle clé dans la gestion des produits et plateformes d’infrastructure en assurant leur disponibilité, leur performance, leur évolutivité, leur gestion de l’obsolescence, leur capacité et la maitrise des coûts OnPremise, Cloud ou hybride. Rattaché(e) au responsable de l’entité, vous serez responsable hiérarchique d’une équipe d’une vingtaine de personnes (collaborateurs et prestataires) de profils techniques devops Cloud Public et On Premise. Dans cette évolution organisationnelle, l’organisation hiérarchique est décorrélée de l’organisation opérationnelle. Le responsable DevOps devra donc travailler et s’organiser de façon transverse et étroite avec les Product Owner, le Product Manager et le responsable de l’entité sysops pour assurer le delivery et atteindre les objectifs en fonction des besoins. L’équipe DevOps de l’entité « Plateforme IT » a la responsabilité du build et du run des produits et plateformes d’infrastructures OnPremise et Cloud public.

Nous recherchons une personne enthousiaste pour l'opensource dans un envrionnement de production. Cette personne aura le sens du service, un esprit d'équipe développé, et une excellente communication. Le tout accompagné d'une rigueur, notamment dans la réalisation des projets. Enfin, des qualitiés rédactionnelles sont les bienvenues. Missions : le traitement N3 des incidents de production la réalisation de projets techniques, dont notamment la qualification et l'industrialisation des briques techniques le traitement d'obsolescence le suivi des KPIs et les actions qui en découlent Les projets sur 2026 tourneront autours : finalisation des montées de versions de Mysql jusqu'à la 8.4 étude des solutions type TiDB ou Vitess étude, qualification, industrialisation des briques techniques dans Kubernetes, et notamment kafka, mysql

Dans le cadre du renforcement de notre capacité de support N2, nous recherchons des prestataires spécialisés dans l’exploitation et le support de plateformes Big Data. Contexte : Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur Kubernetes et bientôt sur OpenShift : Apache Spark Apache Airflow/Astronomer Starburst (trino) La prestation visera à : Assurer le support de niveau 2 en production des plateformes mentionnées (PROD). Intervenir dans la gestion des incidents, l’analyse des root causes et la résolution. Participer à l’ optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l' optimisation de l'orchestration Airflow , à la gestion des catalogues Starburst Accompagner les équipes métiers dans l’utilisation efficace et sécurisée des plateformes. Contribuer à la documentation et à l’amélioration continue de l’écosystème d’exploitation.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Tech Lead Snowflake : le Tech Lead « aura donc la charge de: 1)Co-piloter la Feature Team 2)Créer un binôme fort avec son homologue ‘Produit’ (Product Owner déjà présent). 3)Encadrer les Data Engineers : 4 externes + 1 interne 4)Assurer la mise en oeuvre des bonnes pratiques de développements (DevOps, Qualité, FinOps, etc.) 5)Contribuer au cadrage, découpage & macro-estimation des nouveaux sujets. 6)Orienter les choix techniques et de modélisation (urbanisation Snowflake, patterns Archi, etc.) 7)Livrer les produits Data (Analytics & IA) suivant les engagements de qualité et de délais pris. 8)Gérer la communication et la résolution en cas d’incidents. 9)Tenir informés ses supérieurs, voir les alerter ou demander de l’aide en cas de risque ou pb. 10)Participer aux évènements organisés à l’échelle de la DATA ou de la verticale ENGINEERING.

Rejoignez un leader français de l'audiovisuel pour une mission stratégique d' Architecte Data GCP . Vous accompagnerez la Direction Technique du Numérique dans la consolidation et l'optimisation de sa Data Platform, en interface directe avec les équipes Data (Product Owners, Data Engineers, Data Scientists). Votre rôle sera de structurer l'architecture technique globale, améliorer l'expérience développeur et piloter l'optimisation des coûts cloud. Vos Missions : 🏗️ Architecture Technique Garantir la cohérence de la stack data entre équipes et projets Définir et faire respecter les contrats d'interface (schémas, API, data contracts) Effectuer la veille technologique et évaluer les standards du marché Tester, auditer et introduire de nouvelles technologies Réaliser un audit de l'architecture existante et recommander les améliorations ⚡ Developer Experience Contribuer à la création de modules Terraform et à leur industrialisation Accompagner les équipes dans l'usage de l'Infrastructure as Code Définir les standards CI/CD pour les équipes data (tests, lint, automatisation) 💰 FinOps & Optimisation Mettre en place un suivi budgétaire par équipe Implémenter des outils d'alerting et monitoring (quotas, seuils, dérives) Identifier les leviers d'optimisation et participer à la roadmap FinOps

En tant que Développeur Python spécialisé en automatisation, vous interviendrez sur la conception, le développement et l’optimisation de scripts et d’outils destinés à automatiser les processus internes. Vous contribuerez à réduire les tâches manuelles répétitives, améliorer la fiabilité opérationnelle et accélérer les workflows techniques et métiers. Vous travaillerez en collaboration directe avec les équipes techniques (Ops, Data, Infrastructure) pour identifier les besoins, proposer des solutions innovantes et garantir la performance des outils développés.