Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Paris

En quelques mots Cherry Pick est à la recherche d'un Expert Airflow(H/F) , pour le compte de l'un de ses clients qui opère dans le domaine de Luxe. Description 🏢 Le Contexte : Audit Stratégique & Modernisation Data Pour le compte d’un acteur majeur du Luxe , vous rejoignez le pôle Conseil Data d'une agence de marketing et data de premier plan. La mission consiste à réaliser un audit complet et une trajectoire de modernisation de l’orchestration data du client, actuellement basée sur un écosystème GCP (Google Cloud Platform) . Le client fait face à des enjeux de dette technique sur son legacy de flux et souhaite sécuriser sa transition vers les standards les plus récents de l'industrie. Vous interviendrez en binôme avec le Directeur du pôle Data/IA pour apporter l'expertise technique "Deep Dive" nécessaire. 🎯 Vos Missions : Onboarding, Audit & Recommandations La mission est découpée en trois phases distinctes sur un planning de 15 à 20 semaines : Phase 1 : Audit Global & Inventaire (Full-Time) Réaliser l’inventaire exhaustif des DAGs et des pipelines existants. Analyser les flux de données legacy sur GCP. Évaluer la performance, la fiabilité et la conformité (GCP Compliance) de l'infrastructure actuelle. Phase 2 : Étude de Migration Composer 2 vers 3 Étudier la faisabilité technique et les impacts d'une migration de Cloud Composer 2 vers Cloud Composer 3 . Identifier les risques critiques et les opportunités d'optimisation (coûts, scalabilité, maintenance). Phase 3 : Synthèse & Accompagnement (Part-Time) Rédiger les rapports de synthèse et les préconisations techniques. Présenter la proposition d’accompagnement et la roadmap de transformation au client. Assurer un rôle de conseil expert auprès des collaborateurs et du client.

Objectif : Concevoir et maintenir des services back-end scalables et performants. Responsabilités Développer et optimiser des API (REST) en Python (FastAPI). Concevoir et maintenir des bases de données (PostgreSQL principalement) pour des requêtes performantes. Collaborer avec les équipes DevOps pour automatiser les déploiements (Docker, CI/CD). Intégrer des tests automatisés (pytest) et participer aux revues de code. Contribuer à l'amélioration continue de l'architecture back-end. Stack technique Langages : Python. Bases de données : PostgreSQL, NoSQL. Pipeline de données : Airflow ou autres Outils : Docker, Git, CI/CD, Ansible, Terraform.

Pour l'un de nos grands comptes, nous recherchons un Data Engineer pour travailler dans une équipe composée de 1 Product Owner et de 2 Data Engineer : Participer aux phases de conception, de planification et de réalisation des tâches Construire et maintenir des pipelines Data robustes et scalables Produire des modèles DBT pour la transformation sur un environnement GCP (Bigquery) Expérience en méthodologie Agile (scrum ou kanban) Maîtriser la Stack technique : DBT, Python, SQL, GCP, Bigquery, Terraform, Airflow, Ci/cd.

Description Pour le compte de notre client grand compte, nous recherchons un Expert Data Engineer Spécialisé sur Google Cloud afin de rejoindre la Squad data pour le pilotage commercial Tâches principales Développement de pipeline de données sur Cloud Composer / Airflow Optimisation des performances et coûts des traitements sur GCP Participation aux choix d'outils et des solutions techniques sur GCP et développement de nouvelles application Modélisation des données sur BigQuery Maintenir l'existant en condition opérationnelle Préparer et mettre en œuvre l’interopérabilité avec de nouveaux systèmes opérationnels Proposer des simplifications et/ou optimisations selon les normes internes Compétences demandées GCP : Confirmé Big Query : Expert Base de donnée : Confirmé Python : confirmé Lieu : Paris

Responsabilités Développer et optimiser des API (REST) en Python (FastAPI) Concevoir et maintenir des bases de données (PostgreSQL principalement) pour des requêtes performantes Collaborer avec les équipes DevOps pour automatiser les déploiements (Docker, CI/CD) Intégrer des tests automatisés (pytest) et participer aux revues de code Contribuer à l'amélioration continue de l'architecture back-end Compétences clés attendues Forte capacité de collaboration Autonomie pour définir et structurer les fondations d'un système d'envergure Expérience en modélisation et optimisation de bases de données fortement appréciée Capacité à concevoir une architecture robuste et évolutive

Vous êtes un "bricoleur" du code, passionné par l'infrastructure et capable de naviguer dans des environnements techniques denses ? Nous recherchons un Geo Data Engineer (H/F) pour rejoindre un acteur majeur de la Tech. Ici, on ne cherche pas forcément un titre, mais un tempérament : quelqu'un qui n'a pas peur de mettre le nez dans le code, de comprendre l'infra et de proposer des solutions concrètes. 📋 Détails de la mission Secteur d’activité : Plateformes Digitales / Data Localisation : Paris (Télétravail flexible) Durée : Mission longue (Freelance, Indépendant ou Portage) Démarrage : ASAP Votre challenge Au sein d'un environnement riche et techniquement challengeant, vous serez le garant de la qualité et de la fluidité des flux de données géographiques. Votre autonomie et votre capacité à communiquer seront vos meilleurs atouts pour vous onboarder efficacement. Vos missions principales : Développer et maintenir des pipelines de données robustes. Intervenir sur l'infrastructure et le code pour optimiser les performances. Collaborer avec les équipes transverses pour intégrer des solutions Data innovantes. Apporter votre vision de "touche-à-tout" pour résoudre des problématiques complexes.

On cherche un(e) Data Engineer pour renforcer une équipe qui fait tourner la plateforme data au quotidien. Le sujet est très concret : ramener des données qui viennent de partout , les centraliser proprement , les rendre fiables , et garder une plateforme qui tient la charge (et qui ne casse pas en prod au premier pic). Vous travaillerez avec un Product Owner, un Data Steward et d’autres data engineers. On est sur une logique : ingestion, standardisation, stockage, et tout ce qui va avec côté run (monitoring, reprise, sécurité, doc). Vos missions : Collecter et centraliser des sources hétérogènes (API, fichiers, bases, événements). Construire des pipelines robustes : gestion des erreurs, reprises, backfills, alerting, qualité. Développer les traitements en Python / SQL / Spark (volumes en hausse, donc on fait attention à la perf et aux coûts). Orchestrer les flux avec Airflow . Structurer le stockage sur Cloud Storage avec une approche Delta Lake (évolution de schémas, merge/upsert, partitionnement, rétention). Industrialiser l’ensemble : Terraform / Terragrunt , GitLab CI/CD , environnements propres (dev/staging/prod). Contribuer à la gouvernance et à la conformité : catalogage et métadonnées via Dataplex + documentation utile (pas un wiki fantôme). Environnement technique : Python, SQL, Spark Airflow (orchestration) GCP : BigQuery, Dataproc, Pub/Sub, Cloud Storage Delta Lake Terraform + Terragrunt GitLab + GitLab CI/CD Méthodes : Agile (Scrum/Kanban)

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Développeur Python/MLOPS Tâches: Développer et optimiser des API (REST) en Python (FastAPI). Concevoir et maintenir des bases de données (PostgreSQL principalement) pour des requêtes performantes. Collaborer avec les équipes DevOps pour automatiser les déploiements (Docker, CI/CD). Intégrer des tests automatisés (pytest) et participer aux revues de code. Contribuer à l’amélioration continue de l’architecture back-end. Assurer la maintenance de la stack d’outils de l’équipe et notamment : Participer à rendre les algorithme IA compatible d’architecture GPU blackwell Mettre à jour les dépendances de note codebase (python, CUDA) Participer au développement de nos outils de MLOps en général

Au sein d'une équipe de 7 ML Engineers , vous serez l'expert Infrastructure dédié au pôle ML. Votre mission est de bâtir, maintenir et faire évoluer la stack technique permettant de propulser des systèmes de Machine Learning scalables et fiables. Vous ferez le pont entre le monde du DevOps et celui de la Data Science pour garantir l'efficacité opérationnelle des pipelines de production. Missions : Gestion de l’Infrastructure : Maintenir et optimiser la stack infrastructure dédiée au ML en respectant l'état de l'art et les bonnes pratiques AWS. Automatisation (IaC) : Provisionner et gérer les ressources via Terraform pour assurer la reproductibilité des environnements. Orchestration de Workflows : Piloter et configurer les pipelines de données complexes et les workflows ML via Apache Airflow (MWAA). Support Projets Spécifiques : Collaborer avec l'équipe sur l'intégration d'outils avancés comme les bases de données vectorielles (Vectiroeilles), Open Search et l'indexation. Cycle de vie ML : Mettre en place des serveurs dédiés MLFlow pour le suivi de l'entraînement des modèles et optimiser les phases de prédiction. Exploitation SageMaker : Utilisation intensive d'Amazon SageMaker pour l'entraînement et le déploiement de modèles.

Nous recherchons un Data Engineer Senior pour intervenir au sein d’une plateforme Data stratégique dans un environnement numérique à forte volumétrie. Vous intégrerez une équipe composée d’un Product Owner, d’un Data Steward et de Data Engineers, au cœur d’une architecture cloud moderne orientée scalabilité, gouvernance et performance. Vos missions : Participer aux phases de conception et de planification des développements data Concevoir et maintenir des pipelines data robustes et scalables Collecter et centraliser des sources de données hétérogènes Structurer et optimiser le stockage des données Mettre en place des infrastructures scalables sur Google Cloud Platform Construire et maintenir les workflows CI/CD Garantir la sécurité, la conformité et la stabilité des environnements Contribuer aux initiatives de gouvernance des données Documenter les développements et partager les bonnes pratiques Accompagner les équipes internes dans l’exploitation des données Environnement technique : Google Cloud Platform (BigQuery, Dataproc, PubSub, Cloud Storage) Dataplex Universal Catalog Python SQL Spark Airflow Delta Lake Terraform / Terragrunt Gitlab / Gitlab CI/CD Méthodologies Agile (Scrum ou Kanban) Mission en environnement structuré avec forte exigence de qualité, de performance et de conformité réglementaire.

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : Administration et optimisation de clusters HDP/CDP Installation, configuration et maintenance des clusters Gestion des mises à jour et des patchs de sécurité Surveillance des performances et optimisation des ressources Gestion/administration de clusters Kubernetes Automatisation des déploiements avec Operators Sécurisation et monitoring des environnements conteneurisés Orchestration des workflows avec Apache Airflow Développement et optimisation des DAGs pour la gestion des pipelines de données Gestion des dépendances et optimisation des temps d'exécution Intégration avec les autres outils de l'écosystème Traitement et analyse des données avec Apache Spark Développement et optimisation des jobs Spark (batch et streaming) Gestion des performances et tuning des jobs Intégration avec les systèmes de stockage distribués Optimisation des requêtes et accès aux données avec Starburst Configuration et administration de Starburst Optimisation des requêtes SQL distribuées Sécurisation et gestion des accès aux différentes sources de données

Maison internationale du secteur du luxe , notre client renforce son pôle Data afin de soutenir ses enjeux stratégiques et décisionnels. La donnée est au cœur des prises de décision : fiable, lisible, élégante et orientée business . 🧠 Vos missions En tant que Data Analyst Senior , vous intervenez sur l’ensemble du cycle de valorisation de la donnée : Data & Modélisation Concevoir et maintenir des modèles analytiques robustes via dbt Exploiter l’écosystème Microsoft Fabric (Lakehouse, Data Warehouse, pipelines) Orchestrer et superviser les flux de données avec Airflow Garantir la qualité, la cohérence et la traçabilité des données Reporting & Dashboards Concevoir et maintenir des dashboards décisionnels à forte valeur ajoutée Traduire des besoins métiers complexes en KPIs clairs, cohérents et partagés Garantir une single source of truth entre les modèles data et le reporting Veiller à la lisibilité, performance et élégance des tableaux de bord Adapter les niveaux de lecture (opérationnel, management, exécutif) Documenter les indicateurs et règles de calcul Business & Communication Collaborer étroitement avec les équipes métiers, IT et Data Challenger les besoins métiers et formuler des recommandations Présenter les analyses de manière claire et impactante Accompagner l’adoption des dashboards et usages data 👤 Profil recherché Nous recherchons un(e) expert(e) data , à l’aise aussi bien sur la technique que sur la restitution business. Expérience & compétences Minimum 7 ans d’expérience en Data Analysis / Analytics Engineering Excellente maîtrise de SQL Solide expérience sur dbt Bonne connaissance de Microsoft Fabric (ou environnement Azure Data équivalent) Expérience avec Airflow Pratique avancée du reporting et de la conception de dashboards (Power BI ou équivalent) Forte culture data : qualité, gouvernance, performance, cohérence des indicateurs Soft skills Très bon communicant , à l’écrit comme à l’oral Capacité à dialoguer avec des interlocuteurs métiers exigeants Esprit analytique, rigueur, autonomie Sens du détail et de l’excellence Langues Anglais fluent impératif (environnement international)

Nous accompagnons un leader mondial et prestigieux du secteur du Luxe, réunissant un ensemble de Maisons emblématiques de la mode, de la maroquinerie et de la joaillerie. En tant que responsable de la plateforme Data construite sur Google Cloud Platform (GCP), vous porterez la vision produit. Votre mandat est clair : transformer les besoins métier complexes (venant du Retail, de l'E-commerce, du Marketing, de la Finance ou de la Supply Chain) en solutions data robustes, scalables et sécurisées. Vous ne livrez pas simplement de la technique, mais de la valeur business tangible pour l'ensemble des Maisons. Vision Produit et Roadmap Stratégique : Vous définirez et porterez la vision à long terme de la plateforme Data en alignement avec la stratégie digitale du Groupe. Vous construirez et maintiendrez une roadmap évolutive, en priorisant rigoureusement les initiatives selon leur retour sur investissement (ROI) et leur impact business. Vous devrez anticiper les évolutions technologiques du Cloud pour maintenir le Groupe à la pointe de l'innovation. Pilotage du Delivery et Agilité : Vous orchestrerez le travail des équipes techniques (Data Engineers, Architectes Cloud) en appliquant les méthodologies agiles. Votre rôle inclut la rédaction et la priorisation des User Stories avec des critères d'acceptation précis, ainsi que l'animation des cérémonies (Sprint Planning, Reviews, Retrospectives). Vous serez le garant du rythme de livraison et de l'arbitrage constant entre les besoins tactiques immédiats et les investissements structurels nécessaires. Gestion des Parties Prenantes (Stakeholder Management) : Vous agirez comme l'interface centrale pour une grande variété d'interlocuteurs : Data Analysts, Data Scientists, équipes métiers dans les Maisons et responsables Sécurité. Vous devrez recueillir, challenger et consolider les besoins, tout en facilitant l'adoption de la plateforme par les utilisateurs finaux. La communication sera clé : vous partagerez régulièrement les indicateurs de performance (adoption, coûts, efficacité) et les succès de la plateforme. Garantie de l'Excellence Technique et Conformité : Vous devrez comprendre et challenger les choix d'architecture (Data Lake, Data Warehouse, solutions streaming vs batch) pour garantir la performance et la maîtrise des coûts (FinOps). Évoluant dans un secteur exigeant, vous assurerez également que tous les développements respectent les normes strictes de gouvernance des données, de conformité (RGPD) et de cybersécurité (IAM, chiffrement), protégeant ainsi le patrimoine informationnel du Groupe.

Contexte: Dans un environnement numérique à forte volumétrie de données, une direction technique transverse renforce sa plateforme Data afin de faire de la donnée un levier stratégique de pilotage, de connaissance utilisateur et d’aide à la décision. La mission s’inscrit au cœur d’une organisation Data structurée, en interaction étroite avec les équipes produit, techniques et métiers. L’objectif est de centraliser, fiabiliser et gouverner des données hétérogènes tout en garantissant leur conformité réglementaire, leur sécurité et leur exploitabilité à grande échelle. Le consultant interviendra au sein d’une équipe Data Engineering intégrée à la plateforme centrale, composée de profils complémentaires (Product Owner, Data Steward, Data Engineers). Missions: Le Data Engineer interviendra sur l’ensemble de la chaîne de valeur data, avec un fort enjeu de robustesse, scalabilité et gouvernance. Responsabilités principales : Collecter, centraliser et structurer des sources de données multiples et non homogènes Concevoir, développer et maintenir des pipelines data fiables et performants Organiser et optimiser le stockage des données (lakes, tables, catalogage) Mettre en place et maintenir des infrastructures cloud scalables Développer et maintenir les workflows CI/CD Garantir la sécurité, la conformité et l’évolutivité des environnements data Participer aux initiatives de gouvernance des données Accompagner les équipes dans l’exploitation et le requêtage des données Contribuer activement à la documentation et aux bonnes pratiques Assurer une veille technologique continue

Mission de pilotage de socle industriel IA Contexte Dans le cadre de sa stratégie Data & IA, notre client en secteur d'assurance engage un programme structurant visant à industrialiser et accélérer le déploiement des cas d’usage de Data Science, Machine Learning et IA Générative (LLM) . Ce programme repose sur la mise en place de socles technologiques mutualisés, robustes, sécurisés et scalables , notamment : une plateforme MLOps , un socle LLMOps , un environnement Python standardisé . Ces socles doivent permettre aux équipes Data & IA de concevoir, entraîner, déployer et superviser des modèles d’IA de bout en bout, dans des conditions industrielles. Dans ce contexte, notre client recherche un Responsable Plateforme MLOps , en charge du pilotage, de la conception, de la mise en œuvre et de l’exploitation du socle MLOps . Responsable Plateforme MLOps (Mission pilote de socle IA) Rattachement fonctionnel Data Office / Direction Data & IA En collaboration étroite avec : équipes Data Scientists & ML Engineers équipes IT / DSI / Production équipes Architecture et Sécurité SI 🎯 MISSIONS PRINCIPALES1. Conception & Architecture Définir, maintenir et faire évoluer l’ architecture cible de la plateforme MLOps en cohérence avec les standards du client. Sélectionner et intégrer les outils MLOps les plus pertinents (orchestration, versioning, CI/CD IA, monitoring…), sur la base du cadrage réalisé. Garantir l’ interopérabilité avec les socles LLMOps existants et l’environnement Python à venir . Valider les choix techniques avec les instances d’architecture et de sécurité. 2. Mise en œuvre & Déploiement Piloter et contribuer activement à la mise en œuvre technique du socle MLOps. Compléter le socle CI/CD existant avec les composants spécifiques à l’IA et au ML. Définir et implémenter les processus de déploiement, de versioning et de mise à jour des modèles en production . Travailler en coordination avec les équipes DSI / Production Data. 3. Exploitation, RUN & Monitoring Garantir la disponibilité, la performance, la sécurité et la scalabilité de la plateforme. Mettre en place un monitoring proactif des modèles (qualité, dérive, performance) et de l’infrastructure. Définir et suivre les KPIs, SLAs et indicateurs de service . Gérer les incidents et problèmes selon les pratiques ITIL. 4. Standardisation & Bonnes pratiques Définir et diffuser les bonnes pratiques MLOps auprès des équipes Data & IA. Mettre en place des standards de développement, de test, de packaging et de déploiement des modèles. Produire et maintenir une documentation technique et fonctionnelle complète. 5. Accompagnement & Support Accompagner les Data Scientists et ML Engineers dans l’appropriation de la plateforme. Fournir un support technique expert . Contribuer aux actions de formation, de conduite du changement et de partage de connaissances , en lien avec les équipes Change du Data Office. 6. Veille & amélioration continue Assurer une veille technologique active sur les outils et pratiques MLOps / LLMOps. Proposer des évolutions continues du socle en fonction des besoins métiers et des innovations du marché.

Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l’analyse de leurs données et KPI. Les infrastructures et projets incluent : AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI, AI/GenAI Architectures Big Data sophistiquées pour ingérer plus de 100 par jour (Datalake, Event-Driven, Streaming, etc.) Exemples de projets : Chatbot AI Socle vidéo, navigation et calcul des audiences Recommandation de programmes via IA Feature Store et modernisation des flux financiers Plateformes CRM et partage de données partenaires Kubernetes et applications de data self-service Missions En tant que Data Engineer , vous serez en charge de : Concevoir, développer et maintenir des pipelines de données scalables et performants (ingestion, traitement et stockage de données massives). Développer des architectures Big Data sur AWS (S3, EMR, Lambda, Kinesis, Batch…), Snowflake et Spark. Développer en Scala et Python pour le traitement massif des données. Automatiser les workflows et orchestrer les pipelines avec Airflow et DBT . Concevoir et exposer des APIs customer-facing performantes. Optimiser les performances et garantir la scalabilité pour gérer un volume important d’utilisateurs. Collaborer avec les équipes Data Science, Produit et DevOps pour une intégration fluide.