Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Objectifs de la mission Le bénéficiaire souhaite une prestation d’accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters, Prestations demandées Les missions sont: Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

En quelques mots Cherry Pick est à la recherche d'un Expert Airflow(H/F) , pour le compte de l'un de ses clients qui opère dans le domaine de Luxe. Description 🏢 Le Contexte : Audit Stratégique & Modernisation Data Pour le compte d’un acteur majeur du Luxe , vous rejoignez le pôle Conseil Data d'une agence de marketing et data de premier plan. La mission consiste à réaliser un audit complet et une trajectoire de modernisation de l’orchestration data du client, actuellement basée sur un écosystème GCP (Google Cloud Platform) . Le client fait face à des enjeux de dette technique sur son legacy de flux et souhaite sécuriser sa transition vers les standards les plus récents de l'industrie. Vous interviendrez en binôme avec le Directeur du pôle Data/IA pour apporter l'expertise technique "Deep Dive" nécessaire. 🎯 Vos Missions : Onboarding, Audit & Recommandations La mission est découpée en trois phases distinctes sur un planning de 15 à 20 semaines : Phase 1 : Audit Global & Inventaire (Full-Time) Réaliser l’inventaire exhaustif des DAGs et des pipelines existants. Analyser les flux de données legacy sur GCP. Évaluer la performance, la fiabilité et la conformité (GCP Compliance) de l'infrastructure actuelle. Phase 2 : Étude de Migration Composer 2 vers 3 Étudier la faisabilité technique et les impacts d'une migration de Cloud Composer 2 vers Cloud Composer 3 . Identifier les risques critiques et les opportunités d'optimisation (coûts, scalabilité, maintenance). Phase 3 : Synthèse & Accompagnement (Part-Time) Rédiger les rapports de synthèse et les préconisations techniques. Présenter la proposition d’accompagnement et la roadmap de transformation au client. Assurer un rôle de conseil expert auprès des collaborateurs et du client.

Notre client, basé à Cagnes sur Mer (06) est à la recherche d’un Développeur Python Senior (H/F) freelance pour travailler sur un projet en binôme avec un autre expert. MISSIONS · Refondre les pipelines de données en environnement strictement on-premise · Développer des flux d’ingestion et des mécanismes d’alimentation des données · Contribuer aux choix techniques et à la stratégie d’implémentation, sur la base des conceptions définies en amont · Optimiser et fiabiliser les traitements de données (performance, qualité, robustesse) · Participer à la mise en place et à l’amélioration des chaînes CI/CD ENVIRONNEMENT TECHNIQUE · Python, Spark, Airflow · Environnement 100% on-premise · Méthode Agile

Objectif : Concevoir et maintenir des services back-end scalables et performants. Responsabilités Développer et optimiser des API (REST) en Python (FastAPI). Concevoir et maintenir des bases de données (PostgreSQL principalement) pour des requêtes performantes. Collaborer avec les équipes DevOps pour automatiser les déploiements (Docker, CI/CD). Intégrer des tests automatisés (pytest) et participer aux revues de code. Contribuer à l'amélioration continue de l'architecture back-end. Stack technique Langages : Python. Bases de données : PostgreSQL, NoSQL. Pipeline de données : Airflow ou autres Outils : Docker, Git, CI/CD, Ansible, Terraform.

Contexte : Dans un environnement data à forts enjeux de performance, de fiabilité et de conformité, vous intégrerez une équipe data encadrée par un Tech Lead Data. Vous interviendrez sur la conception, l’industrialisation et l’exploitation de pipelines de données au sein d’une plateforme cloud moderne. Missions Principales : En tant que Data Engineer , vous serez en charge de : Concevoir et développer des pipelines de données robustes et scalables (ELT) ; Intégrer les données issues de sources multiples dans Snowflake ; Développer et maintenir les modèles de données analytiques avec DBT (datamarts métiers, tests, documentation) ; Orchestrer les traitements data via Apache Airflow (DAGs, scheduling, dépendances) ; Optimiser les performances, la qualité et les coûts du Data Warehouse ; Industrialiser les flux data (automatisation, CI/CD, monitoring, reprise sur incident) ; Participer à l’amélioration continue de la plateforme data et être force de proposition sur les choix techniques.

Objectif de la mission Objectif global : Construire et maintenir les produits DATA Loyalty Présentiel 2j / semaine au siège SQL / Snowflake - Confirmé - Impératif DBT / Airflow / Astronomer - Confirmé - Impératif Data modeling / Data Quality - Confirmé - Important Tableau / Data Viz - Junior - Souhaitable Français Courant (Impératif) Anglais Professionnel (Impératif) Prestations demandées Sous la responsabilité du Tech Lead, vous êtes l'acteur clé en charge des chaînes d'approvisionnement, de transformation et de mise en valeur des données, participant à la conception et modélisation des produits, assurant la conformité et la maintenabilité des solutions développées, et relevant les défis techniques liés à la volumétrie et à la qualité du patrimoine de données. Au quotidien, vos missions sont de : - Concevoir, développer et déployer les solutions de gestion des données "Cloud-Native" - Assurer la conformité et la maintenabilité du code (TDD, commentaires, etc.) - Détecter, analyser et résoudre les incidents ou anomalies survenant sur les produits de l'équipe - Contribuer aux chantiers transverses (usine logicielle-CI/CD, supervision, catalogue, etc.) - Comprendre la finalité métiers des produits, et surtout la complexité fonctionnelle des données manipulées - Assurer la cohérence de la modélisation des données du patrimoine avec l'aide des Data Managers - Accompagner les profils Produit ou Data Science dans le cadrage des besoins de données métiers (disponibilité, qualité, etc.) - Participer à l'animation de la communauté "Data Tech" (diffusion bonnes pratiques, capitalisation code, veille techno, etc.) - Sensibiliser nos différents interlocuteurs aux enjeux et bénéfices 'data' Qualifications Compétences Data & Analytics requises : - Utilisation de la « Modern Data Stack » (Snowflake, dbt, Tableau, Airflow, etc.) - Intégration & manipulation de données massives (SQL, Python, etc.) - Connaissances des architectures « Data » opérationnelles ou analytiques - Mise en place de supervision de données (contrôle qualité, rejets, alertes) - Connaissances des réglementations sur les données, notamment personnelles (ex : RGPD) Compétences générales attendues : - Connaissances et mise en œuvre des méthodologies Agile : Scrum & Kanban - Culture & techniques DevOps - Collaboration et travail en équipe - Bonne communication orale et écrite - Autonomie et proactivité - Gestion des priorités, risques et alertes - La connaissance du monde de l’hôtellerie est un plus. - Anglais opérationnel requis.

Pour l'un de nos grands comptes, nous recherchons un Data Engineer pour travailler dans une équipe composée de 1 Product Owner et de 2 Data Engineer : Participer aux phases de conception, de planification et de réalisation des tâches Construire et maintenir des pipelines Data robustes et scalables Produire des modèles DBT pour la transformation sur un environnement GCP (Bigquery) Expérience en méthodologie Agile (scrum ou kanban) Maîtriser la Stack technique : DBT, Python, SQL, GCP, Bigquery, Terraform, Airflow, Ci/cd.

Missions : • contribution aux projets décisionnels - Big data • participation et animation de groupes de travail avec les utilisateurs et les informatiques • collecte des besoins auprès des métiers • modélisation et développement des reporting : spécification des indicateurs décisionnels (statistique, qualité, facturation) • exploration de données • rédaction des livrables : spécifications fonctionnelles et techniques, cahiers de recette • participation aux recettes • formation et accompagnement des utilisateurs

Nous recherchons un Data Engineer Senior pour rejoindre une équipe Data stratégique au sein d’un acteur international, avec des enjeux forts autour de la performance financière et de la fiabilité des données RH & Finance . 🎯 Contexte de la mission Vous intégrerez une équipe Core Data Product composée d’un Product Manager et de plusieurs Data Engineers. La Data est au cœur des décisions stratégiques. L’équipe est actuellement engagée dans une revue globale de son architecture et de sa modélisation , avec un objectif clair : moderniser la plateforme et transformer la stack legacy vers les nouveaux standards Data Platform. ⚙️ Missions principales Concevoir, construire et maintenir des pipelines et infrastructures data robustes et performantes . Optimiser l’architecture et la modélisation des flux. Participer à la transformation vers les nouveaux standards de la Data Platform. Garantir la qualité, la fiabilité et la gouvernance des données (Finance & HR). Assurer un RUN de qualité selon le principe “You build it, you run it”. Promouvoir les bonnes pratiques : CI/CD, revue de code, qualité du code . Garantir la sécurité et la conformité des données (RGPD). Évoluer en environnement Agile au sein d’une équipe internationale (anglais quotidien).

Description Pour le compte de notre client grand compte, nous recherchons un Expert Data Engineer Spécialisé sur Google Cloud afin de rejoindre la Squad data pour le pilotage commercial Tâches principales Développement de pipeline de données sur Cloud Composer / Airflow Optimisation des performances et coûts des traitements sur GCP Participation aux choix d'outils et des solutions techniques sur GCP et développement de nouvelles application Modélisation des données sur BigQuery Maintenir l'existant en condition opérationnelle Préparer et mettre en œuvre l’interopérabilité avec de nouveaux systèmes opérationnels Proposer des simplifications et/ou optimisations selon les normes internes Compétences demandées GCP : Confirmé Big Query : Expert Base de donnée : Confirmé Python : confirmé Lieu : Paris

Développement de pipelines de données via Cloud Composer / Airflow. Optimisation des performances et des coûts des traitements sur Google Cloud Platform (GCP). Participation aux choix d’outils et aux décisions d’architecture technique sur GCP. Développement de nouveaux traitements et applications data (BigQuery, DBT, Cloud Functions). Modélisation et structuration des données dans BigQuery. Maintien en condition opérationnelle des pipelines et traitements existants. Mise en œuvre de l’interopérabilité avec de nouveaux systèmes opérationnels. Proposition d’optimisations et simplifications techniques. Respect des standards de qualité et des bonnes pratiques data engineering de l’entreprise.

Responsabilités Développer et optimiser des API (REST) en Python (FastAPI) Concevoir et maintenir des bases de données (PostgreSQL principalement) pour des requêtes performantes Collaborer avec les équipes DevOps pour automatiser les déploiements (Docker, CI/CD) Intégrer des tests automatisés (pytest) et participer aux revues de code Contribuer à l'amélioration continue de l'architecture back-end Compétences clés attendues Forte capacité de collaboration Autonomie pour définir et structurer les fondations d'un système d'envergure Expérience en modélisation et optimisation de bases de données fortement appréciée Capacité à concevoir une architecture robuste et évolutive

Dans le cadre du développement d’un nouveau système de détection automatisée d’objets d’intérêt sur des images satellites, nous recherchons un développeur back-end Python expérimenté. Ce projet stratégique vise à concevoir une nouvelle plateforme indépendante de l’application historique existante, avec une attention particulière portée à la robustesse et à la scalabilité de l’architecture dès les premières phases. Vous interviendrez au sein d’une petite équipe de développement composée de trois ingénieurs, dans un contexte où les choix techniques et l’architecture du système auront un impact structurant pour les évolutions futures de la solution. Les principales responsabilités incluent la conception et le développement d’API REST en Python (FastAPI), la modélisation et l’optimisation de bases de données — principalement PostgreSQL — ainsi que la structuration des fondations techniques d’un système destiné à monter en charge. Vous participerez également à l’automatisation des déploiements via des outils de conteneurisation et de CI/CD, et contribuerez à la mise en place de tests automatisés et à l’amélioration continue de l’architecture applicative

Les missions sont : Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Vous êtes un "bricoleur" du code, passionné par l'infrastructure et capable de naviguer dans des environnements techniques denses ? Nous recherchons un Geo Data Engineer (H/F) pour rejoindre un acteur majeur de la Tech. Ici, on ne cherche pas forcément un titre, mais un tempérament : quelqu'un qui n'a pas peur de mettre le nez dans le code, de comprendre l'infra et de proposer des solutions concrètes. 📋 Détails de la mission Secteur d’activité : Plateformes Digitales / Data Localisation : Paris (Télétravail flexible) Durée : Mission longue (Freelance, Indépendant ou Portage) Démarrage : ASAP Votre challenge Au sein d'un environnement riche et techniquement challengeant, vous serez le garant de la qualité et de la fluidité des flux de données géographiques. Votre autonomie et votre capacité à communiquer seront vos meilleurs atouts pour vous onboarder efficacement. Vos missions principales : Développer et maintenir des pipelines de données robustes. Intervenir sur l'infrastructure et le code pour optimiser les performances. Collaborer avec les équipes transverses pour intégrer des solutions Data innovantes. Apporter votre vision de "touche-à-tout" pour résoudre des problématiques complexes.

• contribution aux projets décisionnels - Big data, • participation et animation de groupes de travail avec les utilisateurs et les informatiques, • collecte des besoins auprès des métiers, • modélisation et développement des reporting : spécification des indicateurs décisionnels (statistique, qualité, facturation) • exploration de données • rédaction des livrables : spécifications fonctionnelles et techniques, cahiers de recette • participation aux recettes • formation et accompagnement des utilisateurs