Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Paris

Hello, Pour le compte de l'un de mes clients parisiens, je suis à la recherche d'un Data Engineer DBT senior (ou confirmé ++). Dans l'idéal, le DE aura les skills suivants : ○ 5 ans d’expérience minimum en Data Engineering. ○ Une expérience obligatoire sur DBT (au moins 6 mois à 1 an en production). ○ Une expérience sur Daxter est un plus, sinon Airflow. ○ Une capacité à apporter de la méthodologie et des bonnes pratiques à l’équipe. Un prérequis avec Snowflake & une expertise cloud.

CONTEXTE Au sein de l’équipe Silver, la prestation se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur. Notre stack technique est principalement constitué de Python, Spark, SQL, dbt, BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. La stack inclut aussi d’autres services de la Google Cloud Platform. MISSIONS : En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir des pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine

Au sein de l'équipe Silver, la prestation se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d'un productowner, d'un data steward et d'un data ingénieur. Notre technique de stack est principalement constituée de Python, Spark, SQL, dbt, BigQuery, Airflow pour l'orchestration des traitements et Terraform ainsi que Terragrunt pour l'industrialisation. Le stack inclut également d'autres services de la Google Cloud Platform. En interaction avec les membres de l'équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l'équipe • Construire et maintenir des pipelines de données robustes et évolutifs • Accompagner les membres de l'équipe dans l'exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures évolutives capables de répondre aux besoins et à l'évolution rapide du volume de données • Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l'intégrité des données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l'évolutivité, la fiabilité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Livrables attendus : 1. Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets Expertises demandées pour la réalisation de la prestation.

Nous recherchons un Data Engineer GCP expérimenté pour rejoindre une équipe dynamique en freelance afin de soutenir des projets critiques de migration de données et d'infrastructure. Il s'agit d'une opportunité entièrement à distance, idéale pour des professionnels pratiques passionnés par la construction de pipelines ETL/ELT évolutifs et de solutions de stockage de données dans un environnement rapide. Responsabilités: Concevoir, construire et maintenir des pipelines ETL/ELT pour l'ingestion, la transformation et le chargement de données dans des entrepôts de données cloud, en traitant efficacement de grands volumes de données. Implémenter et gérer des solutions de stockage de données, en garantissant des performances élevées, une évolutivité et une fiabilité dans des environnements de production. Déployer l'infrastructure en tant que code (IaC) à l'aide de Terraform pour provisionner et gérer les ressources GCP. Développer et orchestrer des workflows à l'aide de Cloud Composer ou Apache Airflow pour la planification et l'automatisation. Exploiter Apache Beam/Dataflow ou Spark/Dataproc pour le traitement distribué de données, y compris les architectures batch, micro-batch et streaming en temps réel. Rédiger des requêtes SQL avancées et optimiser les interactions avec les bases de données relationnelles, en intégrant la capture de changements de données (CDC) le cas échéant. Collaborer sur des migrations de données, en assurant des transitions fluides avec un accent sur la qualité des données, les tests et les pratiques modernes de DataOps (par exemple, déploiements de pipelines, ingénierie de qualité). Intégrer avec l'écosystème plus large de l'ingénierie de données, en recommandant et adoptant des outils au besoin pour améliorer l'efficacité. Communiquer efficacement avec les parties prenantes internes et les partenaires externes pour aligner sur les exigences et livrer des solutions à fort impact.

Contexte de la mission Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming. Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux. Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud. Stack technique & environnement Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours) Orchestration : StreamSets, Airflow Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy) Langages : Python, Scala, SQL CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE) Monitoring : Grafana, Prometheus, Elastic Stack

Mission Data Engineer Client: Secteur Minéraux Localisation : Paris, Aix-en-Provence, Strasbourg ou Lyon Télétravail : 1 à 2 jours par semaine Durée : 6 mois minimum (renouvelable) Démarrage : Dès que possible Équipe à taille humaine Contexte de la mission Dans le cadre d’un vaste programme de transformation data, notre client – un acteur international du secteur des minéraux – déploie une Data Factory structurée autour de trois volets : Program Management : pilotage global et coordination du programme, Tech Enablers : mise en place des briques techniques de la plateforme, Data Use Cases : livraison de cas d’usage métiers concrets à forte valeur ajoutée. L’objectif est double : Livrer 2 à 3 cas d’usage prioritaires , Implémenter une plateforme data moderne , basée sur Microsoft Fabric et intégrée à l’écosystème Azure , tout en instaurant une gouvernance agile (Scrum, PI Planning). Rôle : Data Engineer Vous interviendrez au sein de l’équipe Data pour : Concevoir et développer les pipelines d’ingestion, de transformation et de mise en qualité des données , Gérer les flux de données batch et streaming , Optimiser les performances et la robustesse des traitements, Collaborer avec les équipes architecture , delivery et use cases pour assurer la cohérence de bout en bout, Contribuer à la mise en place des bonnes pratiques DevOps / DataOps dans un environnement agile. Compétences recherchées Techniques : Développement de pipelines de données (batch & streaming), Formats : Parquet, JSON, Delta, Maîtrise de l’écosystème Azure / Microsoft Fabric , Bon niveau en SQL et Python , Outils : Spark , Databricks , Azure Data Factory , Git , Docker , Airflow , Méthodologiques : Environnement Agile / Scrum , avec participation aux cérémonies PI Planning , Connaissance des pratiques DevOps / DataOps , Langues : Anglais courant obligatoire (environnement international). Profil recherché Data Engineer confirmé , avec 3 à 5 ans d’expérience dans des environnements cloud et data modernes, Esprit d’équipe, sens de l’organisation, autonomie et rigueur.

En quelques mots Cherry Pick est à la recherche d'un "Data Scientist" pour un client dans le secteur des medias Description 🎯 Contexte du projet L’équipe BI, Analytics & Data Science (10 personnes : Data Analysts, Data Scientists, ML Engineers) travaille en transverse pour l’ensemble des marques et métiers du groupe (abonnement, vente au numéro, régie publicitaire…). L’activité couvre un spectre large : analyses ad hoc, dashboards, projets data science et IA. La stack technologique est entièrement sur Google Cloud Platform (BigQuery, Airflow, Vertex AI). Face à la montée en charge et à des besoins spécifiques en AdTech (audience, publicité digitale, personnalisation), l’équipe recherche un Data Scientist confirmé pour renforcer ses capacités sur la fin d’année. 🛠️ Missions principales Intervenir sur des projets AdTech : audience, ciblage publicitaire, recommandations de contenu, personnalisation, pricing. Gérer des projets end-to-end : Collecte et préparation des données, Feature engineering et modélisation, Déploiement et mise en production des modèles (Vertex AI, Airflow). Développer et industrialiser des modèles de machine learning prédictif (pas de focus sur l’IA générative). Collaborer avec les équipes Data, BI, régie publicitaire et métiers internes. Produire des analyses et recommandations pour soutenir la stratégie publicitaire et marketing.

Développeur Python + CI/CD - Paris Objectifs et livrables Mettre à jour/Maintenir les scrappers développé en Python via Airflow (court terme + tâche de fond) Chiffrer la migration/le déploiement avec l’équipe de dev de Jurigeek sur OpenShift (court terme) Déployer Jurigeek sur OpenShift (court/moyen terme) S’assurer que l’équipe de dev ait tous les outils ou la toolchain pour maximiser le delivery (CI/CD, Système de log, notification de release etc…) Améliorer la qualité de code inhérente au produit en mettant en place des outils de monitoring/surveillance ou des best practices S’assurer que les produits en prod soit équipé de tous le monitoring adéquat Compétences demandées Niveau de compétence CI/CD Confirmé Apache Airflow Avancé OPENSHIFT Avancé Programmation Python Confirmé

Contexte: Nous recherchons un Data Analyst / Développeur BI Senior afin de renforcer l’équipe existante. Le profil attendu doit avoir une expertise confirmée dans les environnements GCP et Power BI Online, avec une forte capacité à produire des développements BI robustes, scalables et maintenables. Missions principales: - Réaliser les reportings et tableaux de bord. - Assurer la maîtrise et la modélisation des données. - Concevoir, développer et maintenir des solutions BI performantes, optimisées et réutilisables. - Réaliser des tests fonctionnels et des recettes métiers. - Garantir l’application des bonnes pratiques de développement BI. - Produire la documentation technico-fonctionnelle en fin de sprint. - Conseiller et accompagner les équipes métiers (devoir de conseil). - Collaborer étroitement avec le Product Owner et l’équipe de développement. - Concevoir des maquettes en lien avec le Product Owner. - Participer à l’assistance utilisateurs (formation, transmission de connaissances, support niveau 3). - Débloquer et accompagner les autres développeurs si nécessaire. Environnement technique & compétences attendues Environnement GCP (Google Cloud Platform) : - BigQuery - PySpark - Dataflow - Airflow / DAG - Cloud Storage - Administration de plateforme (IAM, gestion des droits, monitoring, etc.) BI & Data Visualisation : - Power BI Desktop & Online - Modélisation BI - DevOps / CI/CD - Bonnes pratiques BI (scalabilité, performance, maintenabilité). Profil recherché Expérience : minimum 7 ans dans le développement BI et l’exploitation de données. Compétences techniques : maîtrise confirmée de GCP et Power BI Online, avec une bonne pratique des outils de traitement et d’orchestration des données (BigQuery, PySpark, Airflow, Dataflow).

CONTEXTE Contexte La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Silver, la mission se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur. Notre stack technique est principalement constitué de Python, Spark, SQL, dbt, BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. Le stack inclut aussi d’autres services de la Google Cloud Platform. MISSIONS : 1. Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir des pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l’accroissement rapide du volume de données • Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant dbt • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques

Je suis à la recherche pour un de nos clients d'un Développeur Python API React JS. L’objectif de la prestation porte sur le projet de remplacement de l’outil de lutte contre le blanchiment et le financement du terrorisme. Ce projet implique le développement des flux entrants et sortants de l’application de Screening (ASAM), le stockage des données et la création d’une interface pour le pilotage de l’activité. • Les connaissances techniques requises : o Jira, o Python, Flask, SQL Alchemy, o Cloud GCP : BigQuery, PostGresql, Airflow, API RESTFUL, … o React JS o La connaissance d’Okta, Swagger et Docker sont un plus Une expérience significative dans le développement est demandée dans les domaines suivants : • développement Back End (API, Python, Cloud function) • développement Front End (React JS) Savoir-faire sur : • Projet en méthode Agile, Kanban, RPE • Principes RGPD