Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Contexte: Dans le cadre du développement des solutions Data & Cloud de l'entreprise, nous recherchons un Développeur confirmé maîtrisant les écosystèmes Python, Java et Google Cloud Platform (GCP) , avec une forte culture CI/CD et des compétences sur les outils d’orchestration de workflows data. Vous rejoindrez une équipe stratégique au sein de la DSI Natixis, orientée innovation, performance et industrialisation des services Cloud. Vos missions: Développer et maintenir des applications backend en Python et/ou Java Concevoir et optimiser des pipelines de données dans GCP (Google Cloud Platform) Implémenter et maintenir des processus d’orchestration via : Composer (Apache Airflow) de préférence ou Google Workflows Exploiter et interroger des données dans BigQuery Gérer le stockage des données sur Cloud Storage Mettre en place et maintenir des pipelines CI/CD via Jenkins Participer à l’industrialisation, à l’automatisation et à la fiabilisation des déploiements Collaborer avec les équipes Data, Cloud et Architecture Compétences techniques requises: Langages : Python – Confirmé à Expert Java – Confirmé Cloud & Data : Google Cloud Platform (GCP) BigQuery, Cloud Storage Orchestration : Composer / Airflow ou Google Workflows DevOps / CI-CD : Jenkins (impératif) Git / GitLab (apprécié) Environnement : Méthodologies Agile / Scrum Bonne capacité de troubleshooting et optimisation performance

Nous recherchons un Data Engineer pour une mission longue. Vous interviendrez dans un environnement cloud GCP moderne, en lien avec les équipes internes et les différents produits data. Ses principales missions incluront : -Conception et déploiement des pipelines data : construire, maintenir et optimiser des pipelines robustes, scalables et documentés. -Orchestration et automatisation : configurer et maintenir des workflows via Airflow et Kedro pour garantir l’intégration et la transformation continue des données. -Industrialisation et infrastructure : assurer le déploiement et la maintenance des environnements via Terraform et Terragrunt, dans le respect des bonnes pratiques CI/CD (GitLab). -Support aux équipes : accompagner les utilisateurs dans leurs usages et le requêtage des données (BigQuery, SQL, Python). -Collaboration et partage : participer aux instances de la communauté data engineering, échanger sur les bonnes pratiques, contribuer à la documentation technique. Environnement technique : Langages: Python, SQL, PySpark // Orchestration & Framework : Airflow, Kedro Cloud : Google Cloud Platform (GCP), BigQuery Infrastructure as Code : Terraform, Terragrunt Versioning & CI/CD : GitLab, GitLab CI/CD // Méthodologie : Agile (Scrum, Kanban)

Missions Concevoir et maintenir des pipelines de données robustes et performants. Structurer et documenter les datasets (Utilisateurs, Comportements, Référentiels). Mettre en place et administrer des infrastructures data scalables . Déployer et maintenir des workflows CI/CD . Participer aux initiatives de gouvernance et qualité des données . Assurer la stabilité, la sécurité et la performance des environnements. Collaborer avec les équipes Data, Produit et Technique dans un contexte Agile. Environnement technique Langages : Python, SQL, Spark Stack : dbt, Airflow, Terraform, Terragrunt, GitLab CI/CD Cloud : Google Cloud Platform (BigQuery, Dataplex) Méthodologie : Agile (Scrum / Kanban)

Mission : Dans le cadre d’un projet de transformation data, vous concevez, développez et maintenez des pipelines Databricks robustes et automatisés pour ingérer, qualifier et orchestrer des données hétérogènes. Vous garantissez la qualité, la conformité et la disponibilité des données pour le reporting métier et accompagnez les équipes utilisatrices (Data Analysts et Data Scientists). Responsabilités principales : Conception et développement de pipelines sur Databricks (PySpark, Delta Lake, Unity Catalog). Orchestration des traitements avec Airflow ou Prefect. Mise en place de CI/CD via GitLab et GitHub pour garantir qualité et traçabilité. Intégration, structuration et qualification des données (référencement, suppression des doublons, validation). Collaboration avec les équipes métier et BI pour assurer la pertinence et la scalabilité des flux. Documentation technique et accompagnement des utilisateurs dans l’exploitation des pipelines.

Mon client recherche un manager technique senior avec une forte expérience en data engineering et pilotage d’équipes hybrides (on/offshore) , capable de structurer, améliorer et délivrer des produits data autour des systèmes hôteliers (notamment PMS). Double dimension : technique et managériale , ayant une culture produit et une approche orientée valeur. Data Engineering avancé : maîtrise des architectures modernes (Data Lake, pipelines, orchestration). Technologies demandées : Snowflake, Airflow, dbt, Tableau, AWS . Connaissance des pratiques DevOps / FinOps / RUN . Capacité à proposer des solutions techniques argumentées et à estimer/planifier les chantiers . (Bonus) Connaissance d’un PMS (ex. OPERA Cloud) ou des systèmes de gestion hôteliers.

Concevoir et développer des pipelines de traitement de données (ETL/ELT) sur Databricks. Intégrer et transformer des données issues de différentes sources (API, bases SQL/NoSQL, fichiers, data lakes, etc.). Mettre en place des workflows automatisés et orchestrés (via Azure Data Factory, Airflow, ou Databricks Workflows). Optimiser les performances des jobs Spark et la consommation des clusters. Participer à la modélisation des données (Data Lake / Delta Lake / Data Warehouse). Assurer la qualité, la sécurité et la gouvernance des données (contrôles, documentation, catalogage). Collaborer avec les Data Scientists, Analysts et Architectes pour garantir la cohérence et la fiabilité des environnements data. Surveiller et maintenir la plateforme Databricks en production (monitoring, troubleshooting, coûts).

Vous aimez relever des défis techniques ambitieux et contribuer à la mise en place d’architectures data performantes et innovantes ? Vous souhaitez évoluer au cœur d’un environnement cloud moderne et collaboratif ? Cette opportunité est faite pour vous ! Nous recherchons un·e Data Engineer – GCP confirmé·e pour accompagner la construction et le déploiement de solutions data pour notre client du secteur de l’assurance. Intégré·e à la DataFabric, vous rejoindrez une équipe agile composée de 5 à 7 Data Engineers, en lien direct avec le Tech Lead. Vous participerez activement au build et au run des traitements livrés en production sur la plateforme Google Cloud Platform (GCP). Vos principales responsabilités : Analyser, concevoir et modéliser les solutions data adaptées aux besoins métiers Développer et maintenir les pipelines de données sur GCP pour l’acquisition, la transformation, le stockage et la mise à disposition des données Rédiger les documents techniques associés (spécifications, cahier de recette, documentation d’exploitation) Réaliser les recettes techniques et assurer la qualité des livrables grâce à des tests de non-régression Participer activement à la maintenance et à l’amélioration continue des traitements data en production Environnement technique : GCP : BigQuery, Cloud Storage, Cloud Composer, Airflow, GKE Langages & outils : SQL, Python CI/CD : maîtrise des outils d’intégration et de déploiement continu Infrastructure as Code : Terraform

Missions principales Piloter la conception et la mise en œuvre de l’architecture Data sur Google Cloud Platform (GCP) . Concevoir, développer et maintenir des pipelines d’ingestion et de transformation de données internes et publiques. Garantir la fiabilité, la performance et la scalabilité des flux de données au sein de la plateforme. Mettre en place et industrialiser les environnements d’exécution via GKE , Terraform , et les outils d’orchestration ( Argo Workflow , Airflow , etc.). Développer et documenter des modèles de données avec DBT (ou SQLMesh ). Intégrer des solutions d’ingestion automatisée de données à l’aide de Python et d’outils tels que Fivetran ou Rclone . Gérer le cycle de vie du code et des déploiements via GitLab CI/CD . Collaborer avec les équipes Data Science et R&D pour comprendre leurs besoins et traduire ces besoins en solutions data robustes. Promouvoir les bonnes pratiques en ingénierie de données, sécurité et gouvernance. Compétences techniques requises GCP (BigQuery, GCS) et SQL : maîtrise indispensable. Kubernetes (GKE) et Terraform : expérience solide en déploiement et automatisation. DBT ou SQLMesh : conception et maintenance de modèles de données. Python : développement de scripts et pipelines d’ingestion. Outils d’ingestion : Fivetran, Rclone ou équivalents. Orchestration de workflows : Argo Workflow, Airflow ou outils similaires. CI/CD : GitLab CI ou pipelines équivalents. Compétences appréciées : Connaissance d’ Azure et de Databricks . Expérience avec des mécanismes de Change Data Capture (DataStream, Debezium, etc.). Profil recherché Formation : Bac +5 ou équivalent (ingénierie, informatique, data). Expérience : minimum 5 ans en Data Engineering, dont une expérience significative sur GCP. Langues : maîtrise de l’ anglais indispensable (environnement international).

En tant que Développeur, et en coordination avec l’équipe, vos missions seront de : Développer et maintenir des pipelines de traitement de données (batch ou temps réel) Intégrer, transformer et charger des données depuis différentes sources (APIs, bases de données, fichiers, flux, etc.) Concevoir et optimiser des jobs ETL/ELT pour alimenter les environnements analytiques (Data Lake, Data Warehouse) Implémenter les logiques de nettoyage, d’enrichissement et de validation des données Participer à la modélisation des structures de données pour répondre aux besoins métiers et analytiques Assurer la performance, la fiabilité et la scalabilité des traitements de données Automatiser les processus de collecte et de transformation via des scripts et outils d’orchestration (Airflow, Azure Data Factory, etc.) Collaborer avec les Data Scientists, Data Analysts et les équipes DevOps pour garantir la disponibilité et la qualité des données Surveiller et corriger les anomalies dans les flux de données Rédiger la documentation technique des pipelines et des processus mis en place

Notre client recherche un Développeur Senior disposant d’une double expertise en développement backend et en ingénierie des données, pour rejoindre son équipe dédiée à l’observabilité. Concevoir, développer et maintenir des services backend (Python, PySpark) et des APIs orientées observabilité Construire et orchestrer des pipelines de données robustes (Airflow, Spark, Python) Garantir la qualité, la sécurité et la gouvernance des flux (tests, lineage, monitoring) Gérer les données via PostgreSQL, ADLS, Blob Storage, ElasticSearch Développer des dashboards et visualisations avancées (Grafana, ELK) Collaborer étroitement avec les équipes produit et développement (Agile/Scrum)

Vos missions Concevoir, construire et maintenir des pipelines de données robustes et scalables (batch & stream). Participer à la mise en production et à la qualité des datasets liés à la personnalisation des contenus. Industrialiser les traitements avec Airflow, Terraform et Terragrunt. Garantir la qualité et l’intégrité des données (tests, monitoring, alerting). Optimiser les performances et la structure des données dans BigQuery . Participer à la gouvernance Data : documentation, bonnes pratiques, CI/CD, sécurité. Collaborer avec les équipes Data pour les aider à exploiter et requêter efficacement la donnée. Assurer la veille technologique sur les outils Data & Cloud. 🛠️ Stack technique Langages : Python, SQL, PySpark Cloud : Google Cloud Platform (BigQuery, Cloud Storage, IAM) Orchestration : Airflow Infra as Code : Terraform, Terragrunt CI/CD : GitLab CI Méthodologie : Agile / Scrum / Kanban

Hello, Pour le compte de l'un de mes clients parisiens, je suis à la recherche d'un Data Engineer DBT senior (ou confirmé ++). Dans l'idéal, le DE aura les skills suivants : ○ 5 ans d’expérience minimum en Data Engineering. ○ Une expérience obligatoire sur DBT (au moins 6 mois à 1 an en production). ○ Une expérience sur Daxter est un plus, sinon Airflow. ○ Une capacité à apporter de la méthodologie et des bonnes pratiques à l’équipe. Un prérequis avec Snowflake & une expertise cloud.

Démarrage : Dès que possible Contexte Dans le cadre du renforcement de nos équipes Data, nous recherchons un Data Engineer confirmé maîtrisant les environnements Java, Spark et AWS . Vous interviendrez sur des projets à forte volumétrie, autour de la collecte, du traitement et de la valorisation de la donnée. Missions Concevoir, développer et maintenir les pipelines de données sur des architectures distribuées (Spark, AWS). Industrialiser et fiabiliser les traitements batch et temps réel. Participer à la modélisation et à la gouvernance de la donnée. Optimiser la performance et la scalabilité des flux. Collaborer étroitement avec les équipes Data Science, BI et Cloud. Contribuer à la veille technologique et à l’amélioration continue des bonnes pratiques Data Engineering. Environnement technique Langages : Java, Python (souhaité) Frameworks : Apache Spark, Kafka, Airflow Cloud : AWS (S3, EMR, Glue, Lambda, Redshift, Athena) CI/CD : GitLab, Docker, Terraform Base de données : PostgreSQL, DynamoDB, Snowflake (selon projet) Profil recherché Formation Bac+3 à Bac+5 en informatique, data ou équivalent. Expérience confirmée en développement Java appliqué à la donnée (Spark). Bonne connaissance des services AWS orientés data. Esprit analytique, rigueur et goût du travail en équipe. Une sensibilité DevOps ou un attrait pour l’industrialisation est un plus. Pourquoi nous rejoindre ? Des projets Data à fort impact dans des environnements techniques exigeants. Un cadre de travail stimulant, collaboratif et bienveillant. De réelles perspectives d’évolution (technique ou architecture).

En tant que Data IA Engineer au sein de notre équipe Data Intégration, vous jouerez un rôle clé dans la conception et la mise en œuvre de solutions avancées d'intelligence artificielle et de data science. Votre mission principale sera de contribuer à l'amélioration continue et à l'innovation de nos plateformes digitales. 1.1. CONTENU DE LA MISSION OU DES LIVRABLES En tant que Data IA Engineer, vous serez responsable de la conception, du développement et de l'intégration de solutions complètes enrichies par des algorithmes d'intelligence artificielle. Vous jouerez un rôle crucial dans la création de services backend robustes et performants, en utilisant Python et FastAPI pour traiter et analyser des données complexes. Responsabilités : -Concevoir et développer des services backend en Python et FastAPI, intégrant des techniques avancées de machine learning et de traitement de données massives. -Gérer et optimiser des bases de données telles que MongoDB, Elasticsearch, ainsi que des systèmes SQL et NoSQL pour assurer un stockage et une analyse efficaces des données. -Mettre en œuvre des méthodologies de CI/CD en utilisant Docker et GitLab CI, avec un fort accent sur l'automatisation des workflows de data science pour garantir une intégration et une livraison continues fluides. -Collaborer avec les équipes de développement pour intégrer des modèles d'IA dans les applications, en assurant leur performance et leur scalabilité. -(Optionnel) Développer des interfaces utilisateur interactives en utilisant React et Next.js, permettant une interaction fluide avec les modèles d'IA. 1.2. SPECIFICITE DE LA MISSION Diplôme en informatique, data science, ingénierie ou domaine connexe. Data IA engineer avec maîtrise de Python, FastAPI, MongoDB, Elasticsearch, SQL, NoSQL, Docker, Airflow, Snowflake et Gitlab CI. Des capacités en React et Next.js sont un plus

CONTEXTE Au sein de l’équipe Silver, la prestation se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur. Notre stack technique est principalement constitué de Python, Spark, SQL, dbt, BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. La stack inclut aussi d’autres services de la Google Cloud Platform. MISSIONS : En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir des pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine

Une grande organisation internationale du secteur bancaire est responsable de la production informatique à l’échelle mondiale. L’équipe DATA/IA conçoit, opère et porte l’expertise des plateformes DATA facilitant la mise en place d’architectures modernes, distribuées et hautement résilientes, tant sur site que dans le cloud. Le Data Engineering/ Expertise Big Data rejoindra l’équipe DATA/IA, actuellement composée d’une vingtaine de personnes réparties entre Paris et Singapour, et évoluera dans un environnement technique et fonctionnel riche. Les principales missions sont: Accompagner les projets dans leur migration vers des infrastructures modernes on prem et sur le cloud public : • Intervenir en assistance/expertises auprès de nos clients, obtenir leurs retours et comprendre leurs exigences • Réaliser l'étude détaillée des besoins clients en lien avec les architectes • Construire avec les CloudOps les infrastructures DATA pour le projet • Accompagnement des projets dans l'adoption de ces technologies via des workshops, formation, documentation • Paramétrer / configurer les services afin de répondre aux exigences projets • Définir la stratégies de backup et restauration • Réaliser les tests de performances, de résilience et de reprise d'activité • Implémenter le monitoring et l'alerting • Rédiger les documents d'exploitation Participer au RUN de nos services : • Gestion des demandes et incidents • Patching / Upgrade • Participation à l'astreinte de l'équipe • Amélioration continue de nos procédures/documentation Compétences recherchées : • Connaissance approfondie sur les technologies Data suivantes: Cloudera, Kafka, Spark, Flink, Nifi, AirFlow, Starburst/trino • Connaissance des Cloud Public AWS et GCP et Terraform • Connaissance des solutions Data sur le Cloud Public : AWS EMR, MSK, GCP DataProc, BigQuery, Cloud Storage, Cloud Dataflow, etc. • Connaissance approfondie linux et kubernetes • Connaissance approfondie des solutions CI/CD (Gitlab, GitOps, ArgoCD, etc) • Maîtrise de langages de programmation (Scala, Java, Python…) • Travail en Agile • Anglais • Certification ITIL V4 obligatoire 3J/Semaine sur site Les astreintes (HNO, etc…) : Oui