Find your next tech and IT Job or contract Apache Airflow

Dans le cadre du développement de ses systèmes d'information Épargne Salariale et Retraite, les Bénéficiaires doivent recourir à une prestation externe pour fournir assistance à la modernisation de la plateforme BI. 1. OBJET DE LA PRESTATION Dans le cadre du projet de modernisation de la plateforme BI, la prestation consistera à mettre en place des solutions répondant aux besoins couverts par l’existant et permettant de proposer de nouveaux services. Cette solution devra utiliser les outils validés et mis à disposition par le groupe. La mission sera pilotée par l’équipe Coeur-Data au sein de la R&D Epargne salariale et retraite. Le data engineer devra intervenir en collaboration avec l’équipe de 5 personnes ainsi qu’avec les clients et les équipes transverses du client. Exemple d’applications du domaine d’intervention : Architecture : Définition de l’organisation du Lakehouse dans le S3 Chargement : Utilisation de pipelines spark, pyspark et python Ordonnancement : Dagster Restitution : Mise à disposition de la donnée brut + création de rapports sur un outil de dataviz à définir sur la base du LakeHouse L’objectif principal de la prestation sera la mise à disposition de data structurées à destination de l’équipe marketing . Dans ce cadre, il conviendra de réaliser : - Le développement d’une solution de collecte de données - Le développement d’un système de stockage de la donnée - La documentation des développements - La réalisation de tests unitaires - La mise en place d’un suivi des traitements - L’assistance à la recette par la MOA / les utilisateurs - Des comptes rendus aux pilotes sur l’avancement du projet et les blocages rencontrés - Des études avec les équipes transverses du client 2. ENVIRONNEMENT FONCTIONNEL DE LA PRESTATION La prestation se déroulera au sein du service IT en charge de la Maintenance applicative 3. ENVIRONNEMENT TECHNIQUE DE LA PRESTATION - Langages de programmation : Python, Spark, Pyspark, SQL - Outil de gestion de version : Git - Intégration continue : JENKINS - Ticketing : JIRA - Documentation : Confluence - Poste de travail Windows 10 avec WSL (Windows Subsystem for Linux) - Outils de la plateforme actuelle : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19 - Outils de la plateforme cible : Dagster, Trino, S3 4. RESULTATS ATTENDUS / LIVRABLES - Respect du planning détaillé validé - Estimation des charges MOE - Mise en œuvre des solutions développées - Programme testé et prêt à la recette par les utilisateurs / MOA - Tests unitaires des développements effectués - Suivi d’avancement des tâches du projet en cours - Documentation technique - Amélioration continue des processus de développements 5. PRE-REQUIS ET/OU ELEMENTS INDISPENSABLES - Python, Spark appliqué à la data - Machine learning appliqué à la donnée (scikit-learn, feature engineering) - Relationnel pour les échanges avec le métier - Outils Informatica - Outils LLM/GenAI pour l'accès et l'exploration de la donnée

Rôle et responsabilités des Développeurs • Développement et expertise Réaliser des développements de complexité moyenne. Assurer la maintenance applicative (Gestion des obsolescence et vulnérabilités) • Contribution agile Participer aux rituels techniques (estimation de charge, engagement sur le sprint). • Architecture et standards Concevoir et mettre en oeuvre l’architecture applicative et technique. Veiller au respect des normes, bonnes pratiques et standards Groupe. • Qualité et documentation Garantir la qualité des livrables (revues de code, bonnes pratiques). Assurer la production et la maintenance de la documentation projet. • RUN Assurer le suivi d’exploitation des traitements PySpark en production : supervision, résolution des incidents, analyse des performances et amélioration continue des traitements - Maîtrise avancée des environnements de conteneurisation et d’orchestration, notamment Kubernetes et Docker, ainsi que de la gestion sécurisée des secrets avec HashiCorp Vault - Maîtrise avancée des traitements Big Data, incluant PySpark 3 ainsi que la manipulation de formats de données distribués (Parquet, gestion des buckets). - Maîtrise opérationnelle de l’orchestration de workflows de données à l’aide de l’outil Apache Airflow. - Maîtrise confirmée des bases de données relationnelles, particulièrement PostgreSQL. - Maîtrise des outils de gestion de code et de qualité logicielle, incluant GitLab, Fortify et SonarQube. - Maîtrise des outils de stockage objet, notamment via l’utilisation des commandes MinIO. - Maîtrise des outils de transfert de fichiers, en particulier CFT (Cross File Transfer). Pour l’ensemble du projet de titrisation Bail : • Dossiers d’architecture (schémas, principes techniques, choix structurants). • Backlog enrichi et priorisé en lien avec les parties prenantes. • Composants applicatifs développés, testés et documentés. • Comptes rendus des revues de code et plan d’amélioration continue. • Documentation projet à jour (Spécifications techniques, JIRA, Page Confluence, Runbook). • Reporting d’avancement sur le périmètre confié. • RUN : Reporting de type Morning check

• Analyse et cadrage Recueillir et analyser les besoins métiers. Formaliser les US en spécifications techniques exploitables. • Pilotage technique Assurer un pilotage intermédiaire sur un périmètre projet (coordination technique, suivi d’avancement). Contribuer aux choix techniques structurants. • Développement et expertise Réaliser des développements complexes. Assurer la maintenance applicative (Gestion des obsolescence et vulnérabilités) Apporter un support technique aux équipes sur les composants critiques. • Contribution agile Participer à l’élaboration et à la priorisation du backlog avec les PO et BA. Animer et contribuer aux rituels techniques (code reviews, challenger les estimations de charge etc.) • Architecture et standards Concevoir et mettre en oeuvre l’architecture applicative et technique. Veiller au respect des normes, bonnes pratiques et standards Groupe. • Qualité et documentation Garantir la qualité des livrables (revues de code, bonnes pratiques). Assurer la production et la maintenance de la documentation projet. • RUN Planification des activités, gestion du calendrier de l’équipe et priorisation des actions Assurer le suivi d’exploitation des traitements PySpark en production : supervision, résolution des incidents, analyse des performances et amélioration continue des traitements Maîtrise avancée des environnements de conteneurisation et d’orchestration, notamment Kubernetes et Docker, ainsi que de la gestion sécurisée des secrets avec HashiCorp Vault Maîtrise avancée des traitements Big Data, incluant PySpark 3 ainsi que la manipulation de formats de données distribués (Parquet, gestion des buckets). Maîtrise opérationnelle de l’orchestration de workflows de données à l’aide de l’outil Apache Airflow. Maîtrise confirmée des bases de données relationnelles, particulièrement PostgreSQL. Maîtrise des outils de gestion de code et de qualité logicielle, incluant GitLab, Fortify et SonarQube. Maîtrise des outils de stockage objet, notamment via l’utilisation des commandes MinIO. Maîtrise des outils de transfert de fichiers, en particulier CFT (Cross File Transfer). Pour l’ensemble du projet de titrisation Bail : • Dossiers d’architecture (schémas, principes techniques, choix structurants). • Backlog enrichi et priorisé en lien avec les parties prenantes. • Composants applicatifs développés, testés et documentés. • Comptes rendus des revues de code et plan d’amélioration continue. • Documentation projet à jour (Spécifications techniques, JIRA, Page Confluence, Runbook). • Reporting d’avancement sur le périmètre confié. • RUN : Reporting de type Morning check

Dans le cadre de l'optimisation et de l'unification de ses capacités analytiques transversales, notre client recherche un consultant Data Analytics Engineer autonome pour une mission d'intégration, de modélisation et de restitution des données Corporate stratégiques du groupe. Cette initiative vise à fournir une vision consolidée et exploitable des indicateurs clés provenant de diverses sources internes, essentielles à la prise de décision stratégique et opérationnelle. Objectifs de la mission Établir et sécuriser des connexions techniques robustes et évolutives avec les systèmes sources Corporate identifiés (ERP, Plateformes Financières, RH, ITSM etc.). Extraire et charger les données des domaines fonctionnels Corporate clés : finance, ressources humaines, référentiels, achats, etc. Concevoir et implémenter des pipelines d'ingestion automatisés fiables et performants, garantissant l'intégrité et la fraîcheur des données. Structurer et modéliser les données dans un entrepôt de données (Data Warehouse Snowflake) de manière logique, modulaire, réutilisable et optimisée pour l'analyse et la restitution. Mettre en place des mécanismes de gouvernance des données : gestion des métadonnées, logiques de rafraîchissement, suivi de la qualité des données et gestion des erreurs. Développer des vues et agrégats de données spécifiques aux besoins de restitution et d'analyse des différents départements Corporate. Documenter de manière exhaustive les pipelines d'ingestion, les modèles de données (logique et physique), les règles de transformation et les points de reprise pour assurer la maintenabilité et la transférabilité.

Description détaillée Appel d’Offre – Consultant Data Analytics Engineer – Intégration/Modélisation/Restitution de données - Domaine Corporate Contexte de la mission Dans le cadre de l'optimisation et de l'unification de ses capacités analytiques transversales, le client recherche un consultant Data Analytics Engineer autonome pour une mission d'intégration, de modélisation et de restitution des données Corporate stratégiques du groupe. Cette initiative vise à fournir une vision consolidée et exploitable des indicateurs clés provenant de diverses sources internes, essentielles à la prise de décision stratégique et opérationnelle. Objectifs de la mission Établir et sécuriser des connexions techniques robustes et évolutives avec les systèmes sources Corporate identifiés (ERP, Plateformes Financières, RH, ITSM etc.). Extraire et charger les données des domaines fonctionnels Corporate clés : finance, ressources humaines, référentiels, achats, etc. Concevoir et implémenter des pipelines d'ingestion automatisés fiables et performants, garantissant l'intégrité et la fraîcheur des données. Structurer et modéliser les données dans un entrepôt de données (Data Warehouse Snowflake) de manière logique, modulaire, réutilisable et optimisée pour l'analyse et la restitution. Mettre en place des mécanismes de gouvernance des données : gestion des métadonnées, logiques de rafraîchissement, suivi de la qualité des données et gestion des erreurs. Développer des vues et agrégats de données spécifiques aux besoins de restitution et d'analyse des différents départements Corporate. Documenter de manière exhaustive les pipelines d'ingestion, les modèles de données (logique et physique), les règles de transformation et les points de reprise pour assurer la maintenabilité et la transférabilité. Environnement technique (exemples, à confirmer selon l'architecture existante ou cible)** Sources : Multiples systèmes Corporate (Systèmes Financiers, Plateformes Achats, Outils ITSM. - via APIs, exports ou connecteurs natifs). Destination : Snowflake(Data Warehouse Cloud). Orchestration : Airflow. Transformation : DBT Core / SQL, Python (Pandas/PySpark) ou équivalent. Modélisation : DrawIO, Lucidchart ou autre support outil libre. Visualisation / Restitution : Tableau. CI/CD / versioning : GitLab, GitHub. Documentation : Confluence, Jira, SharePoint.

Dans le cadre d’une mission stratégique pour l’un de nos clients, nous recherchons un(e) Consultant(e) Data Analytics Engineer afin de contribuer à la mise en place d’une plateforme Data exploitant des données corporate à forte valeur métier. Vous interviendrez sur un projet structurant visant à centraliser, fiabiliser et valoriser les données issues de multiples systèmes métiers afin de répondre à des enjeux analytiques transverses (finance, achats, IT, qualité, gouvernance, opérations…). À ce titre, vos principales responsabilités seront : Mettre en place et sécuriser des connexions techniques robustes avec les systèmes sources (ERP, plateformes financières, RH, ITSM…). Assurer l’ extraction et le chargement des données issues des principaux domaines corporate. Concevoir et développer des pipelines d’ingestion automatisés , fiables et performants. Modéliser les données dans un Data Warehouse (Snowflake) selon des standards optimisés pour l’analyse. Mettre en œuvre des pratiques de gouvernance des données : qualité, métadonnées, gestion des erreurs, suivi des flux. Créer des datasets, vues et agrégats adaptés aux besoins métiers. Documenter l’ensemble des réalisations (pipelines, modèles, transformations) afin d’en garantir la maintenabilité. Collaborer dans un environnement Agile avec des équipes techniques et métiers.

Contexte du Projet : Le projet "Verbatim Unlock" vise à transformer les retours clients (verbatims) en insights actionnables via l'Intelligence Artificielle. Notre objectif est de doter nos équipes opérationnelles et stratégiques d'outils performants pour analyser et comprendre en profondeur l'expérience client. Mission Principale : En tant que Data Engineer BI & Vizualisation, vous serez le pont entre les données brutes, les modèles d'IA complexes et les utilisateurs finaux. Votre mission sera de concevoir, développer et déployer des solutions interactives et performantes, qu'il s'agisse de tableaux de bord ou d'applications dédiées, permettant l'exploration visuelle des insights verbatims. Vous garantirez que nos données deviennent des leviers de décision concrets et immédiatement exploitables. Responsabilités Clés : Développement d'applications interactives : Concevoir et construire des applications data sur Streamlit pour offrir des interfaces utilisateur sur-mesure et riches, permettant l'exploration des outputs des modèles d'IA et la découverte d'insights sur l'expérience client. Visualisation de données avancée : Au-delà des applications, développer des tableaux de bord interactifs sur Tableau pour des analyses spécifiques, garantissant clarté et pertinence. Modélisation et transformation des données avec dbt : Collaborer avec les Data Engineers pour définir et implémenter des pipelines de transformation des données en utilisant dbt. Vous serez responsable de la modélisation des données dans Snowflake pour les rendre optimales pour la visualisation et l'utilisation dans les applications. Optimisation des performances : Garantir la rapidité et la fiabilité des requêtes et des chargements de données dans les interfaces utilisateur, en tirant parti des capacités de Snowflake . Gestion et optimisation des ressources cloud : Surveiller et analyser l'utilisation des ressources de calcul et de stockage, notamment sur Snowflake , afin d'optimiser les coûts sans compromettre la performance ou la qualité des services. Conception UI/UX : Appliquer les meilleures pratiques d'expérience utilisateur (UX) et d'interface utilisateur (UI) pour créer des applications et dashboards intuitifs, ergonomiques et engageants. Définition des exigences techniques : Spécifier les prérequis techniques pour le passage en production des solutions développées (performance, sécurité, évolutivité).

Nous recherchons un consultant Data Analytics Engineer autonome pour une mission d'intégration, de modélisation et de restitution des données Corporate stratégiques du groupe. Cette initiative vise à fournir une vision consolidée et exploitable des indicateurs clés provenant de diverses sources internes, essentielles à la prise de décision stratégique et opérationnelle. Objectifs de la mission Établir et sécuriser des connexions techniques robustes et évolutives avec les systèmes sources Corporate identifiés (ERP, Plateformes Financières, RH, ITSM etc.). Extraire et charger les données des domaines fonctionnels Corporate clés : finance, ressources humaines, référentiels, achats, etc. Concevoir et implémenter des pipelines d'ingestion automatisés fiables et performants, garantissant l'intégrité et la fraîcheur des données. Structurer et modéliser les données dans un entrepôt de données (Data Warehouse Snowflake) de manière logique, modulaire, réutilisable et optimisée pour l'analyse et la restitution. Mettre en place des mécanismes de gouvernance des données : gestion des métadonnées, logiques de rafraîchissement, suivi de la qualité des données et gestion des erreurs. Développer des vues et agrégats de données spécifiques aux besoins de restitution et d'analyse des différents départements Corporate. Documenter de manière exhaustive les pipelines d'ingestion, les modèles de données (logique et physique), les règles de transformation et les points de reprise pour assurer la maintenabilité et la transférabilité. Environnement technique (exemples, à confirmer selon l'architecture existante ou cible)** Sources : Multiples systèmes Corporate (Systèmes Financiers, Plateformes Achats, Outils ITSM. - via APIs, exports ou connecteurs natifs). Destination : Snowflake(Data Warehouse Cloud). Orchestration : Airflow. Transformation : DBT Core / SQL, Python (Pandas/PySpark) ou équivalent. Modélisation : DrawIO, Lucidchart ou autre support outil libre. Visualisation / Restitution : Tableau. CI/CD / versioning : GitLab, GitHub. Documentation : Confluence, Jira, SharePoint. Profil recherché Expérience confirmée en intégration de données depuis des systèmes d'entreprise complexes (ERP, CRM, finance, RH). Maîtrise des techniques d'ingestion et de transformation de données dans un environnement cloud (idéalement Snowflake ou équivalent). Solides compétences en data modeling analytique (modèles dimensionnels, Data Vault, médaillon ou autres architectures d'entrepôt de données). Excellentes pratiques en matière d'orchestration de pipelines de données, de versioning de code, de documentation technique et fonctionnelle. Capacité à travailler efficacement au sein d'une équipe Agile, suivant la méthodologie Scrum. Forte capacité à travailler en autonomie, à prendre des initiatives et à interagir efficacement avec les équipes techniques et les interlocuteurs métiers. Capacité à comprendre et traduire les besoins métiers complexes en solutions techniques de données. ! Bonus important ! : Connaissance des structures de données et des processus métier typiques d'un grand groupe international dans l'hôtellerie ou un secteur similaire.

Contexte de la consultation Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data. Les enjeux principaux sont les suivants : • garantir la stabilité et la disponibilité de la plateforme ; • améliorer la qualité du support production ; • réduire les incidents récurrents ; • optimiser l’usage des ressources Kubernetes ; • accompagner les équipes métiers et techniques dans leurs usages ; • renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ; • améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino. La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance. __________ 2. expertise technique et opérationnelle plateforme Data reposant notamment sur : • Kubernetes pour l’orchestration des composants ; • Apache Spark pour le traitement distribué de données ; • Apache Airflow pour l’orchestration des workflows ; • Starburst / Trino pour l’interrogation distribuée des données ; • les outils associés de supervision, logs, alerting, sécurité et déploiement. Le consultant interviendra en appui des équipes de production, d’infrastructure, de Data Engineering, d’architecture et des métiers afin d’assurer le maintien en conditions opérationnelles, l’analyse des incidents, l’optimisation des traitements et l’amélioration continue de la plateforme. __________ 3. Objectifs de la prestation La mission devra permettre d’atteindre les objectifs suivants : • assurer un support de niveau expert sur les incidents liés à Spark, Airflow, Starburst/Trino et Kubernetes ; • améliorer la stabilité opérationnelle des workloads Data ; • diagnostiquer et corriger les problèmes de performance, de consommation de ressources ou de fiabilité ; • accompagner les équipes projets dans la mise en production de nouveaux traitements ; • assister les métiers dans l’usage optimisé de la plateforme ; • définir et formaliser des bonnes pratiques techniques ; • optimiser le dimensionnement et l’allocation des ressources Kubernetes ; • contribuer à la réduction des coûts d’exploitation liés à une mauvaise consommation CPU, mémoire, stockage ou I/O ; • renforcer l’observabilité, le monitoring et les procédures d’exploitation ;

Contexte Dans le cadre du développement de l’IA GEN au sein de ces applications, le chapitre DATA Entrepôt de données a en charge de porter les évolutions de pattern liés à la plateforme Data SNOWFLAKE dont il a la responsabilité. Au sein d’une équipe composée d’experts dans le domaine de l’IT et fort de vos expériences d’administration de plateforme SNOWFLAKE , vous aurez pour missions principales de : Missions Concevoir les nouveaux PATTERN nécessaires demandés, sur les périmètres ingestion de données, manipulation de données et restitution, que les données soient structurées ou non structurées, avec les capacités CLOUD, intégrées à SNOWFLAKE ou sur AWS Les mettre en œuvre sur la plateforme France ou à l’international pour qu’ils puissent être utilisés par les équipes DATA IT et métier Accompagner les différentes équipes IT et métier France ou des Business Units dans le déploiement et la prise en main de la plateforme SNOWFLAKE Dans ce contexte, les principales activités : Contribuer aux cadrages des nouveaux besoins techniques des métiers liés à la plateforme SNOWFLAKE Participer à l’évolution de la plateforme Data (gouvernance, contrôles, automatisation, etc) Participer aux choix technologiques de l’offre à mettre en place Analyser les documents d’architecture des assets à faire évoluer et définir les nouveaux PATTERN (architecture fonctionnelle, applicative, technique) Analyser, définir et cadrer les adaptations nécessaires de l’offre proposée Documenter les PATTERN retenus à un niveau plus détaillé, de sorte à la rendre exécutable pour les autres Business Units Accompagner au déploiement de la solution définie auprès de la BU Accompagner à la prise en main de la plateforme Data

Prestation : Prestation d’expertise Data Platform Technique : Kubernetes — Spark — Airflow — Starburst Contexte : Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data. Les enjeux principaux sont les suivants : • garantir la stabilité et la disponibilité de la plateforme ; • améliorer la qualité du support production ; • réduire les incidents récurrents ; • optimiser l’usage des ressources Kubernetes ; • accompagner les équipes métiers et techniques dans leurs usages ; • renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ; • améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino. La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance.

Dans le cadre du renforcement d'une équipe Data européenne, nous recherchons un(e) Data Engineer Senior pour concevoir, développer et maintenir des plateformes et produits de données évolutifs, destinés à répondre aux besoins métiers en matière de pilotage, de reporting et d'analyse. Vous interviendrez sur l'ensemble de la chaîne de valeur Data, de l'ingestion des données jusqu'à leur mise à disposition pour les équipes métiers et BI. Vos principales responsabilités Architecture & Plateforme Data Concevoir et mettre en œuvre des architectures de données robustes et évolutives (Raw / Curated / Consumption). Développer des solutions alignées avec les standards d'architecture Data modernes. Garantir la maintenabilité, la réutilisabilité et la scalabilité des développements. Data Engineering Concevoir, développer et optimiser des pipelines ETL/ELT. Mettre en place des traitements de données performants et industrialisés. Développer des modèles de transformation avec dbt. Orchestrer les traitements via Apache Airflow. Modélisation des données Concevoir des modèles dimensionnels (Star Schema, Data Marts). Produire des jeux de données fiables et prêts à l'exploitation (KPI-ready datasets). Qualité, Gouvernance & Sécurité Garantir la qualité, la fiabilité et l'intégrité des données. Mettre en œuvre les règles de gouvernance, de sécurité et de gestion des accès (RBAC). Participer à la documentation du lineage et des standards de développement. Performance & Industrialisation Optimiser les performances des pipelines et des traitements Snowflake. Améliorer les coûts d'exécution et de stockage. Mettre en place le monitoring, la supervision et les alertes. Collaboration Collaborer avec les équipes métiers, les Business Analysts, Product Owners et équipes BI. Participer aux ateliers fonctionnels et techniques. Assurer le transfert de connaissances et la documentation des solutions. Environnement technique Snowflake AWS dbt Apache Airflow SQL Git CI/CD Jira Confluence Lucid

Nous recherchons pour le compte de notre client dans le domaine bancaire, un Data Engineer expérimenté pour intervenir sur ces sujets d’intégration et contribuer à la stabilité et à la qualité des flux data. Contexte : Dans le cadre de ses activités, notre client souhaite renforcer ses capacités en intégration de données afin d’accompagner la mise en place de nouveaux flux et l’évolution des flux existants. Le besoin porte sur : • L’intégration de nouvelles sources de données • L’évolution et la fiabilisation des flux existants • La mise en place de traitements de données robustes et industrialisés Missions : Intégration de données • Analyser les besoins d’intégration de nouvelles sources • Concevoir et développer les flux d’ingestion de données • Assurer la transformation et l’intégration des données dans les systèmes cibles Mise en place / évolution des flux • Développer et faire évoluer les flux existants • Assurer la cohérence et la traçabilité des données • Participer à l’optimisation des traitements Fiabilisation & qualité • Mettre en place des contrôles de qualité de données • Identifier et corriger les anomalies sur les flux • Garantir la robustesse et la continuité de service Industrialisation & exploitation • Automatiser et industrialiser les traitements • Participer au monitoring et à la supervision des flux • Contribuer à la documentation technique

Nous recherchons un Data Engineer Senior pour accompagner la mise en place d’un Data Warehouse moderne sur Snowflake au sein d’un environnement cloud AWS. Contexte de la mission Vous rejoindrez une équipe Data en charge de concevoir et industrialiser une plateforme analytique moderne reposant sur Snowflake, dbt et AWS . L'objectif principal sera de participer à la construction du Data Warehouse, à la modélisation des données et à l'industrialisation des pipelines de traitement. Missions principales Concevoir et développer le Data Warehouse sur Snowflake . Développer et maintenir les transformations de données avec dbt . Concevoir et orchestrer les pipelines de données avec Airflow . Développer des traitements en Python (Pandas, PySpark). Participer à la mise en place des bonnes pratiques de développement et d'industrialisation. Mettre en œuvre les processus CI/CD et les standards de qualité. Contribuer aux choix d'architecture et à l'amélioration continue de la plateforme. Environnement technique Cloud : AWS Data Warehouse : Snowflake Transformation : dbt Orchestration : Apache Airflow Langages : Python (Pandas, PySpark), SQL CI/CD : GitLab Git / DevOps