🔎 Contexte de la mission Dans le cadre d'un programme de transformation Data et de migration d'un Data Warehouse historique vers Google Cloud Platform (GCP), nous recherchons un Data Engineer senior pour accompagner la conception, le développement et l'industrialisation de Data Products à destination de différents domaines métiers : Achats, RH, Finance, Opérations, etc. Vous intégrerez une équipe Data agile et contribuerez à la modernisation de la plateforme Data, à la migration des flux existants et à la mise en place de solutions performantes, fiables et industrialisées. 🛠️ Vos principales missions ✅ Concevoir, développer et maintenir les flux de données entre différents systèmes. ✅ Participer à la migration des flux existants vers GCP. ✅ Construire et optimiser les modèles de données sous BigQuery. ✅ Mettre en œuvre des contrôles qualité et renforcer la fiabilité des données. ✅ Automatiser les déploiements et industrialiser les traitements Data. ✅ Contribuer à l'architecture Data en collaboration avec les Data Architects. ✅ Participer aux enjeux de Data Governance, Master Data Management (MDM) et de référentiels de données. ✅ Collaborer avec les Data Stewards et les Data Scientists pour garantir la qualité, la sécurité et l'exploitation des données.
Data Engineer Snowflake. TJM Max Confirmé (4ans+) = 430€ TJM Max Senior(7ans+) = 480€ Client : Transport Localisation : Issy les Moulineaux (3j sur site, 2j en TT) Démarrage : ASAP Durée : 3 mois renouvelable Dans le cadre de l'évolution du DataHub vers une architecture Data Lakehouse, le client engage une bascule progressive depuis une architecture BI classique (ETL Talend, DWH centralisé) vers un modèle cible de type Lakehouse. Cette trajectoire inclut la migration des flux existants, la mise en place de nouvelles zones data (Landing Zone, Data Lake, Datamarts, Data Products) et le décommissionnement de Talend. Le/la Data Engineer intervient sous la responsabilité du Responsable de l'équipe technique et en appui du Techlead sur le projet de bascule Lakehouse. Son périmètre couvre à la fois la contribution au projet de décommissionnement Talend et de nouvelle architecture Snowflake, la réalisation de projets et demandes évolutives sur le périmètre data existant, ainsi que le traitement des incidents et le support au Run. Compétences obligatoires : Snowflake : connaissance solide de l'environnement, langages et outils associés : SQL, Snowpipe, Snowpark, RBAC, supervision, Python, SQL avancé … etc Terraform : expérience confirmée Talend : connaissance de l'outil ou à défaut un ETL équivalent dans le cadre de la bascule de l'ETL vers l'ELT ou la gestion de la maintenance évolutive et corrective en parallèle Compétences appréciées : Power BI Expérience Data Lakehouse / Data Mesh AWS (Lambda, services serverless) Livrables attendus Inventaire et documentation des jobs Talend repris Pipelines Snowflake industrialisés issus de la migration Talend Modèles Lakehouse documentés Contribution à la stratégie de migration et de décommissionnement Talend Développements réalisés sur les projets et demandes évolutives traités Suivi et documentation des incidents traités (analyse de cause racine, correctifs)
Mission : -Architecture & Développement : Concevoir et développer les pipelines d'ingestion/traitement, les briques de normalisation et les API d'exposition des données. -Core Framework : Faire évoluer le framework commun (CI/CD, monitoring, tests automatisés, résilience, performance, qualité de code). -Leadership technique : Piloter des chantiers de dev, challenger les besoins métiers, faire respecter les standards d'architecture et coacher l'équipe. Stack & Compétences requises : -Software Engineering : Excellente maîtrise de Python (POO, modularisation, clean code), Git & Git Flow. -Big Data & Performance : Spark, Glue, Parquet, S3, HDFS, SQL avancé. Expertise en optimisation (partitionnement, bucketing, cache, tuning Spark/SQL). -Cloud AWS : S3, Lambda, Glue, IAM, EventBridge, CloudWatch. -DevOps & IaC : Pratiques CI/CD robustes et Infrastructure as Code. (Important : Vous devez maîtriser au moins 2 à 3 des domaines techniques clés ci-dessus). -Lieu : Hauts-de-Seine (92) / Île-de-France. -Déplacements : Ponctuels à prévoir en France (Lyon) et en Belgique (Bruxelles). -Spécificité : Astreintes possibles.
VOS MISSIONS • Concevoir et développer les composants d'ingestion, de traitement, de normalisation et de distribution des données. • Construire et améliorer le framework commun, notamment le monitoring, la CI/CD, les tests, la performance, la résilience et la qualité du code. • Recueillir, comprendre, challenger et affiner les besoins métiers. • Concevoir des solutions conformes aux directives d'architecture et aux standards internes du Groupe. • Piloter les activités de développement et contribuer en qualité de profil senior / expert. • Identifier les goulots d'étranglement et les anomalies, puis proposer des solutions d'amélioration continue. • Livrer des services prêts pour la production, avec les outils de supervision et d'alerte associés. • Rédiger et maintenir la documentation technique en anglais, et accompagner les déploiements dans différents pays.
L'équipe Data Craft recherche un Data & Analytics Engineer expérimenté pour contribuer à la conception, l'évolution et l'automatisation des chaînes de traitement de données au sein de l'écosystème Data, sous la coordination du responsable de l'équipe Data Craft. Mission et compétences requises Mission : construire des pipelines d'ingestion et de transformation de données complexes et/ou volumineuses afin de mettre à disposition des tables à destination des utilisateurs de la Self-BI, qui les exploiteront dans Power BI. La mission ne porte pas sur l'utilisation de Power BI ni sur la création de rapports. Le titulaire devra respecter les principes d'urbanisme de la Data Platform (conventions de nommage, nomenclature, ségrégation des droits et des environnements…) et implémenter efficacement les bonnes pratiques Snowflake et SQL pour exploiter des données volumineuses (jusqu'à des dizaines de milliards de lignes) : expressions régulières, agrégations et fenêtrages, opérations géospatiales, opérations statistiques…
Nous recherchons un Data Engineer expérimenté pour rejoindre une équipe data au sein d'un grand groupe du secteur marketing et de la transformation numérique. Vous piloterez l'architecture et l'implémentation de la plateforme PCS, en exploitant la puissance de Google Cloud Platform et les technologies de traitement en temps réel. Vous serez en charge de concevoir et de maintenir des architectures robustes de traitement de données temps réel, en assurant la scalabilité, la fiabilité et la performance des pipelines de données. Votre expertise technique et votre capacité à guider les décisions architecturales seront essentielles pour garantir l'alignement avec les objectifs métier et les meilleures pratiques du secteur. Vous travaillerez en environnement Agile/Scrum, en collaboration étroite avec les équipes de développement et les stakeholders. Responsabilités : - Concevoir et implémenter des architectures de traitement temps réel utilisant Apache Beam, Spark Streaming, Flink ou technologies équivalentes - Piloter les décisions architecturales et techniques pour la plateforme PCS - Développer et optimiser des pipelines de données robustes sur GCP (BigQuery, Dataflow, Dataproc, Bigtable) - Garantir la qualité, la scalabilité et la performance des solutions data - Collaborer avec les équipes multidisciplinaires dans un environnement multiculturel - Documenter les architectures et les décisions techniques - Participer aux ateliers de conception et aux revues de code - Mentorer les membres juniors de l'équipe sur les bonnes pratiques Télétravail : 2 jours par semaine Localisation : Valbonne
Rejoignez l'équipe BI dédiée aux ressources humaines d'un grand groupe, au sein d'une équipe de 5 personnes, pour contribuer à la modernisation de son infrastructure données en migration vers le cloud. Vous participerez à la conception, la maintenance et l'évolution de pipelines de données critiques, tout en pilotant la transition technologique vers une architecture cloud native. Vous serez responsable du développement et de la maintenance des chaînes de traitement de données relatives aux ressources humaines, couvrant des domaines tels que la gestion administrative, la gestion du temps d'activité, la formation et l'évolution professionnelle. Votre mission comprendra l'intégration de données depuis diverses sources, la création de modèles sémantiques robustes, et la garantie de la qualité et de la performance des données exposées aux utilisateurs métier. L'environnement technique combine une infrastructure BI traditionnelle (Business Objects, Informatica, Spotfire, Teradata) avec une migration progressive vers Google Cloud Platform (GCP). Vous travaillerez avec Dataform pour l'orchestration des transformations, BigQuery comme entrepôt de données cloud, et des outils de visualisation modernes. L'équipe fonctionne en méthode Agile et vous intégrerez un collectif axé sur la collaboration, la qualité et l'innovation. Responsabilités : - Concevoir, développer et optimiser des pipelines de données ETL/ELT utilisant Informatica Powercenter et Dataform, garantissant performance et fiabilité - Créer et maintenir des modèles sémantiques Power BI pour l'analyse des données RH, en collaboration étroite avec les utilisateurs métier - Développer et faire évoluer des univers Business Objects et des applications Tibco Spotfire selon les besoins analytiques - Gérer les données dans BigQuery et Teradata, optimiser les requêtes SQL complexes et assurer la performance des traitements - Participer à la migration progressive des processus BI de l'environnement traditionnel vers GCP, en utilisant Cloud Workflows et Cloud Functions - Mettre en place et maintenir les procédures de monitoring et d'alerte des flux de données, assurant la continuité de service - Documenter les architectures de données, les processus et les procédures opérationnelles - Collaborer avec les équipes métier RH pour collecter les besoins et traduire les demandes en solutions techniques Télétravail : 2 jours par semaine Localisation : Toulouse
Bonjour à tous 😀 Contexte de la mission : Nous recherchons un Data Engineer capable d'intervenir en autonomie sur l'ensemble du cycle de vie des pipelines de données de notre client! Missions principales : Concevoir, développer et maintenir des pipelines de données de bout en bout. Assurer l'ingestion, la transformation et la modélisation des données. Développer des traitements en Python / SQL / dbt. Orchestrer les flux de données avec Airflow. Garantir la qualité des données à travers les tests, la documentation et les bonnes pratiques de développement. Participer à l'amélioration continue de la plateforme Data Foundation. Collaborer avec les équipes techniques et métiers dans un environnement international. Environnement technique : Python | SQL | dbt | Airflow | Snowflake | GitLab | CI/CD | Tableau Informations pratiques : Localisation : Île-de-France Démarrage : 19 ou 26 octobre 2026 Durée : Mission longue Télétravail : À confirmer Déplacements / astreintes : Aucun Profil cible : Data Engineer Senior / Data Engineer Python-dbt / Analytics Engineer avec une forte dimension Engineering. Mots-clés sourcing : Data Engineer, Senior Data Engineer, Python, SQL, dbt, Airflow, Snowflake, Data Foundation, Data Platform, Analytics Engineer.
Intitulé : Data Engineer Senior IA (H/F) Expérience : +7 ans minimum Mode de travail : Hybride Localisation : Île-de-France Démarrage : ASAP Secteur : Services financiers Environnement : AWS, Spark, Python, SQL, DataOps, Gouvernance Data, CI/CD ContexteDans le cadre de l'accélération de sa stratégie Data, un grand groupe du secteur des services financiers recherche un(e) Data Engineer Senior pour rejoindre sa Direction Data & IA. Vous interviendrez au sein d'une équipe en charge de la conception, de l'industrialisation et de l'exploitation des plateformes de données destinées à soutenir les enjeux métiers, réglementaires et analytiques de l'entreprise. Votre rôle consistera à concevoir des architectures Data robustes, piloter l'industrialisation des pipelines de données et garantir la qualité, la gouvernance et la valorisation des données à grande échelle. Missions principalesPilotage des projets DataGérer un portefeuille de projets Data couvrant l'ensemble du cycle de vie de la donnée : ingestion, transformation, exposition et gouvernance. Accompagner les métiers dans l'identification et la formalisation de leurs besoins Data. Traduire les besoins fonctionnels, techniques et réglementaires en solutions concrètes et industrialisables. Être le référent technique Data auprès des chefs de projet, architectes, développeurs, data analysts, data scientists et parties prenantes métier. Piloter les choix techniques et garantir leur cohérence avec les standards de l'entreprise. Conception et développement des pipelines DataConcevoir, développer et maintenir des pipelines d'ingestion de données : Batch APIs Flux programmés Chargements de fichiers Développer des traitements ETL / ELT alimentant un Data Lake et des plateformes analytiques. Mettre en œuvre les bonnes pratiques de modélisation des données. Garantir la performance, la qualité, la résilience et la maintenabilité des traitements. Assurer l'industrialisation complète des développements réalisés. Challenger les choix techniques et méthodologiques proposés par les autres membres de l'équipe. Architecture Data et IndustrialisationConcevoir des architectures Data modernes, modulaires et évolutives. Définir et appliquer les principes DataOps : Automatisation Versionning CI/CD Reproductibilité Observabilité Favoriser la mutualisation et la réutilisation des composants existants avant tout nouveau développement. Construire et maintenir : Pipelines ETL / ELT Chaînes CI/CD APIs de diffusion de données Mécanismes de monitoring et d'alerting Collaborer avec les équipes Data, Cloud et IA afin d'harmoniser les pratiques et accélérer les déploiements. Gouvernance, qualité et conformité des donnéesDéfinir et promouvoir les standards de développement Data. Garantir la qualité, la traçabilité et la conformité des données. Structurer les pratiques autour de : Git et workflows de développement Tests automatisés Documentation Data Catalog Métadonnées Lignage des données Infrastructure as Code Réaliser des audits techniques des pipelines et jeux de données. Assurer la conformité des solutions avec les exigences réglementaires et les politiques internes de gouvernance. Garantir la reproductibilité attendue lors des contrôles et audits. Leadership technique et accompagnementEncadrer et accompagner les Data Engineers juniors et intermédiaires. Participer à la montée en compétences de l'équipe. Assurer un rôle de mentor et de référent technique. Vulgariser les enjeux Data auprès des utilisateurs métiers. Participer aux revues d'architecture et aux processus de validation technique. Contribuer à la diffusion des bonnes pratiques Data et DataOps. Innovation et veille technologiqueRéaliser une veille active sur les technologies Data, Cloud et IA. Identifier les opportunités d'amélioration des plateformes existantes. Proposer des solutions innovantes répondant aux enjeux métiers. Anticiper les évolutions réglementaires et les enjeux liés à la qualité, la gouvernance et la souveraineté des données.
Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire. L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code. Vous intervenez sur le périmètre du financement du commerce international (trade finance). Vos principales missions : Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg). Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe. Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production. Préparer l'ordonnancement Control-M avec l'équipe de production applicative. Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy. Ce que la mission vous apporte : Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans. Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants. Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.
Contexte de la mission Au sein de la DSI France, le département SI METIER & DATA souhaite renforcer sa capacitée à réaliser des projets Data. Au sein de l'équipe Data et de l'équipe projet, le Data Engineer réalise les intégrations de données, les traitements et les reportings dans PALANTIR Foundry. Il propose et recherche les meilleurs solutions techniques en collaboration avec l'équipe projet et participe au suivi quotidien des flux de données. Le projet concerne en particulier le traitement de données de consommations IT. Objectifs et livrables Comprendre les besoins métier et faire les investigations nécessaires pour une réalisation optimale Concevoir et réaliser les développements et configurations dans Palantir Documenter les réalisation, présenter le résultat et participer aux recettes Intégrer l'équipe BI, travailler en collaboration avec tous les membres et participer à la communité technique. Participer au suivi quotidien des applications Pour cette mission, l'expertise et les compétences attendues sont : · Manipulation et traitement des données : Python · Création de dashboard et fonction d'affichage (JavaScript/TypeScript) · Cloud, Base de données, stockage, automatisation · Framework SPARK · Manipulation d'APIs, etc... · Outil de versionning (GIT) · Comprendre la structure des bases de données mises en place (architecture en étoile, relation 1-N ou N-N..) · Methode Agile / Jira · Connaissance de PALANTIR serait un plus · Anglais : niveau professionnel · Outils bureautique : intermédiaire ou expert (faire un CR, une présentation,…) Compétences demandéesCompétencesNiveau de compétence JIRA / Agile Confirmé Data Engineering Expert AI-assisted development Confirmé Python/pyspark Expert LanguesNiveau de langue Anglais Courant
Missions : -Administration & Administration Databricks : Administrer, surveiller et maintenir les espaces de travail Databricks du CoE. -Standards & Industrialisation : Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. -Accompagnement & Enablement : Accompagner les équipes métiers et Data dans l'adoption de l'écosystème Databricks et leur conformité avec les politiques groupe. -Delivery : Contribuer directement à la conception et la réalisation de use cases stratégiques portés par les différentes entités. -Veille & Innovation : Tester, évaluer et recommander les nouvelles fonctionnalités Databricks et outils partenaires pour améliorer la plateforme. Télétravail : 3 jours par semaine (2 jours sur site).
Contexte de la missionNous cherchons un candidat capable de s'adapter à l'environnement technique du département Service & Données et aux pratiques de l'équipe qu'il va rejoindre : • Qui saura travailler de manière autonome • Disposant d'un bon sens de l'organisation et de la rigueur • Qui saura synthétiser ses travaux pour communiquer efficacement à ses commanditaires Objectifs et livrablesActivité principale A ce titre, le profil sera amené à assurer les activités suivantes : • Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données • Conception et développement de traitements de données • Réalisation d'études statistiques • Présentation de résultats sous la forme de rapports d'étude ou de tableaux de bord • Diffusion et vulgarisation des résultats d'études Le consultant sera également attendu sur les compétences suivantes : • Lien entre la partie métier et la partie data science • Conception fonctionnelle du besoin métier au sein d'un SI • Préparer et participer aux ateliers avec le métier et ses représentants utilisateurs Activité secondaire o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites
Nous recherchons un(e) Data Engineer H/F en CDI à Lyon capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : 9qqln2qz3p
Dans le cadre d'un projet stratégique autour de la valorisation des données monétiques, nous recherchons un Data Engineer Senior / Expert pour participer à la conception, au développement et à l'industrialisation de pipelines de données sur Google Cloud Platform (GCP). La mission consiste à assurer l'ingestion, la validation, le croisement, l'enrichissement et le stockage de données issues de sources multiples au sein d'un Data Lake, ainsi qu'à automatiser la production d'agrégats journaliers, hebdomadaires et mensuels. Le consultant interviendra sur le développement et l'optimisation des traitements Big Data, la mise en place des chaînes CI/CD, l'automatisation des tests fonctionnels, la production des scripts de déploiement et la résolution des anomalies. Il contribuera également à la documentation technique, au maintien en conditions opérationnelles des solutions et à l'accompagnement des équipes d'exploitation, dans un environnement Cloud et Big Data exigeant, en collaboration avec les équipes techniques, les Product Owners et les chefs de projet, selon les méthodologies Agile Scrum et Kanban.
