Missions : -Administration & Administration Databricks : Administrer, surveiller et maintenir les espaces de travail Databricks du CoE. -Standards & Industrialisation : Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. -Accompagnement & Enablement : Accompagner les équipes métiers et Data dans l'adoption de l'écosystème Databricks et leur conformité avec les politiques groupe. -Delivery : Contribuer directement à la conception et la réalisation de use cases stratégiques portés par les différentes entités. -Veille & Innovation : Tester, évaluer et recommander les nouvelles fonctionnalités Databricks et outils partenaires pour améliorer la plateforme. Télétravail : 3 jours par semaine (2 jours sur site).
Mission : -Architecture & Développement : Concevoir et développer les pipelines d'ingestion/traitement, les briques de normalisation et les API d'exposition des données. -Core Framework : Faire évoluer le framework commun (CI/CD, monitoring, tests automatisés, résilience, performance, qualité de code). -Leadership technique : Piloter des chantiers de dev, challenger les besoins métiers, faire respecter les standards d'architecture et coacher l'équipe. Stack & Compétences requises : -Software Engineering : Excellente maîtrise de Python (POO, modularisation, clean code), Git & Git Flow. -Big Data & Performance : Spark, Glue, Parquet, S3, HDFS, SQL avancé. Expertise en optimisation (partitionnement, bucketing, cache, tuning Spark/SQL). -Cloud AWS : S3, Lambda, Glue, IAM, EventBridge, CloudWatch. -DevOps & IaC : Pratiques CI/CD robustes et Infrastructure as Code. (Important : Vous devez maîtriser au moins 2 à 3 des domaines techniques clés ci-dessus). -Lieu : Hauts-de-Seine (92) / Île-de-France. -Déplacements : Ponctuels à prévoir en France (Lyon) et en Belgique (Bruxelles). -Spécificité : Astreintes possibles.
Le contexteUn acteur majeur du secteur du voyage et de la distribution lance un nouveau projet stratégique : la construction d'un moteur de recommandation et de personnalisation destiné à proposer en temps réel, à chaque client, les offres et produits les plus pertinents selon son profil. Vous êtes le premier profil technique recruté pour poser les fondations d'une nouvelle équipe Data Engineering qui s'étoffera progressivement. Tout est à construire : l'architecture a été esquissée mais reste entièrement challengeable. Votre rôle : concevoir et bâtir de zéro la plateforme de données en streaming qui alimentera les équipes Data Science et Produit. Vos missionsConcevoir et construire from scratch le pipeline de données en streaming qui alimentera les modèles de recommandation et de personnalisation. Mettre à disposition les données en temps réel pour les équipes Data Science et les produits, avec une contrainte métier forte : un temps de réponse de l'ordre de 3 secondes entre la recherche du client et la recommandation affichée. Définir et challenger les choix d'architecture (event-driven), clarifier la stack par rapport au cadrage initial. Gérer également une partie batch pour enrichir l'historique et les profils clients. Accompagner la montée en puissance de l'équipe et jouer un rôle de référent technique. Compétences techniques requisesStreaming & temps réel (critique) Maîtrise approfondie des concepts de streaming : gestion du fenêtrage (windowing), traitement temps réel, garanties de livraison, au-delà du seul outil Kafka. Expérience solide d'une architecture event-driven. Cloud & traitement Expertise Google Cloud Platform (BigQuery notamment). Python comme langage principal. Aisance sur les pipelines batch pour l'enrichissement de données historiques. Pratiques d'ingénierie Infrastructure as Code (Terraform), CI/CD, bonnes pratiques de qualité et de documentation.
🔎 Contexte de la mission Dans le cadre d'un programme de transformation Data et de migration d'un Data Warehouse historique vers Google Cloud Platform (GCP), nous recherchons un Data Engineer senior pour accompagner la conception, le développement et l'industrialisation de Data Products à destination de différents domaines métiers : Achats, RH, Finance, Opérations, etc. Vous intégrerez une équipe Data agile et contribuerez à la modernisation de la plateforme Data, à la migration des flux existants et à la mise en place de solutions performantes, fiables et industrialisées. 🛠️ Vos principales missions ✅ Concevoir, développer et maintenir les flux de données entre différents systèmes. ✅ Participer à la migration des flux existants vers GCP. ✅ Construire et optimiser les modèles de données sous BigQuery. ✅ Mettre en œuvre des contrôles qualité et renforcer la fiabilité des données. ✅ Automatiser les déploiements et industrialiser les traitements Data. ✅ Contribuer à l'architecture Data en collaboration avec les Data Architects. ✅ Participer aux enjeux de Data Governance, Master Data Management (MDM) et de référentiels de données. ✅ Collaborer avec les Data Stewards et les Data Scientists pour garantir la qualité, la sécurité et l'exploitation des données.
VOS MISSIONS • Concevoir et développer les composants d'ingestion, de traitement, de normalisation et de distribution des données. • Construire et améliorer le framework commun, notamment le monitoring, la CI/CD, les tests, la performance, la résilience et la qualité du code. • Recueillir, comprendre, challenger et affiner les besoins métiers. • Concevoir des solutions conformes aux directives d'architecture et aux standards internes du Groupe. • Piloter les activités de développement et contribuer en qualité de profil senior / expert. • Identifier les goulots d'étranglement et les anomalies, puis proposer des solutions d'amélioration continue. • Livrer des services prêts pour la production, avec les outils de supervision et d'alerte associés. • Rédiger et maintenir la documentation technique en anglais, et accompagner les déploiements dans différents pays.
Contexte de la mission Au sein de la DSI France, le département SI METIER & DATA souhaite renforcer sa capacitée à réaliser des projets Data. Au sein de l'équipe Data et de l'équipe projet, le Data Engineer réalise les intégrations de données, les traitements et les reportings dans PALANTIR Foundry. Il propose et recherche les meilleurs solutions techniques en collaboration avec l'équipe projet et participe au suivi quotidien des flux de données. Le projet concerne en particulier le traitement de données de consommations IT. Objectifs et livrables Comprendre les besoins métier et faire les investigations nécessaires pour une réalisation optimale Concevoir et réaliser les développements et configurations dans Palantir Documenter les réalisation, présenter le résultat et participer aux recettes Intégrer l'équipe BI, travailler en collaboration avec tous les membres et participer à la communité technique. Participer au suivi quotidien des applications Pour cette mission, l'expertise et les compétences attendues sont : · Manipulation et traitement des données : Python · Création de dashboard et fonction d'affichage (JavaScript/TypeScript) · Cloud, Base de données, stockage, automatisation · Framework SPARK · Manipulation d'APIs, etc... · Outil de versionning (GIT) · Comprendre la structure des bases de données mises en place (architecture en étoile, relation 1-N ou N-N..) · Methode Agile / Jira · Connaissance de PALANTIR serait un plus · Anglais : niveau professionnel · Outils bureautique : intermédiaire ou expert (faire un CR, une présentation,…) Compétences demandéesCompétencesNiveau de compétence JIRA / Agile Confirmé Data Engineering Expert AI-assisted development Confirmé Python/pyspark Expert LanguesNiveau de langue Anglais Courant
Contexte de la missionNous cherchons un candidat capable de s'adapter à l'environnement technique du département Service & Données et aux pratiques de l'équipe qu'il va rejoindre : • Qui saura travailler de manière autonome • Disposant d'un bon sens de l'organisation et de la rigueur • Qui saura synthétiser ses travaux pour communiquer efficacement à ses commanditaires Objectifs et livrablesActivité principale A ce titre, le profil sera amené à assurer les activités suivantes : • Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données • Conception et développement de traitements de données • Réalisation d'études statistiques • Présentation de résultats sous la forme de rapports d'étude ou de tableaux de bord • Diffusion et vulgarisation des résultats d'études Le consultant sera également attendu sur les compétences suivantes : • Lien entre la partie métier et la partie data science • Conception fonctionnelle du besoin métier au sein d'un SI • Préparer et participer aux ateliers avec le métier et ses représentants utilisateurs Activité secondaire o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites
L'équipe Data Craft recherche un Data & Analytics Engineer expérimenté pour contribuer à la conception, l'évolution et l'automatisation des chaînes de traitement de données au sein de l'écosystème Data, sous la coordination du responsable de l'équipe Data Craft. Mission et compétences requises Mission : construire des pipelines d'ingestion et de transformation de données complexes et/ou volumineuses afin de mettre à disposition des tables à destination des utilisateurs de la Self-BI, qui les exploiteront dans Power BI. La mission ne porte pas sur l'utilisation de Power BI ni sur la création de rapports. Le titulaire devra respecter les principes d'urbanisme de la Data Platform (conventions de nommage, nomenclature, ségrégation des droits et des environnements…) et implémenter efficacement les bonnes pratiques Snowflake et SQL pour exploiter des données volumineuses (jusqu'à des dizaines de milliards de lignes) : expressions régulières, agrégations et fenêtrages, opérations géospatiales, opérations statistiques…
Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire. L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code. Vous intervenez sur le périmètre du financement du commerce international (trade finance). Vos principales missions : Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg). Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe. Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production. Préparer l'ordonnancement Control-M avec l'équipe de production applicative. Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy. Ce que la mission vous apporte : Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans. Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants. Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.
Nous recherchons un Data Engineer expérimenté pour rejoindre une équipe data au sein d'un grand groupe du secteur marketing et de la transformation numérique. Vous piloterez l'architecture et l'implémentation de la plateforme PCS, en exploitant la puissance de Google Cloud Platform et les technologies de traitement en temps réel. Vous serez en charge de concevoir et de maintenir des architectures robustes de traitement de données temps réel, en assurant la scalabilité, la fiabilité et la performance des pipelines de données. Votre expertise technique et votre capacité à guider les décisions architecturales seront essentielles pour garantir l'alignement avec les objectifs métier et les meilleures pratiques du secteur. Vous travaillerez en environnement Agile/Scrum, en collaboration étroite avec les équipes de développement et les stakeholders. Responsabilités : - Concevoir et implémenter des architectures de traitement temps réel utilisant Apache Beam, Spark Streaming, Flink ou technologies équivalentes - Piloter les décisions architecturales et techniques pour la plateforme PCS - Développer et optimiser des pipelines de données robustes sur GCP (BigQuery, Dataflow, Dataproc, Bigtable) - Garantir la qualité, la scalabilité et la performance des solutions data - Collaborer avec les équipes multidisciplinaires dans un environnement multiculturel - Documenter les architectures et les décisions techniques - Participer aux ateliers de conception et aux revues de code - Mentorer les membres juniors de l'équipe sur les bonnes pratiques Télétravail : 2 jours par semaine Localisation : Valbonne
Rejoignez l'équipe BI dédiée aux ressources humaines d'un grand groupe, au sein d'une équipe de 5 personnes, pour contribuer à la modernisation de son infrastructure données en migration vers le cloud. Vous participerez à la conception, la maintenance et l'évolution de pipelines de données critiques, tout en pilotant la transition technologique vers une architecture cloud native. Vous serez responsable du développement et de la maintenance des chaînes de traitement de données relatives aux ressources humaines, couvrant des domaines tels que la gestion administrative, la gestion du temps d'activité, la formation et l'évolution professionnelle. Votre mission comprendra l'intégration de données depuis diverses sources, la création de modèles sémantiques robustes, et la garantie de la qualité et de la performance des données exposées aux utilisateurs métier. L'environnement technique combine une infrastructure BI traditionnelle (Business Objects, Informatica, Spotfire, Teradata) avec une migration progressive vers Google Cloud Platform (GCP). Vous travaillerez avec Dataform pour l'orchestration des transformations, BigQuery comme entrepôt de données cloud, et des outils de visualisation modernes. L'équipe fonctionne en méthode Agile et vous intégrerez un collectif axé sur la collaboration, la qualité et l'innovation. Responsabilités : - Concevoir, développer et optimiser des pipelines de données ETL/ELT utilisant Informatica Powercenter et Dataform, garantissant performance et fiabilité - Créer et maintenir des modèles sémantiques Power BI pour l'analyse des données RH, en collaboration étroite avec les utilisateurs métier - Développer et faire évoluer des univers Business Objects et des applications Tibco Spotfire selon les besoins analytiques - Gérer les données dans BigQuery et Teradata, optimiser les requêtes SQL complexes et assurer la performance des traitements - Participer à la migration progressive des processus BI de l'environnement traditionnel vers GCP, en utilisant Cloud Workflows et Cloud Functions - Mettre en place et maintenir les procédures de monitoring et d'alerte des flux de données, assurant la continuité de service - Documenter les architectures de données, les processus et les procédures opérationnelles - Collaborer avec les équipes métier RH pour collecter les besoins et traduire les demandes en solutions techniques Télétravail : 2 jours par semaine Localisation : Toulouse
Bonjour à tous 😀 Contexte de la mission : Nous recherchons un Data Engineer capable d'intervenir en autonomie sur l'ensemble du cycle de vie des pipelines de données de notre client! Missions principales : Concevoir, développer et maintenir des pipelines de données de bout en bout. Assurer l'ingestion, la transformation et la modélisation des données. Développer des traitements en Python / SQL / dbt. Orchestrer les flux de données avec Airflow. Garantir la qualité des données à travers les tests, la documentation et les bonnes pratiques de développement. Participer à l'amélioration continue de la plateforme Data Foundation. Collaborer avec les équipes techniques et métiers dans un environnement international. Environnement technique : Python | SQL | dbt | Airflow | Snowflake | GitLab | CI/CD | Tableau Informations pratiques : Localisation : Île-de-France Démarrage : 19 ou 26 octobre 2026 Durée : Mission longue Télétravail : À confirmer Déplacements / astreintes : Aucun Profil cible : Data Engineer Senior / Data Engineer Python-dbt / Analytics Engineer avec une forte dimension Engineering. Mots-clés sourcing : Data Engineer, Senior Data Engineer, Python, SQL, dbt, Airflow, Snowflake, Data Foundation, Data Platform, Analytics Engineer.
Ta mission sera de Garantir la robustesse du data contract registry (Aurora + Python fastAPI) Monitorer et prendre des actions proactives de management Assurer le support et l'accompagnement tournant sur les outils de l'équipe (S3, Glue, Unity Catalog, data contract registry) Restituer dans le datalake les metadonnées de nos produits Accompagner et former Définir et promouvoir les bonnes pratiques proposées au sein de l'équipe Participer et conseiller lors de la conception des pipelines de données des équipes Développer le futur Gouvernance automatisée (Data contract registry, access management, metadata management) Etroite collaboration avec les staff engineer de la plateforme pour le développement de nouvelle features (ADR)
Intitulé : Data Engineer Senior IA (H/F) Expérience : +7 ans minimum Mode de travail : Hybride Localisation : Île-de-France Démarrage : ASAP Secteur : Services financiers Environnement : AWS, Spark, Python, SQL, DataOps, Gouvernance Data, CI/CD ContexteDans le cadre de l'accélération de sa stratégie Data, un grand groupe du secteur des services financiers recherche un(e) Data Engineer Senior pour rejoindre sa Direction Data & IA. Vous interviendrez au sein d'une équipe en charge de la conception, de l'industrialisation et de l'exploitation des plateformes de données destinées à soutenir les enjeux métiers, réglementaires et analytiques de l'entreprise. Votre rôle consistera à concevoir des architectures Data robustes, piloter l'industrialisation des pipelines de données et garantir la qualité, la gouvernance et la valorisation des données à grande échelle. Missions principalesPilotage des projets DataGérer un portefeuille de projets Data couvrant l'ensemble du cycle de vie de la donnée : ingestion, transformation, exposition et gouvernance. Accompagner les métiers dans l'identification et la formalisation de leurs besoins Data. Traduire les besoins fonctionnels, techniques et réglementaires en solutions concrètes et industrialisables. Être le référent technique Data auprès des chefs de projet, architectes, développeurs, data analysts, data scientists et parties prenantes métier. Piloter les choix techniques et garantir leur cohérence avec les standards de l'entreprise. Conception et développement des pipelines DataConcevoir, développer et maintenir des pipelines d'ingestion de données : Batch APIs Flux programmés Chargements de fichiers Développer des traitements ETL / ELT alimentant un Data Lake et des plateformes analytiques. Mettre en œuvre les bonnes pratiques de modélisation des données. Garantir la performance, la qualité, la résilience et la maintenabilité des traitements. Assurer l'industrialisation complète des développements réalisés. Challenger les choix techniques et méthodologiques proposés par les autres membres de l'équipe. Architecture Data et IndustrialisationConcevoir des architectures Data modernes, modulaires et évolutives. Définir et appliquer les principes DataOps : Automatisation Versionning CI/CD Reproductibilité Observabilité Favoriser la mutualisation et la réutilisation des composants existants avant tout nouveau développement. Construire et maintenir : Pipelines ETL / ELT Chaînes CI/CD APIs de diffusion de données Mécanismes de monitoring et d'alerting Collaborer avec les équipes Data, Cloud et IA afin d'harmoniser les pratiques et accélérer les déploiements. Gouvernance, qualité et conformité des donnéesDéfinir et promouvoir les standards de développement Data. Garantir la qualité, la traçabilité et la conformité des données. Structurer les pratiques autour de : Git et workflows de développement Tests automatisés Documentation Data Catalog Métadonnées Lignage des données Infrastructure as Code Réaliser des audits techniques des pipelines et jeux de données. Assurer la conformité des solutions avec les exigences réglementaires et les politiques internes de gouvernance. Garantir la reproductibilité attendue lors des contrôles et audits. Leadership technique et accompagnementEncadrer et accompagner les Data Engineers juniors et intermédiaires. Participer à la montée en compétences de l'équipe. Assurer un rôle de mentor et de référent technique. Vulgariser les enjeux Data auprès des utilisateurs métiers. Participer aux revues d'architecture et aux processus de validation technique. Contribuer à la diffusion des bonnes pratiques Data et DataOps. Innovation et veille technologiqueRéaliser une veille active sur les technologies Data, Cloud et IA. Identifier les opportunités d'amélioration des plateformes existantes. Proposer des solutions innovantes répondant aux enjeux métiers. Anticiper les évolutions réglementaires et les enjeux liés à la qualité, la gouvernance et la souveraineté des données.
Nous recherchons un(e) Data Engineer H/F en CDI à Lyon capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : 9qqln2qz3p
Une organisation structurée en réseau d'antennes locales migre ses données vers une nouvelle base CRM. Les imports sont en cours, antenne par antenne. Nous recherchons un(e) Data Engineer confirmé(e) pour reprendre le chantier, s'approprier rapidement l'existant et le faire avancer en autonomie. Descriptif de la mission S'approprier l'existant (modèle de données, scripts, imports réalisés, règles de normalisation) et dresser un état des lieux Proposer un plan d'action priorisé (lots, calendrier par antenne, risques), le faire valider par la DSI et le mettre en œuvre Concevoir et conduire les imports antenne par antenne : extraction, transformation, chargement, avec rejouabilité, rollback et traçabilité, sans altérer les sources Développer et fiabiliser les scripts et pipelines d'automatisation de la reprise Appliquer les règles de normalisation, de dédoublonnage et de cohérence, et suivre les indicateurs de qualité (complétude, doublons) Être l'interlocuteur direct des antennes : inventaire des données, jeux d'essai, explication pédagogique des anomalies, validation des résultats Produire le reporting d'avancement, alerter sur les risques, s'intégrer aux rituels agiles et travailler avec l'équipe de développement CRM
