Entité : XXXXXXXX, 2 à 3 jrs sur site Site : Haut de Seine TJM max : 500 euros Date de démarrage : 14/09/2026 Date de fin : 2028 Rôle Industrialiser et exploiter les composants Data et IA sur GCP. Missions Mise en place des environnements GCP Automatisation CI/CD Déploiement et exploitation Monitoring et supervision Gestion des accès et sécurité Compétences clés GCP Terraform Docker GitLab CI/CD IAM DevOps Profil senior attendu (+ 5/7 ans d'expérience) Data Engineer / DevOps confirmé Expertise GCP Culture Cloud & automatisation
Dans le cadre de notre croissance et de nos projets de transformation digitale, nous recherchons un(e) Senior Data Engineer pour accompagner nos clients dans la conception, le développement et l'industrialisation de plateformes Data modernes. Vous interviendrez sur des projets stratégiques autour des architectures Data Cloud, des plateformes Big Data, des traitements temps réel et de la valorisation des données, dans des environnements techniques exigeants et à forte volumétrie. En collaboration avec les Architectes Data, Data Scientists, Business Analysts, DevOps et équipes métiers, vous participerez à la conception de solutions robustes, évolutives et sécurisées répondant aux enjeux de performance et de gouvernance des données. Vos missionsEn tant que Senior Data Engineer, vous serez amené(e) à : Concevoir et développer des architectures Data évolutives et performantes. Développer, maintenir et optimiser des pipelines de données (ETL / ELT) en mode batch et streaming. Concevoir et exploiter des plateformes Data Lake, Data Warehouse et Lakehouse. Mettre en œuvre des solutions d'ingestion de données issues de multiples sources (API, bases de données, fichiers, IoT, événements temps réel). Développer des traitements distribués pour de forts volumes de données. Industrialiser les traitements Data grâce aux pratiques DevOps et DataOps. Concevoir les chaînes CI/CD des plateformes Data. Garantir la qualité, la traçabilité, la sécurité et la gouvernance des données. Optimiser les performances des traitements et les coûts d'exploitation des infrastructures Cloud (FinOps). Participer à la définition des architectures techniques et aux choix technologiques. Assurer le monitoring, l'observabilité et le support des plateformes Data. Produire la documentation technique et accompagner les équipes dans le partage des bonnes pratiques. Participer aux revues de code et contribuer à l'amélioration continue des plateformes. Selon les projets, vous pourrez également intervenir sur : la définition de référentiels techniques, l'accompagnement des équipes de développement, le mentorat de Data Engineers, ou l'évolution vers un rôle de Tech Lead ou de Data Architect.
Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD
📍 Contexte Société Générale recherche un Data Engineer / Expert Hadoop pour assurer l'administration, la maintenance et l'évolution de sa plateforme Big Data Cloudera CDP. La mission porte sur la fiabilité, la performance, les montées de version et l'automatisation de l'infrastructure Big Data. 🎯 Missions principales Administrer et maintenir les clusters Hadoop Cloudera CDP. Participer aux montées de version des composants Hadoop. Résoudre les incidents techniques complexes et intervenir en task force. Automatiser les déploiements, le patching et l'exploitation avec Ansible et Terraform/Terragrunt. Garantir la disponibilité, la performance et la sécurité de la plateforme. Gérer les changements (tests, rollback, mise en production). Collaborer avec Cloudera et les équipes internes. Rédiger la documentation technique. 🛠 Stack technique Big Data : Hadoop, Cloudera CDP 7.1.9, Spark Ingestion : Kafka, Apache NiFi Automatisation : Ansible, Terraform, Terragrunt, AWX Versioning / Scripting : Shell, Git, GitHub
Notre client, acteur majeur de la finance quantitative à Paris, renforce son équipe Data Reliability. Constituée il y a quatre ans et composée de 6 personnes (bientôt 7), cette équipe applique les principes du SRE au monde de la donnée : elle prend en charge l'ensemble des activités de support liées à la data afin de décharger les équipes de développement et de data engineering des problématiques de production. Environnement international (plus de 70 nationalités, bureaux à New York et Londres), pratiques de support structurées et process ITIL en place. Missions Assurer le support de production N2/N3 sur les domaines data : prise en charge des alertes et des incidents pendant le shift Paris, avec obligation de résultat Investiguer et résoudre les problèmes de qualité de données : données manquantes, valeurs fausses ou nulles, incohérences entre systèmes Explorer et analyser la donnée en Python (notebooks) et en SQL pour diagnostiquer les anomalies Développer et maintenir des scripts de monitoring en Python pour détecter les anomalies en amont Requêter la base Oracle centrale de l'écosystème (requêtes et jointures) ainsi que les autres sources de l'environnement hybride Faire remonter et documenter les problématiques de données récurrentes, contribuer à leur traitement à la source avec les équipes data engineering Contribuer aux pratiques de data reliability engineering de l'équipe : automatisation des tâches récurrentes, amélioration continue du monitoring et des procédures Interagir au quotidien avec les data engineers, les développeurs et les chercheurs quantitatifs, en français et en anglais
Vous souhaitez rejoindre un projet innovant dans le domaine de la data et travailler au sein d'un environnement dynamique ? Rejoignez Soors pour intervenir sur des missions de Data Engineering autour de technologies cloud et data avancées. Missions principales : - Participer à la rénovation des solutions data de la Supply Chain. - Intervenir en maîtrise d'œuvre DATA sur des développements de couche basse et des sujets Data as a Product (DaaP). - Concevoir, déployer et industrialiser des workflows complexes dans Dataiku. - Exploiter les services Google Cloud Platform, BigQuery et Cloud Storage pour construire des architectures performantes, robustes et sécurisées. - Optimiser les traitements et requêtes sur de gros volumes de données. - Automatiser les déploiements et mettre en œuvre les pratiques DevOps et CI/CD. - Identifier et résoudre les goulets d'étranglement, assurer la qualité des données exposées aux équipes métiers et aux outils de restitution BI. Environnement technique : - Dataiku, Google Cloud Platform, BigQuery, Cloud Storage, ETL, SQL, Python, Airflow, Docker, Kubernetes, DevOps, CI/CD. Collaboration et modalités : - Travail en équipe pluridisciplinaire, interaction avec les équipes métiers. - Mission basée à Eysines avec possibilité de télétravail partiel. - Autonomie et rigueur sont attendues dans la gestion des tâches fonctionnelles et techniques, ainsi qu'un bon esprit d'analyse et de synthèse.
Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum
Dans le cadre de l'évolution d'une plateforme Data Cloud stratégique, nous recherchons un Data Engineer Azure confirmé à expert, capable d'intervenir sur les enjeux de gouvernance, de partage et d'industrialisation de la donnée dans un environnement Azure Databricks. MissionsFaire évoluer une plateforme Data Lake existante sur Azure. Participer à l'intégration et au déploiement du Unity Catalog Databricks. Définir et mettre en œuvre les modèles de gouvernance et de gestion des accès aux données. Industrialiser les mécanismes de partage de données. Mettre à disposition les données sous forme de tables Delta Lake / Iceberg. Contribuer aux études techniques et aux Proofs of Concept (POC). Accompagner le déploiement d'un Data Lake gouverné. Compétences requisesIndispensables : Azure Databricks Unity Catalog Spark Data Engineering Azure GitHub Azure DevOps Gouvernance des données Architecture Data Lake Appréciées : Java JavaScript / TypeScript Formats Delta Lake et Iceberg Profil recherchéConsultant senior à expert Forte autonomie technique. Expérience significative sur des plateformes Data Cloud à grande échelle. Capacité à intervenir aussi bien sur les sujets d'architecture que de mise en œuvre opérationnelle. Excellentes capacités de communication et de collaboration avec les équipes Data et Infrastructure.
Vous êtes passionné(e) par les architectures Data Cloud et souhaitez intervenir sur des projets stratégiques autour de Snowflake ? Rejoignez une équipe d'experts et accompagnez nos clients dans la conception et l'optimisation de leurs plateformes de données. Vos missionsConcevoir et faire évoluer des solutions basées sur Snowflake. Développer et optimiser des pipelines de données (ELT/ETL). Garantir les performances, la sécurité et la gouvernance de la plateforme. Collaborer avec les équipes Data Engineering, BI et Architecture. Participer aux choix techniques et promouvoir les bonnes pratiques. Pourquoi rejoindre cette opportunité ?Des projets Data Cloud à fort impact. Un environnement technique stimulant. Des perspectives d'évolution et de montée en compétences. Une équipe passionnée et collaborative.
Contexte du poste Dans le cadre d'un projet de transformation majeur au sein d'un acteur de référence des télécommunications, nous recherchons un Expert ClickHouse / Data Engineer Senior en freelance. Vous rejoindrez une équipe en charge de la valorisation de la consommation télécom, qui traite d'importants volumes de données issus des CDR (traces de sessions). Au cœur de l'écosystème se trouve une plateforme ClickHouse, alimentée par des pipelines d'ingestion Kafka et associée à différents outils et scripts Python, SQL et dashboards Grafana. L'équipe engage aujourd'hui une transformation importante de son architecture avec l'objectif de faire évoluer en profondeur les modèles de données, les vues et les pipelines existants. Nous recherchons donc un profil disposant d'une véritable expertise ClickHouse en environnement de production, capable à la fois de prendre en main la plateforme, de la faire évoluer et de transmettre son expertise aux ingénieurs de l'équipe. Missions Missions principales Reprendre en main la plateforme ClickHouse existante : configuration, ingestion, pipelines, schémas et dashboards Concevoir et faire évoluer les modèles de données ClickHouse Travailler sur les problématiques de MergeTree, partitionnement et vues matérialisées Optimiser les requêtes analytiques sur des volumes de données importants Participer à la refonte des pipelines dans le cadre de la transformation de l'architecture Maintenir et faire évoluer les pipelines développés en Python Participer à l'exploitation et à l'administration de ClickHouse Identifier et mettre en place les bonnes pratiques permettant de pérenniser la plateforme Mentorat & transmission La mission comporte une forte dimension de transfert de compétences. L'objectif n'est pas uniquement de disposer d'un expert capable de traiter les sujets ClickHouse, mais de permettre progressivement aux ingénieurs internes de devenir autonomes. Vous serez donc amené à : Accompagner techniquement les ingénieurs de l'équipe Partager les bonnes pratiques ClickHouse Documenter les choix d'architecture et d'exploitation Organiser des sessions de partage et de montée en compétence Éviter la création d'une dépendance technique autour de votre expertise Stack technique Compétences indispensables ClickHouse : expérience significative en production MergeTree Partitionnement Vues matérialisées Modélisation de données Optimisation de requêtes analytiques à forte volumétrie Exploitation et administration ClickHouse Python SQL Compétences appréciées Kafka – ingestion de données Grafana – dashboards et monitoring Superset – visualisation de données Environnement complémentaire C Lua
Vous rejoindrez notre équipe technique en charge de traiter et d'assurer le suivi de la production, de mettre en place les évolutions. Les projets concernées sont : BCR/IFRS9, calcul de provision IFRS9, Anadefi (données financières), outil de lutte contre le blanchiment et le financement du terrorisme, application de crédit pour la clientèle, outil de reporting réglementaire. Vos missions consisteront à contribuer: Suivre les Run de Production, Gérer les incidents dans le respect des délais, Traiter les tickets sous Jira pour la maintenance des applications, Rédiger les procédures de suivi de production, Mettre en oeuvre les demandes d'évolutions liés aux maintenances corrective
Vous rejoindrez notre équipe technique en charge de traiter et d'assurer le suivi de la production, de mettre en place les évolutions. Les projets concernées sont : BCR/IFRS9, calcul de provision IFRS9, Anadefi (données financières), outil de lutte contre le blanchiment et le financement du terrorisme, application de crédit pour la clientèle, outil de reporting réglementaire. Vos missions consisteront à contribuer: Suivre les Run de Production, Gérer les incidents dans le respect des délais, Traiter les tickets sous Jira pour la maintenance des applications, Rédiger les procédures de suivi de production, Mettre en oeuvre les demandes d'évolutions liés aux maintenances corrective
La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists. Vos principales missions consisteront à : - Mener les projets d'intégration (temps réel) et data (big data & insights) - Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists) - Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques - Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation) - Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles - Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation - Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures - Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données Toute activité en dehors de celles énumérées au titre des fonctions principales pourra être confiée au collaborateur dans le cadre de son activité en fonction de son évolution au sein du service et des besoins de l'entreprise.
Mission de l'équipe : Au sein de l'équipe Stress Testing and Data Analytics, la mission consiste à renforcer les capacités de développement et d'industrialisation des traitements de données utilisés dans les exercices de stress testing réglementaires. L'équipe est responsable de la collecte, de la structuration, de la transformation et de la mise à disposition des données nécessaires aux projections réglementaires, aux exercices de stress testing et aux productions associées. Dans le cadre de la préparation de l'EBA Stress Test 2027, le consultant interviendra sur le périmètre Credit Risk afin de contribuer à la fiabilisation des données, à l'automatisation des traitements et à la sécurisation des livrables réglementaires dans un environnement Big Data. La mission s'inscrit dans un contexte international impliquant une collaboration étroite avec les équipes Data, IT, Finance, Risque et Modèles. 1. Développement et industrialisation des traitements de données_ _L'équipe est responsable du développement, de l'évolution et de la maintenance des pipelines de données nécessaires aux exercices réglementaires. Elle conçoit des traitements robustes et industrialisés sous Dataiku DSS v14, en s'appuyant sur Python, PySpark et SQL, afin d'assurer la production de données fiables, reproductibles et auditables. Les traitements développés doivent répondre à des exigences élevées de qualité, de performance et de traçabilité conformément aux principes BCBS 239. 2. Intégration et contrôle de la qualité des données_ _L'équipe assure l'intégration de données provenant de différentes sources réglementaires et internes. Elle est responsable de la transformation des données, de la mise en œuvre des contrôles de qualité, des contrôles de cohérence ainsi que des rapprochements entre les différentes sources. Les écarts détectés doivent être analysés puis faire l'objet d'actions de remédiation afin de garantir la fiabilité des livrables réglementaires. 3. Contribution aux exercices réglementaires_ _L'équipe contribue directement à la construction du Credit Starting Point dans le cadre de l'EBA Stress Test 2027. Elle participe à la préparation des datasets réglementaires, à l'alimentation des templates attendus ainsi qu'à la sécurisation des différentes phases de production jusqu'aux livraisons. Une forte implication est attendue durant les périodes critiques de préparation, de validation, de re-run et de remédiation. 4. Documentation et traçabilité_ _L'équipe est responsable de la documentation technique et fonctionnelle des traitements développés. Elle garantit la traçabilité complète des données, des règles de transformation et des contrôles mis en œuvre afin de répondre aux exigences d'audit et de conformité réglementaire. Prestations demandées : La mission interviendra principalement sur les activités suivantes : Développer et maintenir les pipelines de données sous Dataiku DSS v14. Concevoir, optimiser et exécuter des traitements en Python, PySpark et SQL. Contribuer à la construction du Credit Starting Point dans le cadre de l'EBA Stress Test 2027. Intégrer, transformer et contrôler des données réglementaires et internes. Automatiser les contrôles de qualité et les contrôles de cohérence des données. Réaliser les analyses d'écarts et participer aux actions de remédiation. Produire une documentation technique et fonctionnelle des traitements développés. Garantir la traçabilité et l'auditabilité des données conformément aux principes BCBS 239. Collaborer avec les équipes Data, IT, Finance, Risque, Modèles et les différentes parties prenantes du programme. Participer aux phases de recette, validation, re-run et sécurisation des livrables réglementaires. Expertises : Data Engineering Dataiku DSS v14 Développement de pipelines de données Python PySpark SQL Big Data Data Quality Data Lineage Data Transformation Data Remediation Stress Testing BCBS 239
Rejoignez une grande entreprise du secteur automobile en tant que Lead Data Orchestration Engineer pour piloter l'optimisation et la sécurisation d'une plateforme d'orchestration Airflow critique. Vous piloterez une mission stratégique combinant expertise technique, architecture cloud et mentorat d'équipes dans un environnement à fort enjeu de continuité de service. Contexte de la mission Vous intégrez une équipe Data Platform au sein d'un groupe majeur du secteur automobile. La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données transactionnelles complexes à travers 9 pays européens. Suite à un audit technique approfondi ayant stabilisé les fondations, la mission porte désormais sur quatre axes stratégiques : optimisation architecturale et passage à l'échelle, sécurisation et résilience de bout en bout, évaluation et migration vers une infrastructure cible mieux adaptée, et montée en compétence progressive des équipes Dev et Ops. Environnement technique Plateforme actuelle : AWS MWAA avec SQS/SNS, Secrets Manager, CloudWatch et IAM ; plus de 200 DAGs en production avec DAG Factory dynamique existante. Méthodologie : approche Agile avec cycles d'optimisation, benchmarking technique et gestion de programme structurée. Périmètre : infrastructure multi-pays, multi-environnements (Dev/Ops séparés), avec enjeux forts de performance, coûts et conformité. Responsabilités : - Optimiser et faire évoluer l'architecture d'orchestration existante : enrichissement de la DAG Factory, migration vers les Datasets natifs Airflow, optimisation des performances au parse-time et runtime, mise en place de validation automatisée en CI/CD (parse test, linting, tests d'intégration) - Concevoir et implémenter une stratégie de sécurisation robuste : politique de rotation des secrets, routage d'alertes différencié par type et criticité, hardening réseau et configuration, patterns avancés de résilience (retry strategies, Dead Letter Queues, circuit breakers) - Piloter la phase d'étude et de benchmarking des alternatives à AWS MWAA (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, etc.) en regard des contraintes métier, puis élaborer une recommandation argumentée avec analyse coûts/bénéfices et plan de transition - Prendre en charge la migration vers l'infrastructure cible retenue, en garantissant continuité de service, POC validant et bascule progressive en production - Conduire le programme de formation et de montée en compétence des équipes (~10 personnes Dev et Ops), favoriser la constitution d'une méta-équipe plateforme unifiée, et accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps) - Concevoir et faire appliquer des standards techniques transverses : patterns de conception, conventions de code, processus de review et bonnes pratiques d'observabilité - Piloter le capacity planning, le tuning de...
Contexte de la mission : Dans le cadre d'un programme de transformation digitale et data, notre client recherche un(e) Senior Data Engineer afin de renforcer une équipe en charge du développement de produits data stratégiques au sein d'un Cloud Center of Excellence et d'un Digital Accelerator. La mission se déroule dans un environnement international et vise à concevoir, développer et faire évoluer une plateforme data ainsi que les produits associés, tout en contribuant à l'amélioration continue des pratiques d'ingénierie et d'industrialisation des données. Objectifs et livrables : Le/la consultant(e) aura pour principales missions de : · Concevoir, développer et maintenir des pipelines de données ETL/ELT. · Développer et industrialiser les traitements de transformation de données. · Concevoir et faire évoluer des Data Lakes, Data Warehouses, Data Marts et cubes de données. · Intégrer différentes sources de données (API, fichiers, traitements batch et temps réel). · Optimiser les performances des traitements et des requêtes SQL. · Mettre en œuvre les bonnes pratiques de développement, d'intégration et de déploiement. · Collaborer avec les équipes Produit, Data, Plateforme et Product Owners. · Participer aux phases de cadrage et de Data Discovery. · Mettre en place et maintenir les chaînes CI/CD dédiées aux workflows data. · Évoluer dans un environnement Agile. Livrables attendus : · Développement et déploiement des composants data. · Documentation technique et fonctionnelle. · Documentation des modèles de données. · Rapports d'audit et de contrôle qualité. · Rapports de tests d'acceptation. · Support technique et transfert de compétences. Compétences requises : · Solide expérience en Data Engineering. · Maîtrise des architectures ETL/ELT. · Excellente maîtrise de SQL. · Expérience sur Microsoft SQL Server (SSIS, SSAS, PBIRS). · Connaissance des architectures Data Warehouse et Data Lake. · Développement de pipelines de données. · Optimisation des performances (Performance Tuning). · Maîtrise d'outils ETL tels que Talend, Azure Data Factory (ADF) ou SSIS. · Expérience des chaînes CI/CD avec Azure DevOps ou GitLab. · Expérience en environnement Agile.
