Trouvez votre prochaine mission ou futur job IT.

En tant que Data Engineer senior, vous intervenez en appui du lead Data pour apporter une expertise technique solide sur les choix d'architecture et la conception des pipelines. Vous prenez part au design, au build et au run des flux de données, avec un regard critique sur les implémentations existantes et les axes d'amélioration. Vos responsabilités couvrent la mise en place et l'administration d'architectures de données (data lake, data warehouse), l'accompagnement des refontes techniques, ainsi que la production de reporting lorsque nécessaire. Vous contribuez également à la documentation des flux, des modèles et des traitements afin de sécuriser la maintenabilité et la transmission des connaissances. Le poste implique une forte autonomie, une bonne capacité de communication et une aisance à travailler avec les équipes métiers et techniques. Le rôle est compatible avec un fonctionnement en full remote, avec des déplacements ponctuels sur site.

Nous recherchons un Data Engineer pour intervenir sur des projets de traitement, d'intégration et de transformation de données. Le profil devra disposer d'une bonne maîtrise de Python, XML et Transact-SQL (T-SQL). MissionsConcevoir et développer des flux de données et des traitements d'intégration. Développer des scripts et traitements en Python pour automatiser et fiabiliser les processus Data. Manipuler et transformer des données au format XML. Développer et optimiser des requêtes et procédures en Transact-SQL (T-SQL). Participer à la mise en place et à l'évolution des pipelines de données. Contrôler la qualité, la cohérence et la fiabilité des données. Identifier et résoudre les problématiques techniques liées aux traitements et aux flux de données. Collaborer avec les équipes Data, IT et Métiers sur les différents projets. Environnement techniquePython, XML, Transact-SQL / T-SQL, SQL Server, ETL, Data Integration, Data Pipelines, traitement de données.

Positionné au sein de la DSI de l'entreprise, le Data Engineer intègrera l'équipe Conso Data qui traite les données de consommation des clients afin de les exposer sur les canaux digitaux. Il devra : - Être force de proposition et participer à la conception des solutions techniques en collaboration avec les membres de l'équipe. - Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels. - Participer aux cérémonies Agile SAFe (PI Planning, macro-chiffrage, refinements, rétrospectives, etc.). - Concevoir et faire évoluer les architectures de données basées sur l'approche Databricks Medallion Architecture (Bronze, Silver, Gold). - Garantir la qualité, la fiabilité et la performance des traitements de données en production. (Jobs Databricks et APIs) - Contribuer à l'amélioration continue de la plateforme en proposant des optimisations techniques, des bonnes pratiques et des innovations. Il sera notamment amené à : - Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers. - Mettre en œuvre et orchestrer les traitements de données à l'aide des outils Databricks. - Modéliser les données dans les tables Delta Lake en appliquant les bonnes pratiques de partitionnement, indexation, optimisation et gouvernance. - Optimiser les performances des traitements Databricks (Spark, Delta Lake, gestion des coûts et du temps d'exécution). - Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD. - Concevoir, développer et maintenir des APIs permettant l'exposition et la consommation des données. - Mettre en place des mécanismes de contrôle qualité des données (Data Quality), de monitoring et d'alerting. - Identifier, analyser et résoudre les incidents de production tout en assurant le suivi des actions correctives. - Rédiger et maintenir la documentation technique des solutions mises en œuvre. - Accompagner les équipes dans l'adoption des bonnes pratiques Data Engineering Environnement Technique : - Python, SQL - Spark, PySpark, DBUtils - FastApi, Pytest - Databricks, Unity Catalog - Ariflow (migration vers Databricks Workflow) - AWS (Lambda, secrect manager, Bucket S3, ECS) - Git et gestion du versioning - Déploiement pipeline CI/CD

Dans le cadre du développement d'une application de génération de QCM assistée par l'IA, rattachée à Pronote, notre client recherche un Data Engineer / InfraOps pour une mission d'environ 3 mois. L'objectif est d'anticiper et de traiter les enjeux de scalabilité, de performance et de disponibilité de l'application, dans un environnement souverain soumis à de fortes exigences de conformité. Missions principales :Mettre en œuvre les mécanismes de scalabilité de l'application et la gestion des files d'attente avec TaskIQ. Paramétrer les tests de charge et gérer le load balancing. Concevoir l'architecture de sauvegarde et de réplication sur deux datacenters. Mettre en place le monitoring et la gestion des logs en coordination avec les équipes métier et applicatives. Contribuer à l'amélioration de la performance et de la disponibilité de l'infrastructure. Participer, en complément, à l'installation des modèles d'IA sur l'infrastructure dédiée. Livrables attendus :Mécanismes de scalabilité et de gestion des files d'attente opérationnels. Tests de charge configurés et résultats analysés. Dispositifs de load balancing et de réplication entre deux datacenters. Monitoring et gestion des logs opérationnels. Recommandations techniques pour garantir la performance et la disponibilité de l'application.

En lien avec l'équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des demandes métier dans le cadre du projet DataOps. Vous interviendrez sur l'ingestion, la préparation et la transformation des données ainsi que sur l'évolution des pipelines au sein de l'environnement GCP. Votre rôle Ingestion et transformation des données · Mettre en œuvre de nouvelles ingestions de données dans Cloud Storage et BigQuery · Développer les traitements de préparation et de transformation des données · Développer et maintenir les traitements en Python et SQL, notamment avec Pandas et/ou Dask · Intervenir sur les traitements distribués s'appuyant sur Spark lorsque nécessaire Développement et évolution des pipelines · Maintenir et faire évoluer les outils de gestion des pipelines de données · Développer et maintenir les scripts Bash nécessaires à leur exécution · Assurer le suivi et l'ordonnancement des traitements avec les outils du périmètre, notamment Control-M · Analyser et résoudre les problématiques techniques liés aux traitements et aux pipelines Evolution de la plateforme Data · Identifier les besoins d'évolution de la plateforme liés aux traitements et pipelines de données · Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre · Formaliser et transmettre à l'équipe DevOps les demandes relatives aux évolutions de la plateforme ________

En quelques mots Cherry Pick est à la recherche d'un Data Engineer(H/F), pour le compte de l'un de ses clients qui opère dans le domaine de la mutuelle. Description 🚀 Contexte de la mission Au sein du pôle Data d'un grand groupe, vous intégrez l'équipe Datalake pour accompagner la structuration, l'intégration et l'exploitation à valeur ajoutée des données métiers. En tant qu'Ingénieur / Expert Data Engineer & Décisionnel (H/F), vous agissez en garant de l'accès qualitatif aux sources de données multiples. Vous assurez la maîtrise, la normalisation, le référencement et la qualification des données alimentant le Data Lake pour faciliter leur exploitation par les équipes décisionnelles, Data Analysts et Data Scientists, dans le strict respect de la gouvernance et de la réglementation. 🎯 Missions principales & Rôle 1. Intégration, Modélisation & Alimentation du Data Lake : Concevoir, développer et optimiser les flux d'alimentation et de transformation des données depuis des sources multiples et hétérogènes vers le Data Lake. Développer et maintenir des traitements ETL/ELT performants en s'appuyant sur SQL et la solution d'intégration XDI (Semarchy). Industrialiser et orchestrer les pipelines de données via CloudBees (Jenkins). 2. Qualité de la Donnée & Contrôle (Data Quality) : Assurer la supervision des flux d'intégration et vérifier la conformité des données entrantes (dédoublonnage, nettoyage, contrôle de cohérence et de complétude). Recetter la donnée en profondeur pour garantir des socles fiables et exploitables. Contribuer à la définition des politiques de gouvernance et à la structuration du cycle de vie de la donnée. 3. Documentation, Qualification & Recette : Rédiger les spécifications techniques détaillées des flux et architectures de données. Elaborer les cahiers de recette technique ainsi que les dossiers d'applications associés. Mettre à disposition des dictionnaires de données et documentations pour simplifier l'auto-service de la donnée. 🏁 Objectifs & Livrables Spécifications techniques détaillées des flux d'intégration et des pipelines de données. Cahiers de recette technique et comptes-rendus de qualification des données. Dossiers d'applications et documentations d'architecture/gouvernance data.

Dans le cadre du développement de notre Data Factory, vous intégrerez une équipe en charge de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'objectif est de développer des produits Data répondant aux besoins concrets des métiers, tout en garantissant leur performance, leur sécurité, leur qualité et leur évolutivité. Vos missionsDéveloppement de produits Data Transformer la donnée brute en données exploitables, notamment sous forme de tables requêtables dans le Data Lake. Consolider et orchestrer les données au fil de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views, réintégration dans le SI, services de scoring, etc. Conception et industrialisation Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et fiabiliser les pipelines de données. Mettre en place et garantir un processus qualité rigoureux : documentation, tests unitaires et d'intégration, commentaires, versioning. Contribuer à l'amélioration continue des pratiques et des outils de développement Data. Profil recherchéDiplômé(e) d'un Master ou d'une école d'ingénieurs en informatique, sciences ou domaine similaire, avec une spécialisation en Data. 5 ans d'expérience minimum en tant que Data Engineer, idéalement dans un environnement Azure / Databricks. Maîtrise avancée de PySpark / Spark. Expertise de l'environnement Microsoft Azure : Data Factory, Databricks, Data Lake Storage, Azure DevOps, Git et CI/CD. Solide expérience en traitement de données batch et streaming. Bonne maîtrise de SQL et connaissance des bases NoSQL (Cosmos DB, MongoDB…). Bonne connaissance des méthodologies Agile (Scrum, Kanban). Capacité à travailler en collaboration avec des PO, BA, testeurs, architectes et équipes métiers. Qualités recherchéesRigueur et autonomie Esprit d'innovation Bonnes capacités de communication Esprit d'équipe Capacité d'adaptation Sensibilité aux enjeux de qualité et d'industrialisation des données

Consultants Data Engineer Snowflake pour faire évoluer sa plateforme Data vers une architecture Lakehouse et remplacer peu à peu Talend. Compétences clés : Snowflake (SQL, Snowpipe, Snowpark, RBAC, supervision...) Terraform (au moins une expérience confirmée) Talend ou autre ETL, avec une expérience de migration ETL vers ELT Atouts : AWS, Power BI, Data Lakehouse Planning : Démarrage : ASAP ous sous 1 mois max Lieu : Issy-les-Moulineaux, 3 jours sur site obligatoires et 2 jours en TT Freelance ou en portage salarial

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet

Missions Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE). Transformation des données via dbt selon les modèles métiers définis. Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform. Orchestration et automatisation des workflows de données sur GKE via Argo Workflows. Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask). Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy). Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD). Mise en place de la supervision et du monitoring des pipelines de données. Rédaction de la documentation technique liée aux développements réalisés. Environnement techniqueGCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash

Nous recherchons un Data Engineer pour rejoindre une équipe dédiée à la construction et à l'évolution d'une plateforme Data alimentant des produits et services à forte volumétrie. Au sein d'une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, vous évoluerez dans un environnement Agile / Scrum. Vos missionsConcevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark. Modéliser et faire évoluer des tables Apache Iceberg sur Amazon S3, en garantissant performance, évolutivité et gouvernance. Fiabiliser et industrialiser les flux de données afin de garantir leur fraîcheur, cohérence et disponibilité. Mettre en place des contrôles de qualité des données : complétude, unicité, fraîcheur, cohérence et traçabilité. Développer des traitements robustes et résilients : rejouabilité, gestion des erreurs, retries, backfill et gestion des données en retard. Mettre en place le monitoring et l'observabilité des pipelines : métriques, logs, dashboards et alertes. Participer aux phases de tests : tests unitaires, intégration, qualité des données, performance et montée en charge. Documenter les pipelines, modèles de données, procédures d'exploitation et choix techniques. Participer aux pratiques de CI/CD et aux revues de code. Environnement techniqueApache Spark – Apache Iceberg – AWS – Amazon S3 – Python et/ou Scala – SQL – Git – CI/CD – Monitoring & Alerting Profil recherchéFormation supérieure en informatique, Data ou ingénierie. Première expérience en Data Engineering. Bonne maîtrise de Spark et SQL. Expérience en Python ou Scala appréciée. Bonne connaissance des architectures Data sur AWS, notamment S3. Connaissance d'Iceberg ou de technologies de tables/stockage analytiques similaires. Sensibilité aux enjeux de qualité des données, résilience et observabilité. Autonomie, curiosité, esprit d'équipe et intérêt pour les environnements techniques modernes.

Lead Data Engineer pour prendre en charge et piloter le Consumer Data Hub (CDH), une plateforme unifiée de données consommateurs couvrant plus de 10 pays et des dizaines de millions de profils, permettant l'activation marketing, l'analyse avancée, les prévisions et les capacités d'IA agentique. Vous encadrerez une équipe de 4 data engineers tout en restant fortement technique — en concevant des systèmes, en planifiant les feuilles de route, et en collaborant avec des parties prenantes transverses pour traduire les besoins métier en solutions scalables. Ce poste exige de maîtriser l'équilibre entre le fait d'être un exécutant et celui d'être un leader. Vous rejoindrez une équipe autonome et exigeante, portée par une culture d'excellence technique et de respect mutuel. Si vous êtes animé par le sens de la responsabilité et que vous aimez construire des choses qui comptent à grande échelle — ce poste est fait pour vous. Responsabilités principalesLeadership technique Piloter l'architecture du projet, l'orientation technique et la vision à long terme Écrire du code de production en Python, SQL et dbt — en conservant des compétences techniques opérationnelles Garantir la cohérence technique entre les composants ; identifier et résoudre les problèmes de performance, de scalabilité et de dette technique Établir des standards de qualité des données, d'observabilité et de pratiques de monitoring Veiller à la conformité de la plateforme et au respect du RGPD Être à l'avant-garde du nouveau paradigme Data Engineering / Product Owner avec le Spec Driven Development assisté par l'IA Développer la stack d'IA agentique déjà mise en place (Cortex, Genie, LangGraph, Phoenix, etc.) Planification et livraison de projet Prendre en charge le plan de projet par trimestre : découper le travail en livrables, maximiser l'exécution en parallèle et ajuster en fonction des nouvelles informations Collecter et synthétiser les besoins auprès des partenaires techniques et non techniques ; les traduire en une feuille de route priorisée Identifier les inconnues en amont, évaluer les risques techniques et les communiquer de manière proactive Définir des métriques et des KPIs pour suivre la santé du projet et étayer les décisions par des données Leadership humain et gestion d'équipe Encadrer et accompagner 4 data engineers — développer leurs compétences, lever les blocages et déléguer efficacement Représenter l'équipe en externe : faire remonter les besoins et partager le contexte en retour Cultiver une culture de responsabilité, d'excellence et d'amélioration continue

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting) Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Fiche de poste – Senior Data Engineer / Expert Dataplatform (GCP) Contexte & Organisation Le Pôle Data est structuré autour du modèle Spotify : Une Dataplatform en pleine transformation, composée de 4 experts Architectes / Développeurs GCP & BigQuery Maintenance de l'existant + évolution de la plateforme Début d'un chantier majeur de construction début 2025 (v1 en cours, forte ambition d'évolution) Outils & écosystème : GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery) Airflow (orchestration) Dataform (concurrent DBT – SQL) Terraform pour le provisioning Modèle Data type médaillon Pratique Data Engineer moderne + enjeux d'observabilité / finops / sécurité Objectifs du poste Renforcer l'équipe Dataplatform avec un profil senior ayant déjà participé à la construction d'une Dataplatform et capable d'accélérer l'industrialisation des pipelines et des outils d'ingestion. Le rôle vise à : Faciliter et accélérer le travail des Data Engineers Améliorer l'expérience de construction de pipelines de données Structurer et fiabiliser l'ingestion et le transfert de données, encore peu industrialisés Apporter une expertise de haut niveau sur GCP & Data Engineering Missions principales 1. Gouvernance & Contrôle de la plateforme Assurer un contrôle global de la Dataplatform et accompagner les Data Engineers dans les bonnes pratiques d'industrialisation. Identifier les axes d'amélioration techniques et proposer des solutions robustes. Participer aux choix d'architecture technique et Data (modèle médaillon). 2. FinOps, Observabilité & Sécurité Définir et mettre en œuvre les standards d'observabilité. Garantir la performance, la robustesse et la sécurité de la plateforme. Suivre les coûts et proposer des optimisations FinOps. Automatiser le provisioning via Terraform. 3. Développement & Industrialisation Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI. Contribuer à résorber la dette technique. Développer et industrialiser les briques d'ingestion et de transformation. 4. Animation & Documentation Participer à la mise à disposition de nouveaux outils et à la documentation associée. Assurer une démarche d'amélioration continue du run. Animer une équipe de Data Engineer chaque vendredi: partage de bonnes pratiques suivi des évolutions de la Dataplatform retours d'expérience et recommandations 5. Innovation & IA Apporter une vision sur l'usage de l'IA (générative et traditionnelle) pour : réduire les coûts améliorer la productivité faciliter le travail des collaborateurs Contribuer à des projets Vertex AI / ML (ambition forte vers l'IA)

Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced