Trouvez votre prochaine mission ou futur job IT.

Missions Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE). Transformation des données via dbt selon les modèles métiers définis. Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform. Orchestration et automatisation des workflows de données sur GKE via Argo Workflows. Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask). Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy). Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD). Mise en place de la supervision et du monitoring des pipelines de données. Rédaction de la documentation technique liée aux développements réalisés. Environnement techniqueGCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash

Dans le cadre du développement de notre Data Factory, vous intégrerez une équipe en charge de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'objectif est de développer des produits Data répondant aux besoins concrets des métiers, tout en garantissant leur performance, leur sécurité, leur qualité et leur évolutivité. Vos missionsDéveloppement de produits Data Transformer la donnée brute en données exploitables, notamment sous forme de tables requêtables dans le Data Lake. Consolider et orchestrer les données au fil de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views, réintégration dans le SI, services de scoring, etc. Conception et industrialisation Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et fiabiliser les pipelines de données. Mettre en place et garantir un processus qualité rigoureux : documentation, tests unitaires et d'intégration, commentaires, versioning. Contribuer à l'amélioration continue des pratiques et des outils de développement Data. Profil recherchéDiplômé(e) d'un Master ou d'une école d'ingénieurs en informatique, sciences ou domaine similaire, avec une spécialisation en Data. 5 ans d'expérience minimum en tant que Data Engineer, idéalement dans un environnement Azure / Databricks. Maîtrise avancée de PySpark / Spark. Expertise de l'environnement Microsoft Azure : Data Factory, Databricks, Data Lake Storage, Azure DevOps, Git et CI/CD. Solide expérience en traitement de données batch et streaming. Bonne maîtrise de SQL et connaissance des bases NoSQL (Cosmos DB, MongoDB…). Bonne connaissance des méthodologies Agile (Scrum, Kanban). Capacité à travailler en collaboration avec des PO, BA, testeurs, architectes et équipes métiers. Qualités recherchéesRigueur et autonomie Esprit d'innovation Bonnes capacités de communication Esprit d'équipe Capacité d'adaptation Sensibilité aux enjeux de qualité et d'industrialisation des données

Concevoir, développer et maintenir des pipelines de données robustes et performants. Développer et industrialiser les transformations de données avec DBT. Concevoir et optimiser les modèles de données dans BigQuery. Intégrer différentes sources de données au sein de l'écosystème Google Cloud Platform. Garantir la qualité, la fiabilité et la disponibilité des données. Optimiser les performances des traitements et des requêtes SQL. Mettre en place des tests et contrôles de qualité des données. Participer à l'automatisation des déploiements et aux pratiques CI/CD / DataOps. Contribuer à la documentation technique et au respect des standards Data. Collaborer avec les Data Analysts, Data Scientists, équipes métiers et équipes Cloud/DevOps. Participer aux problématiques de gouvernance, sécurité et traçabilité des données propres au secteur bancaire.

Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced

Nous recherchons pour le compte de notre client, un(e) Data Engineer Senior GCP en freelance ou portage salarial. Localisation : Lille Démarrage : ASAP Durée : Mission longue Télétravail : 2j/semaine Missions Principales : Participer aux rituels agiles de l'équipe, Analyser les besoins des utilisateurs et proposera des solutions innovantes et en phase avec les drivers de l'entreprises, Développer les solutions data (Alimentation, stockage, modélisation, restitution), Valider la qualité des développements de son équipe, Améliorer et optimiser le patrimoine actuel de son équipe, Maintenir les solutions existantes (Run), Contribuer à la construction du nouveau socle et des services sur la plateforme Google Cloud, Accompagner les métiers sur les bonnes pratiques de l'exploitation de la Data

En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.

Nous recherchons un(e) Data Engineer confirmé(e) / Senior, disposant d'une solide expérience sur Google Cloud Platform (GCP), pour rejoindre une nouvelle équipe dédiée aux données clients et marketing. L'équipe intervient sur différents systèmes sources, sur une plateforme Data centralisant et valorisant les données, ainsi que sur un service dédié à la personnalisation des parcours et expériences clients. L'objectif du projet est de construire une plateforme permettant de fournir aux modèles de Machine Learning des données de personnalisation fiables, pertinentes et facilement exploitables. Dans un premier temps, vous interviendrez sur l'amélioration et la fiabilisation des données provenant de différentes sources de tracking et de données commerciales. Vous participerez ensuite au développement de la plateforme Data centrale du projet. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et intégrer des données provenant de différentes sources. Participer à la conception et à l'évolution de la Data Platform. Contribuer au développement d'un service de contexte et personnalisation client. Préparer et enrichir les données destinées aux modèles de Machine Learning. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la conception des architectures et flux Data. Mettre en place des contrôles et bonnes pratiques de Data Quality. Collaborer avec les équipes Data, ML, Marketing et les équipes techniques. Participer aux tests, à la documentation et au déploiement des solutions. Contribuer à l'amélioration continue de l'architecture et des processus Data.

Nous recherchons un Data Engineer Senior pour renforcer une équipe Data et intervenir sur une plateforme AWS traitant d'importants volumes de données. Vous participerez à la conception, à l'optimisation et à l'industrialisation des pipelines Data, avec des enjeux forts de performance, de qualité et de scalabilité. Missions principalesConcevoir, développer et maintenir des pipelines Data sur AWS. Développer et optimiser les traitements en Python, SQL et PySpark. Orchestrer les workflows avec Airflow / MWAA. Optimiser les traitements Spark sur des volumes importants. Concevoir et faire évoluer les modèles de données au sein du Data Lake. Garantir la qualité, la fiabilité et la performance des données. Mettre en place le monitoring et optimiser les coûts des traitements. Collaborer avec les équipes Data Science et métiers. Exploiter les outils d'IA générative et agentique pour améliorer les pratiques de développement. Environnement techniqueStack principale : AWS : S3, Glue, Athena, EMR, MWAA, ECS, Lambda Python : Pandas, PySpark, AWS Wrangler SQL avancé Apache Spark Apache Airflow / MWAA Parquet, Iceberg, Delta Lake Compétences complémentaires : Terraform IAM / Sécurité Cloud Data Lake / Data Modeling IA générative et agentique

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé. Vous rejoignez une équipe qui construit un hub de données de marchés sur AWS, avec Apache Iceberg comme format de stockage central. Un projet structurant, qui s'inscrit dans la stratégie SI du client et interagit avec plusieurs grands programmes. Vos missions : - Concevoir et mettre en œuvre les pipelines d'ingestion depuis les référentiels de données de marchés. - Structurer et modéliser des datasets cohérents à partir des référentiels sources. - Exploiter Apache Iceberg : partitionnement, time travel, évolution de schéma, compaction. - Développer les traitements de transformation et de chargement en Python / PySpark (EMR ou Glue ETL). - Garantir la qualité et la traçabilité des données : lineage, contrôles de cohérence, gouvernance. - Assurer la fiabilité en production : monitoring, alertes, reprises et gestion des incidents. - Échanger avec les équipes métier, data et infrastructure. Vous êtes recruté en CDI cadre chez Ingéniance et rejoignez notre communauté d'experts data. Ref : O-LPXHD

Vous voulez voir vos pipelines faire tourner la logistique d'un géant de la distribution ? Cette mission est pour vous. VADEMI recherche un Data Engineer confirmé / senior pour rejoindre la Data Factory d'un grand groupe national de la distribution, en pleine accélération. Après de premiers succès, la Data Factory passe à l'échelle : nouvelle organisation Agile en Domaine / Tribu / Squad, industrialisation des pratiques et livraisons accélérées. Vous intégrez la Squad Supply / Logistique, qui conçoit des produits BI, Analytics et Data Science sur une plateforme Azure + Databricks. Vos traitements alimentent concrètement les entrepôts, les magasins et les consommateurs. Vos missions : - Recueillir les besoins métier et analyser les données - Concevoir et construire des pipelines de données au sein du Data Lake - Développer des notebooks Databricks pour des traitements avancés (PySpark / Spark SQL) - Optimiser les traitements et tuner les requêtes SQL (Cloud Data Warehousing) - Réaliser les revues de code et les tests unitaires - Assurer la QA / le testing des pipelines de votre binôme Data Engineer - Construire des tableaux de bord Power BI - Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes) - Livrer en continu via une chaîne CI/CD Azure DevOps Pourquoi nous rejoindre ? - Un rôle complet et à fort impact, du besoin métier jusqu'au dashboard - Une stack moderne : Azure, Databricks, Spark, Lakehouse, CI/CD - Un environnement Agile structuré, au cœur de la Supply Chain d'un leader du retail - Un rythme hybride : 2 jours de télétravail par semaine - Une mission en régie jusqu'à fin décembre 2026, avec perspective de prolongation Démarrage : dès que possible (fin septembre au plus tard) – Châtillon (92), 3 jours par semaine sur site. Processus : après votre candidature, nous vous transmettrons une grille de compétences à compléter. Un test technique est prévu en présentiel lors de l'entretien client.

La mission, au sein du domaine « Pertes, Garanties et Entrepôt Risques », consiste à participer à la réalisation du projet basée sur Google Cloud Platform, à forts enjeux au sein d'une équipe engagée et experte sur le sujet. Une expérience dans le domaine du Risques de crédit est appréciée. Développement et Intégration de solutions Python Spark avec les services data et compute de Google Cloud Platform - Excellente maitrise : BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, et GCS. - Bonne maitrise de la partie DevOps : XLD, Terraforme, jenkins - Bonne communication, autonomie et fluidité du travail en équipe.

Contexte Dans le cadre de notre croissance, Hexateam recrute deux Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

RECHERCHE – DATA PLATFORM ENGINEER AWS / DATA & IA Je recherche un Data Platform Engineer expérimenté pour accompagner les équipes projets dans l'adoption, l'utilisation et l'industrialisation d'une plateforme Data & IA basée sur AWS, notamment autour de Amazon SageMaker Unified Studio. Le consultant interviendra comme référent technique de la plateforme, en lien étroit avec les équipes Data Engineering, Data Science, BI, Architecture, Sécurité et métiers. 🔹 Expérience : Confirmée en Data Platform / Cloud AWS 🔹 Environnement : AWS / Data & IA 🔹 Démarrage : ASAP 🔹 Mission longue durée 🔹 Anglais : courant 🛠️ Compétences indispensables : ☁️ AWS / Data Platform : • Excellente maîtrise des services AWS orientés Data & Analytics • Expérience significative sur des plateformes Data Lake / Lakehouse • AWS Glue • Amazon SageMaker Unified Studio • Amazon Redshift • Amazon S3 • AWS Lake Formation • Intégration, catalogage et partage des données 🏗️ Infrastructure & DevOps : • Terraform / Terragrunt • CI/CD • GitLab / Jenkins • Industrialisation et automatisation des environnements 🔐 Gouvernance & sécurité : • Gouvernance et qualité des données • Gestion des accès et politiques de sécurité • Publication et consommation des actifs Data • Partage et valorisation des données 🎯 Missions principales : • Accompagner les projets dans leur intégration à la plateforme Data AWS • Participer au cadrage et à la conception des solutions Data & IA • Conseiller les équipes sur les bonnes pratiques AWS et SageMaker Unified Studio • Administrer et faire évoluer les environnements de la plateforme • Assurer la disponibilité, la performance et la fiabilité des services • Accompagner les équipes dans la résolution des problématiques techniques • Assurer un support de niveau expert et analyser les incidents • Participer à la mise en œuvre de nouveaux cas d'usage Data, Analytics et IA • Animer des ateliers techniques et produire la documentation associée ⭐ Soft Skills recherchés : • Très bonne capacité à communiquer avec des interlocuteurs techniques et métiers • Capacité à vulgariser des sujets techniques complexes • Esprit d'équipe et sens du service • Autonomie et force de proposition • Capacité à transformer les besoins métiers en solutions techniques Cordialement

Data Engineer SENIOR AWS / SPARK/PYTHON 500 e par jour Data Engineer Senior – Data Services Profil très orienté AWS / Spark / Python / DBT / Iceberg / Airflow, avec une bonne maîtrise des architectures Big Data / Lakehouse et de la modélisation Médaillon. REcherchent quelqu'un de t senior, avec 8 ans d'expérience minimum. Mission à temps plein, avec 3 jours de remote par semaine. AWS, Python, Spark et modélisation Médaillon. Terraform et Datadog sont également appréciés. Mission Asap 500 e par jour

Dans le cadre du renforcement de ses équipes Data Platform / Data Factory, recherche un Data Engineer expérimenté pour intervenir sur ses projets Data. Le consultant intégrera un environnement Data en croissance, avec des enjeux d'industrialisation, de performance, de qualité et de gouvernance de la donnée. Missions principales Concevoir, développer et maintenir des pipelines de données. Assurer l'ingestion, la transformation et la mise à disposition des données. Développer et industrialiser les traitements Data sous Databricks / Spark. Participer à l'évolution de la Data Platform Azure. Optimiser les traitements et les performances des pipelines. Travailler sur la qualité, la fiabilité et la disponibilité des données. Participer aux problématiques de traitement batch et/ou temps réel. Contribuer aux bonnes pratiques de développement et d'industrialisation Data. Collaborer avec les équipes Data Platform, Data Engineering, Data Science et les équipes métiers. Contribuer aux enjeux de gouvernance et de sécurisation des données. Avec un écosystème Data Platform comprenant également des enjeux autour de Databricks Unity Catalog, notamment pour la gouvernance, le lineage et la gestion des accès.

Contexte de la mission : Dans le cadre d'une mission longue chez un acteur du secteur Retail, nous recherchons un Data Engineer disposant d'une solide expérience sur Google Cloud Platform (GCP) et ayant déjà travaillé sur des problématiques d'intégration de données avec Salesforce. Vous rejoindrez un environnement Data avec des enjeux autour de la construction, de la maintenance et de la fiabilisation des pipelines de données, notamment entre Salesforce et l'écosystème GCP. Les avantages de la mission : Une mission longue avec de la visibilité Un projet au cœur des enjeux Data d'un acteur du Retail Un environnement technique associant GCP et Salesforce Des problématiques concrètes de Data Engineering et d'intégration de données Jusqu'à 3 jours de télétravail par semaine Une mission permettant de travailler sur des flux de données à fort enjeu métier