Trouvez votre prochaine mission ou futur job IT.

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data · Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition · Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) · Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines · Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements · Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements · Mettre en place les tests unitaires, d’intégration et fonctionnels · Formaliser des standards de développement Stabilisation, RUN et amélioration continue · Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD · Structurer et prioriser les actions de RUN et de stabilisation · Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à l’échelle et évolution de l’architecture data · Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle · Optimiser le ratio coût / performance des traitements · Travailler en étroite collaboration avec les Data Scientists et les ML Engineers

Présence sur site 3j/semaine Mission Construire et maintenir des pipelines de données fiables et scalables sur AWS et Snowflake. Responsabilités Développer des pipelines ETL/ELT Intégrer et transformer les données Modéliser les données (data warehouse) Optimiser les performances et les coûts Assurer la qualité des données (tests, monitoring) Orchestrer les workflows (Airflow ou équivalent) Collaborer avec les équipes data et métier Stack technique AWS (S3, Glue, Lambda, Redshift) Snowflake SQL Python Airflow / dbt / Git Profil Expérience en data engineering Bonne maîtrise SQL et modélisation Expérience cloud (AWS) Autonomie, rigueur Bonus Docker CI/CD Expérience data lake / lakehouse

Bonjour à tous 😃 🔎 Contexte Dans le cadre du déploiement de Snowflake au sein de l’équipe Data, notre client recherche un Data Engineer expérimenté pour accompagner la montée en compétence des équipes, structurer l’architecture cible et intervenir sur des chantiers clés (migration & ingestion) 🎯 Objectifs de la mission 1. Accompagnement & montée en compétence Accompagner les équipes dans la prise en main de Snowflake Animer / coanimer des ateliers et diffuser les bonnes pratiques Faciliter l’appropriation des nouveaux workflows et outils 2. Architecture & structuration Concevoir et documenter l’architecture cible Snowflake Mettre en place et optimiser les pipelines d’ingestion et de transformation Garantir la performance, la scalabilité et la robustesse des traitements 3. Gouvernance & qualité de données Définir les règles de gouvernance (rôles, accès, organisation des environnements) Mettre en place des standards de développement (naming, versionning, documentation) Implémenter des processus de data quality (tests automatisés, contrôles de cohérence, fraîcheur…) Mettre en place des mécanismes de data observability et d’alerting Documenter les processus de gestion des incidents 4. Missions opérationnelles Participer à la migration de data products (Athena → Snowflake) Contribuer à l’ingestion et la structuration de nouvelles sources de données 🔧 Must have Expérience significative en tant que Data Engineer Expertise Snowflake (indispensable) Solide maîtrise SQL (optimisation, performance) Expérience en ingestion de données et/ou migration de plateformes data Connaissances en data quality et gouvernance Capacité à accompagner des équipes (pédagogie, mentoring) ➕ Nice to have Expérience sur AWS Connaissance de Qlik Expérience en environnement data moderne (pipelines, orchestration, CI/CD…) Contexte conseil / ESN Expérience sur des sujets de data observability 📍 Modalités Démarrage : Avril 2026 Localisation : Lyon Télétravail : 3 jours sur site/2 jours de TT

Au sein du pôle Big Data d'un grand groupe, l'objectif principal de ce poste est de réaliser et de maintenir les développements nécessaires à l'alimentation du Datalake sur une plateforme Cloudera Hadoop, de mettre en place des extractions de données et d'accompagner les utilisateurs. Rattaché(e) au responsable Big Data, vous évoluerez dans un contexte de production à fortes attentes où la tenue des délais de livraison et le pilotage opérationnel sont primordiaux. Vos principales missions seront les suivantes : Développement et intégration : Prendre en charge les évolutions des données à intégrer et reprendre les développements existants pour l'alimentation du Datalake. Vous développerez également des extractions avec un niveau d'expertise en SQL et créerez des scripts Shell avancés pour l'automatisation. Expertise technique et mentorat : Spécifier techniquement les tâches, fournir des requêtes de référence, effectuer des revues de code et accompagner les collaborateurs juniors, stagiaires ou alternants. Support et accompagnement : Assurer le support de niveau 2, faire appliquer les bonnes pratiques et consignes aux utilisateurs, et rédiger la documentation requise (guides, description de processus). Optimisation et maintenance : Garantir la maintenabilité, les performances et l'exploitabilité de la plateforme en respectant l'utilisation des modèles référencés par la Gouvernance de la Donnée. Vous optimiserez les traitements de la plateforme et ceux des utilisateurs, et mènerez des investigations (reverse engineering) dans une architecture héritée complexe

Envie d’un nouveau challenge... CELAD vous attend ! Nous poursuivons notre développement et recherchons actuellement un(e) Data Engineer Confirmé/ Sénior H/F pour intervenir chez un de nos clients. Contexte : Vous intégrerez un Chapitre Data dynamique et intervenez sur la conception et la réalisation de solutions Big Data dans un environnement Cloudera. Vos travaux permettront de rendre les données issues de multiples sources accessibles et exploitables par les équipes métiers. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Participer à la définition de l’architecture Data en lien avec les architectes et la Squad - Concevoir, affiner et développer les solutions de collecte et de stockage des données - Mettre en œuvre les tests unitaires et automatisés - Déployer les produits dans les différents environnements - Garantir le bon fonctionnement des solutions en production et assurer le suivi / l’assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code - Contribuer à la fabrication des produits des Squads dans un environnement Cloudera - Être force de proposition et expertise au sein du Chapitre sur les technologies manipulées

Envie d’un nouveau challenge... CELAD vous attend ! Nous poursuivons notre développement et recherchons actuellement un(e) Data Engineer Confirmé/ Sénior H/F pour intervenir chez un de nos clients. Contexte : Vous intégrerez un Chapitre Data dynamique et intervenez sur la conception et la réalisation de solutions Big Data dans un environnement Cloudera. Vos travaux permettront de rendre les données issues de multiples sources accessibles et exploitables par les équipes métiers. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Participer à la définition de l’architecture Data en lien avec les architectes et la Squad - Concevoir, affiner et développer les solutions de collecte et de stockage des données - Mettre en œuvre les tests unitaires et automatisés - Déployer les produits dans les différents environnements - Garantir le bon fonctionnement des solutions en production et assurer le suivi / l’assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code - Contribuer à la fabrication des produits des Squads dans un environnement Cloudera - Être force de proposition et expertise au sein du Chapitre sur les technologies manipulées

Envie d’un nouveau challenge... CELAD vous attend ! Nous poursuivons notre développement et recherchons actuellement un(e) Data Engineer Confirmé/ Sénior H/F pour intervenir chez un de nos clients. Contexte : Vous intégrerez un Chapitre Data dynamique et intervenez sur la conception et la réalisation de solutions Big Data dans un environnement Cloudera. Vos travaux permettront de rendre les données issues de multiples sources accessibles et exploitables par les équipes métiers. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Participer à la définition de l’architecture Data en lien avec les architectes et la Squad - Concevoir, affiner et développer les solutions de collecte et de stockage des données - Mettre en œuvre les tests unitaires et automatisés - Déployer les produits dans les différents environnements - Garantir le bon fonctionnement des solutions en production et assurer le suivi / l’assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code - Contribuer à la fabrication des produits des Squads dans un environnement Cloudera - Être force de proposition et expertise au sein du Chapitre sur les technologies manipulées

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage

Pour l'un de nos grands comptes, nous recherchons un Data Engineer pour travailler dans une équipe composée de 1 Product Owner et de 2 Data Engineer : Participer aux phases de conception, de planification et de réalisation des tâches Construire et maintenir des pipelines Data robustes et scalables Produire des modèles DBT pour la transformation sur un environnement GCP (Bigquery) Expérience en méthodologie Agile (scrum ou kanban) Maîtriser la Stack technique : DBT, Python, SQL, GCP, Bigquery, Terraform, Airflow, Ci/cd.

Data Engineer Senior – Spécialiste DBT 📍 Localisation : Vélizy (3 jours minimum sur site) 🌍 Anglais courant requis Contexte Dans le cadre de la modernisation et de la standardisation des processus de transformation de données au sein du Groupe, nous recherchons un(e) Data Engineer expérimenté(e) spécialisé(e) DBT (data build tool) . Le/la consultant(e) interviendra sur la mise en place et l’industrialisation d’une plateforme DBT, avec pour objectif de garantir des pipelines de données robustes, scalables et alignés avec les meilleures pratiques ELT. Missions principales 🔹 Définition des standards et gouvernance Définir et formaliser les bonnes pratiques DBT (développement, déploiement, RUN). Mettre en place les standards et guidelines en collaboration avec le Tech Lead ELT. Définir les prérequis techniques et templates associés. Participer à la stratégie d’intégration et à la gouvernance des données. Co-définir la stratégie de logging et la gestion des événements. 🔹 Architecture & Stratégie Co-définir l’architecture cible, la stratégie et les patterns ELT avec les experts techniques. Étudier les analyses d’écarts (gap analysis) dans le cadre de migrations vers DBT. 🔹 Conception & Développement Recueillir et analyser les besoins. Évaluer la faisabilité technique et la charge associée. Concevoir les connecteurs et jobs avec le Tech Lead DBT. Développer les jobs DBT. Assurer le déploiement, les tests d’acceptance et la documentation. Réaliser des audits de jobs existants. 🔹 Support & Optimisation Accompagner les projets dans la qualification et la transformation des données. Optimiser et configurer l’outil DBT. Garantir le maintien en conditions opérationnelles optimales. Fournir un support technique avancé. 🔹 Documentation & Communication Rédiger les spécifications techniques. Produire la documentation de développement. Élaborer un guide des bonnes pratiques. Préparer et animer des sessions de formation / transfert de compétences. Participer aux communications (présentations, communauté ELT WW).

Dans le cadre d'une mission chez un grand acteur du secteur de l'énergie en France, nous recherchons des profils Data Engineer Senior++ / Lead Data disponibles entre mi-mars et mi-mai 2025. Le client, accompagné par un cabinet de conseil top tier, recherche des consultants capables de s'emparer d'un périmètre data, de le cadrer et de le développer en toute autonomie. Plusieurs positions sont à pourvoir. La maîtrise et l'usage quotidien de l'IA dans le travail est un critère indispensable.

Dans le cadre de plusieurs sujets techniques autour de Power BI, nous recherchons un Architecte Power BI / Data Engineer senior pour intervenir sur des problématiques à forte complexité technique. La mission consiste à apporter une expertise de haut niveau sur des sujets avancés tels que l’analyse et la documentation des API Admin V2 Power BI, l’identification des applications ne utilisant pas les fonctionnalités de gestion d’accès (Custom Message), l’expertise sur les capacités Power BI en mode Pay-As-You-Go, ainsi que l’analyse et la configuration des environnements Gateway (PowerShell, VMNET, réseau). Le consultant interviendra en tant qu’expert afin d’apporter des recommandations d’architecture, résoudre des problématiques complexes et accompagner les équipes sur des sujets techniques critiques. L’intervention se fera sous forme de sessions d’expertise ponctuelles de 2 à 4 heures.

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. 📍 Localisation Si vous etes localisé à Nantes, vous serez rattaché(e) au site de Nantes avec 2 jours de déplacement par mois requis sur le site de Vannes. Si vous etes localisé(e) à Vannes vous serez rattaché (e) au site de Vannes Mission longue Vos missions : Vous interviendrez sur l’ensemble du cycle de vie des produits Data : Participation à la définition de l’architecture Data , en lien avec les architectes et les équipes projet Conception, développement et optimisation des solutions de collecte et de stockage de données (multi-sources) Mise à disposition des données pour les usages métiers Mise en œuvre de tests unitaires et automatisés Déploiement des solutions sur les différents environnements Suivi du bon fonctionnement en production : support, assistance, gestion des incidents Contribution à l’ amélioration continue des pratiques (qualité du code, performance, fiabilité)

Nous recherchons un Data Engineer Senior pour rejoindre une équipe spécialisée dans la gestion et l’exploitation des données au sein d’une grande organisation numérique. L’équipe intervient au cœur de la plateforme Data et collabore étroitement avec les différentes directions techniques pour transformer la data en levier stratégique et opérationnel. L’équipe actuelle est composée d’un Product Owner, d’un Data Steward et de deux autres Data Engineers. La mission s’inscrit dans un contexte de traitement de volumes de données importants et de projets transverses autour de la connaissance utilisateur et de la mise à disposition d’outils de pilotage internes. Missions de l’équipe Collecter et centraliser des sources de données hétérogènes. Assurer la conformité, la sécurité et la qualité des données. Participer aux initiatives de gouvernance des données. Missions du Data Engineer En interaction avec les membres de l’équipe, le Data Engineer aura pour responsabilités de : Participer aux phases de conception, planification et réalisation des projets data. Construire et maintenir des pipelines de données robustes et scalables. Accompagner l’équipe dans l’exploitation et le requêtage des données. Organiser et structurer le stockage des données pour en faciliter l’accès et l’usage. Mettre en place et maintenir des infrastructures scalables capables de gérer l’augmentation rapide du volume de données. Développer et maintenir les workflows de CI/CD pour les pipelines data. Partager les bonnes pratiques et contribuer à la montée en compétences des autres data engineers. Garantir l’évolutivité, la sécurité et la stabilité des environnements de données. Participer activement aux instances techniques de l’équipe. Contribuer à la mise à jour et à la qualité de la documentation technique. Effectuer une veille technologique proactive sur les outils et méthodes data. Stack technique Langages & traitements : Python, SQL, Spark Orchestration : Airflow Stockage : Cloud Storage, Delta Lake Cloud & services associés : Google Cloud Platform (BigQuery, Dataproc, Pub/Sub) Infrastructure & IaC : Terraform, Terragrunt CI/CD & versioning : GitLab, GitLab CI/CD Méthodologie : Agile (Scrum ou Kanban) Profil recherché Minimum 7 ans d’expérience en Data Engineering. Expertise solide en structuration et traitement de données, code et architecture data. Expérience significative dans la conception et la maintenance de pipelines data . Expérience dans un environnement Google Cloud Platform et utilisation de BigQuery et Dataplex Universal Catalog. Maîtrise des langages Python et SQL et du framework Spark . Expérience avec Delta Lake , Terraform, Terragrunt. Maîtrise des outils GitLab et GitLab CI/CD. Capacité à vulgariser et communiquer sur des sujets techniques complexes. Autonomie, rigueur et capacité à travailler en équipe dans un contexte Agile. Qualités personnelles Esprit d’équipe et collaboration. Proactivité et sens de l’initiative. Curiosité technologique et veille active. Capacité à documenter et partager les bonnes pratiques.

Cette mission s’inscrit dans une initiative de modernisation et de standardisation des processus de transformation de données au sein d’un grand groupe international. L’objectif est d’industrialiser une plateforme dbt (data build tool) afin de garantir : Des pipelines ELT robustes, scalables et maintenables L’application de standards homogènes à l’échelle groupe Un accompagnement technique de haut niveau auprès des équipes projets Le profil recherché est un Data Engineer expert dbt, capable d’intervenir sur la définition des standards, la mise en œuvre technique, l’optimisation, la gouvernance et la formation. Informations contractuelles Titre de la mission : Dbt Technical Expert Démarrage : ASAP Fin de mission : 31/12/2026 Localisation : Vélizy-Villacoublay (78)

Nous recherchons un Data Engineer Senior pour intervenir au sein d’une plateforme Data stratégique dans un environnement numérique à forte volumétrie. Vous intégrerez une équipe composée d’un Product Owner, d’un Data Steward et de Data Engineers, au cœur d’une architecture cloud moderne orientée scalabilité, gouvernance et performance. Vos missions : Participer aux phases de conception et de planification des développements data Concevoir et maintenir des pipelines data robustes et scalables Collecter et centraliser des sources de données hétérogènes Structurer et optimiser le stockage des données Mettre en place des infrastructures scalables sur Google Cloud Platform Construire et maintenir les workflows CI/CD Garantir la sécurité, la conformité et la stabilité des environnements Contribuer aux initiatives de gouvernance des données Documenter les développements et partager les bonnes pratiques Accompagner les équipes internes dans l’exploitation des données Environnement technique : Google Cloud Platform (BigQuery, Dataproc, PubSub, Cloud Storage) Dataplex Universal Catalog Python SQL Spark Airflow Delta Lake Terraform / Terragrunt Gitlab / Gitlab CI/CD Méthodologies Agile (Scrum ou Kanban) Mission en environnement structuré avec forte exigence de qualité, de performance et de conformité réglementaire.