Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

CONTEXTE Contexte La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Silver, la mission se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur. Notre stack technique est principalement constitué de Python, Spark, SQL, dbt, BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. Le stack inclut aussi d’autres services de la Google Cloud Platform. MISSIONS : 1. Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir des pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l’accroissement rapide du volume de données • Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant dbt • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques

Vous rejoindrez notre Data Factory dont la mission est de concevoir et de déployer des produits analytiques innovants à destination des magasins, des fonctions support, de la logistique et des consommateurs. Face à la montée en puissance des besoins, nous avons adopté une organisation Agile en Domaines/Squads, avec une forte volonté d’industrialiser nos pratiques pour accélérer les livraisons tout en valorisant notre patrimoine de données. En tant que Tech Lead Data Engineer, vous serez impliqué dans les phases de design des applications et garant de la solution technique. À ce titre, vos principales responsabilités seront : Assurer un leadership technique auprès des équipes de développement. Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. Participer activement aux phases de conception, développement et tests. Porter la vision technique au sein des équipes Agile. Garantir la qualité des livrables et veiller à la réduction de la dette technique. Réaliser la modélisation des données. Assurer une veille technologique et participer aux POCs. Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques. 2. Compétences Techniques Requises Nous recherchons un profil senior avec une expérience d’au moins 2 ans en tant que Tech Lead et une certification sur Spark ou Databricks sont exigées. Compétence Expérience minimale demandée : Data Engineering 5 ans Azure 3 ans Architecture Lakehouse 3 ans Databricks 5 ans Spark 5 ans SQL, Python 5 ans Scala 2 ans CI/CD, Azure DevOps 5 ans

Contexte du projet : Dans le cadre d’un vaste programme de transformation digitale, CBX Group accompagne un grand acteur dans la mise en place et l’industrialisation d’une plateforme Big Data. Nous recherchons un Tech Lead Data Engineer expérimenté pour renforcer l’équipe Data et piloter la conception, le développement et la mise en production de traitements batch et temps réel, tout en encadrant les Data Engineers de la squad. Missions principales : Piloter la conception et le développement de pipelines en Spark SQL et Java Spark (batch & streaming). Définir les standards de développement et garantir la qualité technique de la squad (revues de code, bonnes pratiques, CI/CD). Concevoir et optimiser des traitements temps réel (Kafka, MongoDB, event-driven). Accompagner le design des usages Data en lien avec les Product Owners et le métier. Assurer l’optimisation et le tuning des traitements Spark pour garantir performance et scalabilité. Encadrer et coacher les Data Engineers de l’équipe, favoriser le partage de connaissances. Documenter l’architecture et les traitements dans Confluence, assurer le support et la maintenance. Participer aux rituels agiles et contribuer à la roadmap technique de la plateforme. Stack technique : Cloudera / MAPR, Java 11/17/21, Spark 2/3, Spring Boot, Kafka, MongoDB, Jenkins, Kubernetes, ArgoCD, SonarQube ; cloud GCP

Vous aurez l’opportunité de contribuer à un projet d’envergure : le déploiement massif de bornes de recharge pour véhicules électriques dans les parkings collectifs. Ce programme, déjà en cours, se renforce et constitue une nouvelle équipe de 3 Data Scientists, intégrée à une équipe pluridisciplinaire d’une dizaine de personnes dédiée à la mobilité électrique et aux solutions de demain. Vos missions : - Réaliser des études statistiques et de la modélisation prédictive pour optimiser les déploiements, - Traiter et analyser des données massives en Python (un peu de R possible, mais non indispensable), - Collaborer avec des experts métiers et techniques pour transformer les données en leviers concrets de performance, - Participer au Comité Data interne pour partager les bonnes pratiques et enrichir vos compétences, - Évoluer dans une méthodologie SAFe, au cœur d’un environnement structuré et collaboratif.

Au sein de l'équipe Silver, la prestation se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d'un productowner, d'un data steward et d'un data ingénieur. Notre technique de stack est principalement constituée de Python, Spark, SQL, dbt, BigQuery, Airflow pour l'orchestration des traitements et Terraform ainsi que Terragrunt pour l'industrialisation. Le stack inclut également d'autres services de la Google Cloud Platform. En interaction avec les membres de l'équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l'équipe • Construire et maintenir des pipelines de données robustes et évolutifs • Accompagner les membres de l'équipe dans l'exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures évolutives capables de répondre aux besoins et à l'évolution rapide du volume de données • Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l'intégrité des données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l'évolutivité, la fiabilité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Livrables attendus : 1. Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets Expertises demandées pour la réalisation de la prestation.

Principales missions : -Assurer un leadership technique auprès des équipes de développement. -Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. -Participer activement aux phases de conception, développement et tests. -Porter la vision technique au sein des équipes Agile. -Garantir la qualité des livrables et veiller à la réduction de la dette technique. -Réaliser la modélisation des données. -Assurer une veille technologique et participer aux POCs. -Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des CONCEPTION S'assure de l'exhaustivité et de la pertinence des spécifications confiées aux développeurs Coordonne les plans de développements et activités des développeurs sur l'ensemble des composants logiciels impactés Réalise la conception technique des applications et des échanges dans le cadre de projets et évolutions en privilégiant la réutilisation des composants existants DÉVELOPPEMENT Elabore, maintient et renforce les directives d'intégration logicielle et réalise la conception technique des applications et des échanges dans le cadre de projets et évolutions en privilégiant la réutilisation des composants Aligne son travail avec les principes d'urbanisation et les directives générales d'intégration logicielle préconisée par l'Architecture Transverse Supervise les aspects techniques d'un projet (à la demande du responsable de pôle) Participe à l'analyse fonctionnelle détaillée des besoins utilisateurs et peut être sollicité pour des ateliers de définition des spécifications générales Valide le design du logiciel et propose les frameworks utilisés dans le cadre du projet NORMALISATION ET QUALITÉ Assure la qualité du code des programmes informatiques Elabore et maintient les normes et patterns spécifiques d'intégration ainsi que leur diffusion auprès des développeurs et assure que ces normes / patterns sont bien suivies par l'équipe Est responsable également de l'élaboration et du maintien des abaques de coûts / délais nécessaires en regard des services fournis Assure la qualité des environnements de développement, des développements, du packaging et le bon usage des technologies à travers des audits de code Fait une veille permanente sur les évolutions technologiques ASSEMBLE LES COMPOSANTS ET PRÉPARE LA LIVRAISON DE SOLUTIONS Dans le cadre de projets, assemble les composants unitaires dans un package cohérent destiné au déploiement de la solution et le met sous gestion de configuration Assure la mise à disposition des environnements de développement Définit et administre une bibliothèque de composants logiciels, normes et patterns et assure la documentation de ces composants réutilisables dans la documentation ASSURE LE SUPPORT DE NIVEAU 3 Assure le support N3 pour la résolution de problèmes avec des composants développés par l'équipe et déployés dans les environnements Contribue à la rédaction des contrats de TMA en y intégrant les normes techniques COMMUNICATION ET VEILLE TECHNOLOGIQUE Assure une veille permanente sur les évolutions technologiques Assiste le responsable de pôle à identifier les axes d'amélioration technique et des compétences à développer

Dans le cadre d’un projet stratégique autour de la donnée , nous recherchons un Data Engineer expérimenté pour renforcer l’équipe de notre client, au cœur de la plateforme Data. La Direction Data joue un rôle clé dans la transformation numérique du groupe, avec trois missions principales : Maximiser la collecte et la valorisation des données tout en respectant la réglementation. Développer la connaissance et l’expérience utilisateur . Mettre à disposition des outils d’aide à la décision pour les équipes internes. 🎯 Vos missions principales : Concevoir, développer et maintenir des pipelines data robustes et scalables sur GCP. Déployer des datasets normés sur plusieurs domaines (Utilisateurs, Comportements, Référentiels). Mettre en place des contrôles qualité sur les datasets. Structurer et organiser le stockage des données dans une logique d’architecture évolutive. Participer à la mise en place des workflows CI/CD et à l’industrialisation via Terraform / Terragrunt. Collaborer avec les équipes Data pour assurer la qualité, la fiabilité et la gouvernance des données. Partager les bonnes pratiques et contribuer à la documentation technique .

Entité : Industrie Location : Toulouse ou full-remote Date de démarrage : 17/11/2025 English possible Durée mission : 12 mois (date de fin : 09/10/2026) Mission: we are looking for a data engineer with Spark, Java, real-time processes and MongoDB skills He/She will have to help on the current project backlog ( corrections & new features ) Within a 3 people team for this domain but included in a larger team. Maintenance and evolutions of CCO projects (Big Data processing and real time processing). Project team of 2 developers and a project manager for coordination. Included in a larger team of approx. 8 to 10 peoples.

o Déployer les ensembles de données normés sur un ou plusieurs des domaines de données suivants : Utilisateurs, Comportements et Référentiels o Accompagner les utilisateurs dans leurs usages o Mettre en place le contrôle qualité sur ces ensembles de données En interaction avec les membres de l'équipe, la prestation consiste à : o Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l'équipe o Construire et maintenir des pipelines de données robustes et scalables o Accompagner les membres de l'équipe dans l'exploitation et le requêtage des données o Organisateur et structurer le stockage des données o Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l'autonomie rapide du volume de données o Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l'intégrité des données o Construire et maintenir les workflows de la CI/CD o Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur o Assurer l'évolutivité, la sécurité, la stabilité des environnements o Participer aux différentes instances des data ingénieurs o Contribuer et veiller à la mise à jour de la documentation o Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation.

Contexte & Enjeux Projet stratégique à haute visibilité visant à construire une nouvelle Data Platform . L’infrastructure, livrée sur un modèle Kubernetes , constitue le socle du futur environnement Data. Une équipe backend est déjà en place et développe le socle applicatif en Python / Django . Objectif principal : Structurer et définir l’ architecture Data de la plateforme, dans une logique modulaire, scalable et sécurisée , et préparer l’intégration des premiers cas d’usage métiers. 🧩 Mission Le Data Architecte interviendra sur : Définir l’ architecture cible de la Data Platform après livraison de l’infrastructure ; Segmentation et ségrégation des stockages selon les typologies de données (temps réel, analytics, applicatif) ; Déploiement et orchestration des conteneurs dans l’environnement Kubernetes ; Mise en place du socle Data et des patterns de gouvernance : sécurité, qualité, monitoring, CI/CD Data ; Accompagnement sur les choix technologiques (préférence open source) ; Co-construction avec les équipes métiers utilisant des outils no-code / low-code pour leurs besoins analytiques. 🧠 Profil recherché Architecte Data confirmé, à l’aise sur les environnements Cloud Azure et Kubernetes ; Maîtrise des architectures temps réel , data pipelines et data storage (Data Lake / Data Warehouse) ; Expérience solide sur les environnements open source : Spark, Kafka, Airflow, etc. ; Capacité à intervenir sur des sujets d’ architecture globale (data + applicatif) ; Bon sens du travail en équipe et de la co-construction dans un contexte sensible et confidentiel ; Capacité à proposer des solutions adaptées aux contraintes existantes. ⚙️ Environnement technique (indicatif) Cloud : Azure Orchestration : Kubernetes Backend : Python / Django Data : Open source – Spark, Kafka, Airflow, etc. Usages métiers : No-code / Low-code

Le Tech Lead Data Engineer aura pour missions: Assurer un leadership technique auprès des équipes de développement. Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. Participer activement aux phases de conception, développement et tests. Porter la vision technique au sein des équipes Agile. Garantir la qualité des livrables et veiller à la réduction de la dette technique. Réaliser la modélisation des données. Assurer une veille technologique et participer aux POCs. Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques.

Pour le besoin de mon client, je suis à la recherche d'un profil Data Engineer confirmé Piloter les projets DevOps complexes : planification, suivi des délais, budget et livrables. Coordonner les équipes (techniques, métiers, sécurité) et animer les comités de suivi... ... ... ... .... ... .... ... ... ... .... ..... .. .... .. .. .. .. . .. ... .. .. .. .. . .. . . . .. . . .. . .. . .. . .. . . .. . . .. . . .. . . . . .. . . . . . . .. . . .. . . .. .. . . . . . . .. . . . . . . . . . . . . . .. . .

Au sein du département IT, l'équipe a pour vocation de fournir aux services Technologies & Opérations et Banque de Proximité et Assurance, l’ensemble des applications nécessaires à leur fonctionnement. L'appel d'offre vise à renforcer notre binôme de data engineers, en priorité sur le projet DatOps que nous opérons pour le compte de la Direction des Opérations. Celui-ci s'appuie sur la plateforme GCP, et représentera l'activité majeure du consultant. En mineure, il interviendra en parallèle sur un second projet, qui vise à le doter d'une plateforme data basé sur le Hadoop on premise du groupe. Nous recherchons un profil data engineer GCP + Hadoop qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiés au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipeline de données Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Contexte Le profil interviendra sur l’ensemble du cycle de vie des solutions d’Intelligence Artificielle (IA), incluant : Industrialisation et CI/CD : Mise en place et maintenance de pipelines CI/CD (GitLab, Docker, Terraform, Kubernetes). Infrastructure et automatisation : Gestion et optimisation des environnements AWS (S3, EMR, SageMaker, IAM…). Data Engineering & Spark : Développement et optimisation de jobs Spark pour la préparation et le traitement de données à grande échelle. MLOps / Production : Déploiement, suivi et supervision des modèles IA (MLflow, , monitoring Datadog). Collaboration transverse : Interaction quotidienne avec les Data Scientists pour fiabiliser le delivery et le suivi des modèles. Veille et amélioration continue : Participation active à l’optimisation des pipelines et à la montée en maturité technique de l’équipe. Description de la mission Le profil sera en charge de : Maintenir et faire évoluer les pipelines d’industrialisation (CI/CD, Terraform, Docker, Kubernetes). Participer à la mise en production et au suivi des modèles IA (Airflow, Datadog, , MLflow). Garantir la fiabilité des traitements Spark et la conformité des environnements AWS. Contribuer au suivi de la production et aux mises en production (MCO). Participer à l’amélioration continue des outils et pratiques Data/IA. Documenter les bonnes pratiques techniques et partager les retours d’expérience au sein de l’équipe AI Experts. Compétences techniques attendues Obligatoires (Must Have) : CI/CD (GitLab) Docker Terraform Kubernetes Spark Python AWS (S3, EMR, SageMaker, IAM…) Souhaitables (Nice to Have) : MLflow Airflow API / FastAPI Datadog Suivi de production / MEP Autres compétences : Expérience de collaboration avec des Data Scientists Veille technologique et amélioration continue Soft Skills recherchés Esprit d’équipe et forte culture du delivery Rigueur technique, curiosité et autonomie Capacité à collaborer efficacement dans un environnement pluridisciplinaire (DE, DS, OPS, PO, DEV, staff) Sens du partage et de la documentation Livrables et responsabilités principales Maintenir et faire évoluer les pipelines CI/CD et d’industrialisation Participer aux mises en production et au suivi des modèles IA Garantir la fiabilité des traitements Spark et la conformité AWS Contribuer à l’optimisation continue des outils et pratiques Documenter et partager les bonnes pratiques techniques

✨ Envie d’un nouveau challenge… CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un.e Développeur Backend Python Senior – IA pour intervenir chez un de nos clients grands comptes. 💻💼 🎯 Voici un aperçu détaillé de vos missions : Concevoir, développer et maintenir des applications backend robustes et évolutives avec Python (Flask, FastAPI, Spark). Mettre en œuvre des architectures orientées messages (Kafka) et assurer l’intégration avec les composants frontend. Optimiser les bases de données PostgreSQL et déployer dans des environnements cloud. Participer à la mise en place de pratiques DevOps : CI/CD, Docker, Kubernetes, OpenShift. Contribuer au cycle de vie complet : recueil des besoins, documentation, tests unitaires, support. Encadrer des profils juniors et collaborer avec les équipes métier.

VOS RESPONSABILITES PRINCIPALES : Build – Modernisation & migrations Data Participer au design et à la construction de nouvelles plateformes Data (on-prem Cloudera / Spark / Kafka & cloud AWS/GCP). Configurer, optimiser et sécuriser les environnements Big Data (Spark tuning, Kafka connecteurs…). Travailler avec les architectes et les CloudOps sur les architectures distribuées. Mettre en place des bonnes pratiques : backup, restauration, performance, haute dispo, PCA/PRA . Intégrer pipelines & automatisations (Terraform, GitOps, ArgoCD). Animer ateliers, documentation et transfert de compétences. Run – Support N2/N3 & performance Résolution d’incidents techniques Big Data (HDFS, Spark, Kafka, Flink…). Support aux projets : création de topics Kafka, scheduling Airflow, jobs Spark, optimisation. Montée de version, patching, maintenance préventive. Participation aux astreintes (rotation). Amélioration continue & fiabilisation des environnements critiques. Application stricte du cadre ITIL V4 (incidents / problèmes / demandes).