Trouvez votre prochaine mission ou futur job IT.

Profil : Senior Data Engineer · Contexte de la mission : L’équipe Supply Zone Forecast (SZF) développe et maintient les modèles de prévision de la demande et des ventes pour l’ensemble des produits Décathlon, par centre d’approvisionnement continental. Aujourd’hui, notre pipeline est en production sur l’Europe, la Chine et l’Inde, et notre ambition pour 2026 est d’étendre la couverture à LATAM et MEA. Dans ce cadre, nous recherchons un Data Engineer Senior expérimenté sur PySpark et l’optimisation de pipelines. Notre Stack Data : AWS (S3, ECR, EKS); Databricks; Airflow; Pyspark; Python Et Github. La mission portera principalement sur la reprise, l’optimisation et la refonte partielle du module de “refining”, hérité d’une autre équipe . Ce module présente aujourd’hui plusieurs limites : lenteur d'exécution (compute), manque de gouvernance, faible modularité, documentation incomplète et difficulté à évoluer ou à scaler à l’échelle mondiale. Le contexte inclut également plusieurs dettes techniques autour de la stabilité, de la qualité du code et du renforcement des tests (unitaires et fonctionnels) La mission se déroulera sur site à Paris , au sein du pôle data Digital Principales responsabilités Refonte et optimisation du module “Refining” : Auditer le code existant, identifier les goulots de performance et axes d’amélioration. Revoir la structure du code pour renforcer la modularité, la lisibilité et la maintenabilité. Mettre en place une documentation claire et partagée (technique + fonctionnelle). Optimiser le traitement PySpark (logique de partitionnement, cache, broadcast, etc.). Proposer une approche flexible pour l’ajout de nouvelles features. Renforcement de la robustesse et de la qualité : Implémenter ou renforcer les tests unitaires et fonctionnels. Améliorer la stabilité globale de la pipeline ML de forecast. Participer à la mise en place de bonnes pratiques d’ingénierie logicielle (CI/CD, gouvernance du code, monitoring). Collaboration et transfert de compétences : Travailler étroitement avec les Data Scientists et lMachine Learning Engineers de l’équipe SZF. Assurer un transfert de connaissances clair et structuré à l’équipe interne. Contribuer à la montée en compétence collective sur PySpark et la scalabilité de pipelines ML. Livrables attendus : Module “refining” refactoré, documenté et testé Rapports d’audit et plan d’optimisation validés Documentation technique centralisée Pipeline stable et industrialisable à l’échelle mondiale

Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : a5057rwa3n

Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : 0tm07z0lov

Notre client, spécialiste du Traitement et Analyse de données, est à la recherche de son futur Data Engineer (IA/Géospatial) (H/F) pour son site de Toulouse, dans le cadre de son activité. Intégré aux équipes du client, vous devrez : * Développer et industrialiser des pipelines et modèles IA exploitant des données géospatiales et météorologiques, dans un environnement cloud-native. ## Compétences techniques attendues * Données météo & satellites Maîtrise des formats (NetCDF, GeoTIFF, HDF5), outils Python (xarray, rasterio…), prétraitement d’images, expérience Sentinel-1/2 et données météo (ARPEGE, AROME, GFS, ERA5). * Data Engineering Pipelines ETL/ELT scalables, orchestration (Airflow, Prefect, Argo), bases de données (PostgreSQL/PostGIS, MongoDB, Snowflake), optimisation des accès. * MLOps & DevOps Déploiement de modèles (CI/CD, monitoring), outils ML/Cloud (MLflow, SageMaker, Docker, Kubernetes, Terraform), AWS/Azure/GCP. * Développement logiciel Python, frameworks web (FastAPI, Django, Flask), bonnes pratiques (tests, docs, versioning).

Contexte de la mission Au sein de la Direction Data (Direction du Numérique), intégration à l'équipe Bronze (PO, data steward, 2 data engineers) au cœur de la plateforme Data. Stack principale : Python, Spark, SQL (traitements), Airflow (orchestration), Cloud Storage & Delta Lake (stockage), services cloud (BigQuery, Dataproc, Pub/Sub, Cloud Storage), Terraform/Terragrunt (infra). Activités attendues Concevoir et maintenir des pipelines data robustes et scalables ; organiser et structurer le stockage. Mettre en place et maintenir des infrastructures scalables ; assurer sécurité et stabilité des environnements. Construire et maintenir les workflows CI/CD ; accompagner l'équipe sur l'exploitation et requêtage. Gouvernance et conformité (qualité, sécurité, conformité), documentation, veille et participation aux instances Data Ingénieurs.

Dans le cadre de la modernisation de l'entrepôt de données de notre client , nous recherchons un Data Engineer expérimenté pour accompagner la migration vers Microsoft Azure et l’adoption de Microsoft Fabric et Power BI . Mission : Concevoir et développer des flux ETL dans Microsoft Fabric (Dataflows Gen2, Pipelines, Notebooks PySpark). Modéliser les données pour le BI selon Kimball / Snowflake (tables de faits, dimensions, agrégats). Assurer la qualité, fiabilité et performance des flux de données et mettre en place le monitoring. Automatiser les déploiements via CI/CD (Azure DevOps ou GitHub). Collaborer avec l’équipe ICT pour assurer la cohérence et la gouvernance des systèmes.

Data engineer - Reconstruction modèle tabulaire – SQL / DAX - 15 JOURS Contexte & objectif de la mission L’entreprise recherche un Data Engineer opérationnel pour intervenir sur un environnement décisionnel existant présentant des problèmes de : redondance de données , manque de fiabilité / véracité , performances insuffisantes dans les rapports et calculs, modèle tabulaire (cube) devenu difficile à maintenir. L’objectif de la mission est de reconstruire le modèle tabulaire , fiabiliser les sources, optimiser les performances et remettre le datamart sur des bases saines. Missions principales Analyser l’existant : tables SQL, flux, relations, modèle tabulaire actuel. Identifier les causes de redondance, d’incohérences et de problèmes de performances. Proposer une modélisation cible optimisée (star schema, normalisation, référentiels). Reconcevoir ou reconstruire le modèle tabulaire (VertiPaq) dans les bonnes pratiques. Reprendre les mesures DAX : fiabilisation, optimisation, documentation. Améliorer la qualité, la cohérence et la fraîcheur des données. Mettre en place les optimisations SQL (indexation, refactor, vues, partitionnement si nécessaire). Documenter les travaux réalisés et transmettre les bonnes pratiques. Livrables attendus Nouveau modèle tabulaire propre, performant et stable Refonte ou nettoyage des tables SQL sources Mesures DAX revues et fiabilisées Optimisations performances (SQL + DAX + modèle) Documentation technique Plan d’amélioration continue si nécessaire Environnement technique MS SQL Server SSAS Tabular / VertiPaq DAX Modélisation BI MS + Visualisation PowerBI Entrepot de données : Talend

Concevoir, construire et maintenir des pipelines d'ingestion de données à l'aide d'Azure et d'outils ETL (Talend, Informatica). Intégrer diverses sources de données dans les environnements Azure Data Lake et Databricks. Garantir l'évolutivité, la performance et la sécurité des solutions de données. Optimiser les flux de travail et automatiser les processus afin de réduire les interventions manuelles. Collaborer étroitement avec les analystes métier pour traduire les besoins en solutions techniques. Gérer plusieurs projets simultanément, en assurant le respect des délais et des bonnes pratiques. Mettre en œuvre des contrôles de qualité des données et des normes de documentation. Contribuer aux initiatives d'amélioration continue au sein de l'équipe DataOps.

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

🔍 Nous recherchons un(e) Lead Data Engineer Azure Databricks avec une forte posture de transmission, coaching et mise en place des standards, pour accompagner une équipe en montée de maturité sur Databricks. 📅 Démarrage ASAP 📍 Île-de-France 🎯 Missions clés : ✅ Optimisation & fiabilisation des jobs Databricks (PySpark / Spark) ✅ Mise en place des standards & bonnes pratiques Data Engineering ✅ Coaching, mentoring, animation de la communauté Tech Lead ✅ Contribution aux migrations & à la modernisation du DataLake ✅ Travail sur l’industrialisation (CI/CD – Azure DevOps)

Contexte et détails de la mission Définition du besoin La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Bronze, la prestation se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. Prestations attendues : Prestation de cette équipe 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données Prestation en data engineering En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances de data engineering • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Modalités de la prestation : Présence sur site requise en fonction des besoins de la prestation et a minima équivalente à 50% du temps de la prestation. Astreintes week-end et jours fériés : Non Matériel performant à fournir par le prestataire : Pour ce faire, les postes informatiques utilisés par le prestataire lors des prestations doivent avoir : - Un antivirus à jour et activé - Un mécanisme de chiffrement du disque activé - Un système d'exploitation à jour de ses correctifs de sécurité - Un mécanisme de verrouillage du poste activé - Un moyen de stockage sécurisé des mots de passe. Usage de la langue française : L'exécution de chaque marché spécifique nécessite l'usage principal et permanent de la langue française dans les rapports avec les parties prenantes (documents, réunions, appels téléphoniques, courriers électroniques…). Les personnes en charge de l‘exécution des prestations doivent maîtriser parfaitement le français (et toute autre langue qui serait précisée après information dans le DCE du marché spécifique concerné) dans le contexte et environnement.

En quelques mots Cherry Pick est à la recherche d'un "Tech Lead Data IoT – Java & Cloud" pour un client dans le secteur du retail. Description⚡ Le Contexte Au sein d'une plateforme IoT gérant des millions d'objets connectés (Smart Devices, vélos, équipements sportifs), nous recherchons le Référent Technique Data . Il ne s'agit pas d'un poste de Data Engineer classique qui ne fait que des pipelines, mais d'un rôle de Software Engineer / Tech Lead spécialisé dans le traitement de la donnée. Vous êtes le "Tech Lead Data" unique de la plateforme : vous portez la responsabilité technique et architecturale de tout ce qui touche à la donnée au sein de l'écosystème IoT. 🎯 Votre Mission : Architecturer et Construire le Backend Data Votre rôle est central : vous construisez le moteur qui ingère, traite et structure les événements remontés par les objets connectés. Vous êtes garant de la cohérence de la donnée, du capteur jusqu'au stockage. 1. Développement Backend & Traitement IoT (80-90% du poste) Développement Java : Concevoir et développer les briques Backend chargées du traitement des flux (Temps Réel & Événementiel). Gestion de la complexité IoT : Gérer les problématiques de connectivité instable. Exemple concret : Reconstituer une session de sport ("Ride") complète même en cas de perte de réseau, gérer les règles de début/fin de session automatiquement. Privacy by Design : Intégrer les contraintes RGPD et le respect des consentements utilisateurs directement dans l'architecture de collecte (filtrage à la source, anonymisation). 2. Architecture & Lead Data Référent Technique : Vous êtes le point de contact unique pour toutes les décisions impactant la data sur la plateforme. Conseil & Gouvernance : Vous auditez et conseillez les autres équipes Backend. Si une feature touche à la structure de la donnée, vous intervenez pour valider le modèle. Modélisation : Définir les modèles de données pour garantir leur exploitabilité future. 3. Analytics & Maintenance (10% du poste) Maintenir les flux ETL existants et les jobs d'analytics. Intervenir ponctuellement sur du Spark / Scala pour des besoins de BI ou de Data Science. 🛠 La Stack Technique Un environnement Multi-Cloud et moderne : Cloud Principal : GCP (Google Cloud Platform). IoT : AWS IoT Core (gestion de la flotte et connectivité). Langage Principal : Java (Expertise demandée). Analytics/Data : Databricks , Spark, Scala.

Le bénéficiaire souhaite une prestation d’accompagnement dans le cadre de la mise en place d'une plateforme AIOPS. Les missions sont : En tant que DataOps Engineer avec expertise MLOps, les missions sont : - Deploiement et maintenance des pipelines de données scalables et résilients (batch/streaming) en utilisant Kafka, Airflow, Kubernetes. - Industrialisation du cycle de vie des modèles ML (de l’entraînement au monitoring en production) via des pratiques MLOps (MLflow, Kubeflow, etc.). - Automatisation de l’infrastructure et les déploiements (IaC avec Terraform/Ansible, CI/CD avec Jenkins/ArgoCD). - Garantie la qualité des données (testing, linéage, observabilité) et la performance des modèles (drift detection, monitoring). - Collaboration avec les Data Scientists, Data Engineers pour aligner les solutions techniques sur les besoins métiers. Responsabilités Clés 1. Pipeline de Données & Orchestration - Développement et optimissation des pipelines Kafka (producteurs/consommateurs, topics ) pour le traitement en temps réel. - Orchestrer les workflows avec Apache Airflow (DAGs dynamiques, opérateurs custom Python/Kubernetes). - Automatisation le déploiement et la scalabilité des pipelines sur Kubernetes (Helm, Operators, ressources custom). - Gérer les dépendances entre pipelines (ex : déclenchement conditionnel, backfills). 2. MLOps & Industrialisation des Modèles - Packager et déployer des modèles ML. - Mettre en place des pipelines MLOps : - Entraînement (MLflow, Pipelines). - Testing (validation des données, tests de modèles avec Great Expectations). - Déploiement (, A/B testing). - Monitoring (drift des features/prédictions, logs avec ELK/Prometheus). - Optimisation des performances des modèles en production (latence, ressources GPU/CPU). 3. Infrastructure as Code (IaC) & CI/CD - Définition l’infrastructure en Terraform (modules réutilisables pour Kafka, Kubernetes, IBM Cloud). - Automatisation les déploiements avec Jenkins/ArgoCD (pipelines multi-environnements : dev/staging/prod). - Configuration les clusters Kubernetes (namespaces, RBAC, storage classes, autoscale HPA/VPA). - Sécurisation des accès (Vault pour les secrets) 4. Qualité des Données & Observabilité - Implémentation des tests automatisés : - Qualité des données (complétude, cohérence, schéma) - Validation des modèles (métriques, biais). - Monitorisation les pipelines et modèles : - Métriques techniques (latence, erreurs) et métiers (précision, recall). - Alertes proactives (ex : Dynatrace ou Grafana). 5. Collaboration & Amélioration Continue Participation aux rituels Agile (refinement, retro) et promouvoir les bonnes pratiques Data/MLOps. Control des équipes sur les outils (Airflow, Kafka) et les processus (CI/CD, testing). Assurance d´une veille technologique (ex : évolutions de Kubernetes Operators pour Kafka/ML, outils comme Metaflow). Collaboration avec les Product Owners pour prioriser les besoins métiers.

Ton quotidien chez Komeet sera rythmé par : - Animation des ateliers afin d’étudier et cadrer les besoins clients. - Analyser, conseiller, et faire des recommandations de façon à améliorer l’efficience et l’efficacité de la solution Databricks chez ton client. - Préconisation, conception et mise en œuvre du LakeHouse Databricks - Rédaction de dossiers d’architecture et spécifications techniques - Mise en œuvre des stratégies d’exploitation de la plateforme Databricks - Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. - Tests, validation et documentation des développements - Réalisation d’audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Nous recherchons un Data Engineer AWS / Snowflake confirmé pour intervenir au sein d’une équipe Data sur un environnement cloud moderne, fortement orienté industrialisation, performance et qualité des données. 🎯 Contexte de la mission : Vous serez en charge de maintenir, optimiser et faire évoluer les pipelines et architectures Data existants, dans un écosystème AWS & Snowflake à forte volumétrie. La mission inclut également la prise en main de sujets de développement et d’industrialisation en cours. ⚙️ Vos missions principales : Ingestion & Transformation Développer et maintenir des pipelines Python / PySpark (batch, transformations, industrialisation). Implémenter des processus d’ingestion Snowflake ( Snowpipe, procédures stockées, tables dynamiques, datamarts ). Gérer le datalake, les flux d’ingestion et les orchestrations associées. Architecture & AWS Intervenir sur les services AWS : S3, Lambda, Step Functions, EMR, DynamoDB, RDS, EventBridge, IAM, API Gateway… Optimiser et sécuriser les flux Data sur AWS. Assurer la résilience, les performances et la montée en charge des environnements Data. CI/CD & Infrastructure Maintenir et faire évoluer les pipelines GitLab CI , Travailler avec Docker & Pulumni pour l’industrialisation et l’infrastructure as code. Monitoring & Qualité Mettre en place ou améliorer les mécanismes de monitoring , d’observabilité et de data quality . Documenter, partager les bonnes pratiques et contribuer à l’amélioration continue.

DATA ENGINEER Avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud. Objectifs et livrables : Nous recherchons une prestation de Data Engineering avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud. Le consultant Data Engineer évoluera dans un contexte agile, en mode itératif et co- constructif, en s’appuyant sur l’intelligence collective. Le prestataire Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données. Il devra notamment : Collecter les exigences des métiers et des utilisateurs Concevoir data modeling SQL/NoSQL Concevoir les pipelines de données Mettre en production l'architecture Assurer la maintenance et l'évolution de l'architecture Expérience réussie d’au moins 6 ans en Data Engineering. Compétences requises quotidiennement : Maîtrise des technologies suivantes : Python niveau expert - (4/4) Azure Cloud niveau avancé - (3/4) Azure functions niveau confirmé - (2/4) Compétences requises : Pyspark niveau expert - (4/4) Databricks niveau expert - (4/4)