Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Contexte de la missionDans le cadre du développement d'un produit stratégique de monitoring et d'observabilité Data, nous recherchons un Data Engineer Senior pour intégrer une squad spécialisée dans l'intégration et les plateformes Data. Le produit a pour objectif de superviser différents services Data dans un environnement multi-cloud. Il collecte et centralise des logs et métriques liés notamment aux pipelines, aux ressources de calcul, aux usages et aux coûts, puis les transforme afin de fournir une vision exploitable via des API et une interface web. L'ambition est d'évoluer progressivement vers une observabilité proactive, notamment grâce à des workflows d'IA agentique capables de détecter des anomalies, d'en analyser les causes et d'assister les équipes dans leur résolution. Missions principalesAu sein de la squad Data, vous prendrez en charge la conception, le développement et l'industrialisation des briques Data du produit, depuis la collecte des données jusqu'à leur modélisation en couche Gold. Vos principales responsabilités seront : Concevoir et industrialiser la collecte de logs et métriques provenant de différentes sources Cloud. Développer les pipelines d'ingestion et de transformation sous Databricks. Concevoir et faire évoluer le Golden Data Model pour répondre aux besoins de monitoring, troubleshooting et pilotage. Garantir la qualité, la traçabilité, l'observabilité et la fiabilité des données et traitements. Mettre en œuvre des pratiques de Spec-Driven Development : spécifications, contrats de données, tests et validation. Participer à la conception de workflows IA agentiques dédiés à la détection d'anomalies et à l'aide au diagnostic. Collaborer avec les équipes Backend et Frontend pour permettre l'exposition des données via API et interfaces applicatives. Contribuer aux standards d'architecture, de sécurité et de performance dans un environnement AWS. Profil recherchéNous recherchons un profil disposant d'une solide expérience en Data Engineering sur des produits Data en production, avec une forte culture Engineering. Compétences recherchées : Excellente maîtrise de Databricks : Spark, Jobs, Notebooks, Delta, orchestration, optimisation, monitoring et gouvernance. Très bonne maîtrise de AWS et de ses services Data. Expertise en Python, PySpark et SQL avancé. Expérience confirmée en modélisation de données analytique, notamment sur des architectures Bronze / Silver / Gold. Maîtrise des problématiques de qualité et contrats de données. Connaissance des architectures Cloud, de la sécurité et des mécanismes IAM. Expérience du développement logiciel : tests automatisés, versioning, revue de code et CI/CD. Connaissance des problématiques d'API et d'intégration avec des services applicatifs. Une expérience des approches Spec-Driven / Contract-First constitue un avantage. Une sensibilité aux LLM et à l'IA agentique appliquée aux workflows Data est fortement appréciée. La connaissance des patterns agentiques, de MCP ou de workflows IA outillés constitue un plus. Livrables attendus – 3 à 6 moisPipelines d'ingestion et de transformation robustes, industrialisés et observables. Golden Data Model formalisé et exploitable par les différents composants du produit. Mécanismes de détection et de diagnostic enrichis par des workflows IA agentiques. Documentation technique et spécifications maintenues à jour. Couverture de tests permettant de garantir la fiabilité des développements. Environnement tech

Contexte de la mission Dans le cadre de l'évolution d'une plateforme Data stratégique, notre client recherche un Senior Software Engineer afin de participer à la modernisation d'une application centrale dédiée à la configuration et à l'orchestration de traitements de données. Cette mission s'inscrit dans un contexte de transformation visant à améliorer la qualité logicielle, renforcer la robustesse de l'application, optimiser ses performances et faciliter l'intégration de nouveaux cas d'usage. Le consultant travaillera en étroite collaboration avec les équipes Data Engineering, Architecture et Produit dans un environnement Agile. Missions Le consultant interviendra notamment sur les sujets suivants : Concevoir, développer et maintenir une application Python dédiée au traitement et à l'orchestration des données. Moderniser l'architecture applicative afin d'améliorer sa maintenabilité, sa performance et sa scalabilité. Réduire la dette technique grâce à des actions de refactoring et d'optimisation du code existant. Concevoir et mettre en œuvre une stratégie complète de tests : Tests unitaires Tests d'intégration Validation des traitements métier Automatisation dans les pipelines CI/CD Développer des composants génériques et configurables favorisant la réutilisabilité et limitant les développements spécifiques. Participer à l'intégration des traitements dans les pipelines Data. Contribuer aux choix d'architecture et à la définition des bonnes pratiques de développement. Accompagner les équipes dans l'amélioration continue des pratiques de développement logiciel. Environnement techniqueCloud AWS (S3, ECS, Fargate...) Data Engineering Python Apache Spark PySpark SQL Databricks Delta Lake Lakehouse Architecture Orchestration Apache Airflow DevOps GitLab CI/CD Docker Infrastructure as Code Terraform Terragrunt Gouvernance Data Databricks Unity Catalog Gestion des accès Monitoring Optimisation des coûts Méthodologie Agile Scrum Compétences techniquesIndispensables Python AWS SQL Apache Spark / PySpark Databricks Airflow Docker GitLab CI/CD Terraform Architecture logicielle Data Engineering Monitoring Appréciées Fargate Terragrunt Unity Catalog Lakehouse Architecture Soft Skills Excellente capacité d'analyse et de conception. Force de proposition. Autonomie et rigueur. Esprit collaboratif. Capacité à accompagner et faire monter en compétence les équipes. Excellente communication. Langues Anglais courant (niveau C1 minimum).

Contexte de la mission : Dans le cadre de l'évolution d'une plateforme Data stratégique, nous recherchons un(e) Senior Software Engineer pour intervenir sur une application centrale permettant de configurer et d'orchestrer des traitements de données. Vous contribuerez à la modernisation de cette application afin d'améliorer sa maintenabilité, sa robustesse, sa scalabilité et sa capacité à répondre aux nouveaux besoins métiers. Vous travaillerez en étroite collaboration avec les équipes Data, les Product Owners et les équipes Architecture afin de faire évoluer les standards techniques et les bonnes pratiques de développement. Vos missions : En tant que Senior Software Engineer, vous serez notamment amené(e) à : - Concevoir, développer et maintenir une application Python dédiée à l'orchestration et à l'exécution de traitements de données. - Moderniser l'architecture applicative afin de favoriser son évolutivité, sa performance et sa fiabilité. - Réduire la dette technique grâce à des travaux de refactoring et d'amélioration continue. - Concevoir et mettre en œuvre une stratégie complète de tests (tests unitaires, tests d'intégration, validation des règles métiers, automatisation dans les pipelines CI/CD). - Développer des composants génériques et configurables afin de limiter le code spécifique et favoriser la réutilisation. - Collaborer avec les équipes Data Engineering pour intégrer les traitements dans les pipelines de données. - Participer aux choix d'architecture et aux décisions techniques structurantes. - Promouvoir les bonnes pratiques de développement logiciel, de qualité de code et d'industrialisation. - Accompagner les équipes dans l'amélioration continue des pratiques de développement. Valeur ajoutée de la mission : Vous jouerez un rôle clé dans la modernisation d'une plateforme Data stratégique en contribuant à l'amélioration de son architecture, de sa qualité logicielle et de ses performances. Votre expertise permettra de renforcer la robustesse de la plateforme tout en facilitant le développement de nouveaux traitements et l'évolution des besoins métiers. Environnement technique : 1. Langages et développement - Python - SQL 2. Data Engineering - Apache Spark - PySpark - Databricks - Delta Lake - Architecture Lakehouse 3. Cloud - AWS (S3, ECS, Fargate...) 4. Orchestration - Apache Airflow 5. DevOps - Git - GitLab CI/CD - Docker 6. Infrastructure as Code - Terraform - Terragrunt 7. Gouvernance - Gestion des accès - Monitoring - Optimisation des coûts - Gouvernance des données 8. Méthodologie - Agile Scrum Expertise souhaitée Profil recherché : - Minimum 5 ans d'expérience en développement logiciel avec une forte expertise Python. - Solide expérience en conception d'architectures logicielles et en refactoring d'applications existantes. - Bonne maîtrise des environnements Cloud, idéalement AWS. - Expérience des plateformes Data et des traitements distribués. - Maîtrise des bonnes pratiques de qualité logicielle et des tests automatisés. - Expérience des pipelines CI/CD et des environnements DevOps. - Connaissance des architectures distribuées et des problématiques de performance et de scalabilité. Qualités attendues : - Esprit d'analyse et capacité à proposer des solutions techniques innovantes. - Excellentes capacités de communication et de collaboration. - Autonomie, rigueur et sens de l'organisation. - Goût pour le partage de connaissances et l'accompagnement technique des équipes. - Capacité à évoluer dans un environnement Agile et à contribuer aux décisions stratégiques. Mobilité Non renseigné * Champs obligatoires

Contexte: Dans le cadre du maintien et de l'amélioration d'une plateforme CDP (Customer Data Platform), nous recherchons un profil expérimenté capable d'assurer le suivi des anomalies, le support fonctionnel et l'interaction entre les équipes métiers, les équipes Data et l'éditeur de la solution. Missions principales: Détecter, analyser, prioriser et suivre les anomalies de la CDP. Coordonner les actions correctives avec l'éditeur et les équipes Data. Assurer le support fonctionnel auprès des utilisateurs métiers. Participer à la rédaction des spécifications fonctionnelles liées aux corrections et évolutions. Contribuer aux phases de recette et de validation fonctionnelle. Assurer le suivi et l'administration des tickets sous Jira et Confluence. Produire les reportings de suivi des applications. Participer à l'amélioration continue de la qualité de service et de la performance des applications. Indispensables Très bonne maîtrise SQL. Expérience significative sur Databricks. Bonne connaissance de l'écosystème Azure. Expérience en gestion des anomalies et support applicatif. Capacité à rédiger des spécifications fonctionnelles. Aisance dans les échanges avec les équipes métiers et techniques. Appréciées Connaissance des enjeux Data Marketing. Expérience sur une Customer Data Platform (CDP). Expérience en environnement Agile.

Je recherche de 1 Expert Gouvernance de la Donnée / Data Steward confirmé. Le consultant interviendra sur des projets Data afin de garantir la qualité, la cohérence, la traçabilité et la conformité des données. Il aura notamment la charge du suivi des indicateurs de Data Quality, de l'analyse et du traitement des anomalies de données, de la gestion de la documentation et des métadonnées, ainsi que de l'application des règles de gouvernance des données.

📅 Démarrage : 03/09/26 ⏳ Durée : 3 ans 📍 Lieu : Chatillon 🎓 Expérience : Confirmé (minimum 4 ans en tant que QA avec compétences Data Analyste) 🏠 Télétravail : 2 jours de TT NON NEGOCIABLE 🏭 Secteur : Retail / Distribution 💰 TJM : 460€ Contexte de la missionDans le cadre du remplacement d'un prestataire en fin de mission, notre client, acteur majeur du secteur retail/distribution, recherche un Testeur confirmé doté de compétences en analyse de données pour intégrer son pôle Qualité Data au sein d'un Data Lab organisé en agile (rituels cadrés, sprints de 3 semaines). Le poste est rattaché à une squad dédiée à l'une des activités du groupe (Équipement de la Maison) et s'inscrit dans un Train Data en charge des projets BI et Data pour l'ensemble des enseignes et fonctions d'appui. Missions principalesParticiper aux ateliers/rituels agiles (sprint planning, affinage, sprint review, daily meeting) Réaliser la stratégie de test Identifier et réceptionner les environnements de test Analyser et évaluer les cas d'usage/User Stories Rédiger les plans de test, identifier les prérequis et spécifier les jeux de données Exécuter les cas de tests (fonctionnels, intégration 2 à 2, bout en bout, tests de surface) Créer et suivre les défauts avec les parties prenantes Maintenir le référentiel de test Réaliser le PV de recette Présenter les sujets en CAB pour passage en production Utiliser des outils IA (GitHub Copilot, VS Code) pour l'automatisation du cycle de vie des tests et le génie logiciel assisté par IA sur Databricks Environnement techniqueSQL Server Databricks Environnement Microsoft Azure JIRA / XRAY Power BI, MicroStrategy GitHub Copilot, VS Code (automatisation IA du cycle de test)

En tant que Data Engineer, vous intervenez sur la conception, le développement et l'optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d'équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d'un fort esprit analytique et d'une grande rigueur Vous êtes autonome, proactif et doté d'un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements Vous disposez d'un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d'interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d'un bagage en software engineering, vous permettant d'écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d'intégration, revue de code) Vous êtes à l'aise avec les outils de versioning (Git) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l'évolutivité et de l'observabilité

Notre client dans le secteur Aérospatial et défense recherche un/une Data Scientist Fonctionnel – Outil de prévision de trafic aérien H/F Description de la mission : La mission consiste à intervenir sur une période d'environ deux mois afin de finaliser le développement d'un outil interne destiné à prévoir le potentiel de trafic d'une nouvelle ligne aérienne lancée par une compagnie aérienne. Le besoin s'inscrit dans un contexte d'analyse de données de marché et de projection des potentiels de trafic passagers et cargo afin de contribuer à l'élaboration de business cases à destination de prospects compagnies aériennes. Le consultant interviendra dans la continuité de précédents développeurs pour compléter un outil de prévision de trafic partiellement développé et assurer son intégration dans l'environnement data de l'entreprise afin de faciliter son utilisation par les équipes internes. Description de l'outil L'outil se compose de trois parties principales : • Partie 1 : stimulation de la demande basée sur des modèles de régressions/corrélations entre l'augmentation de l'offre et l'induction de trafic après l'ouverture d'une nouvelle ligne • Partie 2 : modélisation de l'indice de qualité de service (QSI) afin de calculer la part de marché d'une compagnie aérienne lançant une nouvelle liaison, à partir de coefficients de pondération affinés par un modèle mathématique, pour le trafic point à point et le trafic en correspondance • Partie 3 : synthèse des résultats présentant de manière claire et concise l'ensemble des résultats obtenus Missions principales / contenu détaillé de la prestation L'intervention portera sur : • La finalisation du module de modélisation du QSI sur le trafic en correspondance • L'identification des correspondances possibles à partir des programmes de vols • L'application des coefficients de pondération sur les itinéraires en correspondance identifiés • L'amélioration des fonctionnalités de l'outil et la correction de bugs identifiés • Le déplacement de l'ensemble des hypothèses du projet sur la première page de l'outil « Hypothèses » • L'activation d'une fonction de sauvegarde/chargement • La séparation des résultats de la stimulation et du QSI par saison aéronautique • L'ajout d'une page de synthèse et la conservation d'un historique des résultats intermédiaires de QSI et de stimulation • L'activation de différentes hypothèses de circuité de part et d'autre de la route considérée pour le QSI correspondance • L'optimisation du code et l'amélioration des modèles de simulation • Le test et le déploiement de l'outil dans l'environnement data de l'entreprise afin de le rendre robuste et accessible aux utilisateurs internes Attentes pour la prestation Accompagné par les équipes métier, le consultant aura pour missions de : • Piloter les besoins fonctionnels • Construire le pipeline de données pour automatiser la mise à jour de l'outil, à partir de données DiioMi et de données serveur Tableau • Coder un outil de prévision de la performance d'une route aérienne (QSI) en utilisant Python et du webscraping, avec reprise et compréhension du codage précédent • Améliorer l'outil en lisant, comprenant, corrigeant, modifiant et simplifiant les codes existants • Identifier les opportunités d'amélioration des processus et des modèles de simulation • Finaliser l'outil, déjà achevé à 80 %, les 20 % restants portant principalement sur le QSI appliqué au trafic en correspondance et l'optimisation de certaines fonctionnalités • Intégrer l'outil et garantir son bon fonctionnement dans l'environnement de l'entreprise • Travailler en collaboration avec l'équipe digitale du département pour déployer l'outil Profil recherché Compétences techniques requises : • Forte maîtrise en programmation Python, SQL, SparkSQL, PySpark, Streamlit, pandas, numpy, matplotlib, seaborn, scikit-learn, statsmodels, openpyxl, pyarrow, fastparquet, streamlit-aggrid, timezonefinder • Bonne logique algorithmique en programmation • Expérience dans l'automatisation, le CI/CD et MLflow • Expérience en programmation avec Selenium, Spyder, Matlab • Capacité à lire les codes VBA/Python existants et à identifier les opportunités d'amélioration du code • Capacité à comprendre les méthodes et analyses relatives au domaine de l'industrie aéronautique • Anglais courant Compétences projet requises : • Fort esprit analytique et business • Capacité à qualifier des besoins métier et à les traduire en démarches analytiques • Capacité à accompagner, conseiller et proposer des solutions analytiques et de nouvelles orientations si besoin • Expérience en agilité • Autonomie, proactivité et efficacité Contraintes et environnement • Prestation réalisée sur site et à distance • Environnement technique : Azure Cloud, Databricks, SQL, Power BI, Spark, Scala, Docker, Spyder, Python 3.11.9, Streamlit 1.32.0, pandas 2.1.3, numpy 1.26.3, matplotlib 3.8.2, seaborn 0.13.0, scikit-learn 1.3.2, statsmodels 0.14.0, openpyxl 3.1.2, pyarrow 14.0.1, fastparquet 2023.10.1, streamlit-aggrid 0.3.4, timezonefinder 8.2.1 • Signature d'un contrat de confidentialité relatif à la protection et à la sécurité des données • Interlocuteurs multiples Livrables attendus • Cahiers des charges, documentations, comptes rendus, présentations, analyses, observations, réflexions, propositions, programmes et réalisations relatifs à l'activité • Éléments de suivi des avancements, du planning, plans d'action, difficultés et risques • Activités d'accompagnement, coordination, planification, optimisation, priorisation, animation et gestion • Conseils, propositions, pilotage et gestion • Études analytiques/statistiques/IA • Programmes et automatisation • Algorithmes de gestion de données • Cahiers des charges et comptes rendus • Présentation, documentation et suivi • Outil entièrement fonctionnel dans l'environnement de l'entreprise • Manuel utilisateur expliquant comment utiliser l'outil sous tous ses aspects Compétences / Qualités indispensables : Python, SQL / PySpark / SparkSQL, Databricks / Azure Cloud, Modélisation QSI et simulation de données, Automatisation / CI/CD / MLflow, Anglais courant Informations concernant le télétravail : Prestation sur site et à distance, avec site à CDG, 1 rue de France, 93 290 Tremblay-en-France.

- Gestion des travaux de gouvernance sur les domaines de données des mesures d'énergie, relations contractuelles, et points de consommation - Catalogage de données sous Collibra avec les Data Owner : définitions des objets, processus métier, règles de qualité de données, data lineage - Analyse de données et mise en oeuvre d'actions de correction : correctifs ponctuels, en masse, ou évolution du SI - Mise en oeuvre de Key Quality Indicators (KQI) pour la surveillance des anomalies de données et des effets des actions de correction - Réalisation des études d'impacts Data

Responsabilités principales : • Administrer les environnements Databricks et Dataiku : gestion des clusters, sécurité et gouvernance (Databricks Azure, Dataiku on prem) • Déployer et maintenir les pipelines de données (ETL/ELT) en production (MCO) • Automatiser le déploiement et la configuration IaC • Administrer des environnements Airflow, Starburst … • Assurer la fiabilité, l'intégrité et la qualité de la plateforme en production. • Définir et suivre les SLO/SLI ; rétablir le service en cas d'incident. • Participer à la conception d'architectures data end-to-end (ingestion, stockage, transformation, exposition) et anticiper les impacts sur la production. Compétences clés : - Techniques : • Linux (RHEL), Docker, Kubernetes / OpenShift • Databricks, Dataiku (connaissances avancées) • Airflow, Starburst, Domino AI (un plus) • Automatisation & IaC Git, Ansible, Terraform, Helm, DigitalAI, ArgoCD • Scripting : Python, SQL, Shell, YAML • Observabilité & Monitoring: ELK, SysDig, Dynatrace, Grafana • Cloud : IBM Cloud (Cloud Principal), Azure (pour la solution Databricks) - Métier & Soft skills : • Analyse, diagnostic, résolution de problèmes et définir des indicateurs pertinents (SLI/SLO) • Orientation fiabilité, performance et expérience utilisateur • Autonomie, sens des priorités et proactivité • Capacité à anticiper les besoins futurs en matière de Data & AI et à proposer des solutions innovantes pour améliorer la fiabilité et la performance des services. Profil recherché : • Expérience en DataOps, DevOps/IAOps/Architecture Data ou exploitation en production. • Maîtrise opérationnelle de Databricks et Dataiku sur des projets réels en production • Communication fluide et maitrise de l'anglais obligatoire pour un usage quotidien

ContexteLe consultant interviendra aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Dans une démarche orientée qualité (documentation, tests de non régression automatisés, usine de builds…), le candidat définira et implémentera les APIs et écrans nécessaires à l'exécution des process business. Il orchestrera les différents composants intervenant dans la production des résultats et apportera un soin particulier à l'élaboration et la validation d'une plateforme stable, sécurisée, scalable et performante. Il aidera le scrum master à organiser la vie de l'équipe et sera un référent technique. MissionsLa montée en compétence sur les applications existantes La mise en place de builds et des outils de tests et de maintenance associés La définition des APIs, modules, librairies et écrans Le lotissement des développements L'implémentation des différents besoins Les optimisations et évolutions diverses La rédaction de tests en collaboration avec les Functional Analysts La documentation et les manuels d'utilisation L'assistance et le support aux utilisateurs Le support niveau 2, résolution d'incidents et résolution de problèmes (root causes d'incidents récurrents) Le suivi post-release des livrables

Contexte de la mission Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...). La mission du projet : Accompagner la migration et l'industrialisation d'une plateforme data cible autour de Databricks / Spark / Power BI​ Description du profil: Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l'industrialisation d'une nouvelle plateforme data. Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration. Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l'exposition des données vers les usages analytiques. Objectifs et livrables Activité principale : Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l'observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d'incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire : Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l'interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l'intégration de sources d'alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d'équipe Participer aux rituels agiles et à l'amélioration continue de la feature team Stack technique de l'équipe: Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud

Notre client dans le secteur Énergie et ressources naturelles recherche un/une Lead Data Engineer (H/F) H/F Description de la mission : Fiche de poste — Lead Data Engineer (H/F) Contexte et objectif de la mission Dans le cadre d'un programme de replatforming B2C, une organisation internationale construit une Data Platform centralisée à l'échelle mondiale, aujourd'hui fragmentée. L'objectif est de mettre en place une plateforme cloud-native, data-centric et scalable, au service des équipes data de plusieurs géographies, notamment la France, la Belgique et l'Australie. Le Core Model du programme repose sur un modèle de données unifié couvrant notamment les données clients, contrats et facturation. Le Lead Data Engineer intervient comme référent technique de la data platform, avec une responsabilité complète sur l'architecture, le delivery et la qualité des données. Stack technique • Data Platform : Databricks (lakehouse), Amazon S3, Amazon Managed Apache Flink • Gouvernance des données : Unity Catalogue, Collibra • Visualisation : Power BI • Cloud : AWS • Streaming : Confluent Kafka • Langages : Python, SQL • IA & coding : GitHub Copilot, Claude Code, outils LLM • Collaboration : Jira, Confluence, SonarQube Missions principales Stratégie & Architecture Data • Définir l'architecture de la data platform greenfield (lakehouse, zones bronze/silver/gold, data contracts) • Co-construire le Core Data Model commun aux différentes géographies tout en intégrant les spécificités locales • Mettre en place la gouvernance des données, la qualité et l'observabilité • Répondre aux besoins analytiques et fonctionnels des équipes métier via une approche de type catalogue as a service Leadership & Delivery • Être le référent technique data du programme • Choisir les partenaires et structurer une feature team de 5 à 6 personnes • Assurer la responsabilité end-to-end des pipelines, de l'ingestion à la restitution • Gérer le monitoring, la performance et l'optimisation FinOps des workloads data • Mettre en place les pratiques DataOps : automatisation des tests, CI/CD data, infrastructure as code IA & Vélocité • Exploiter GitHub Copilot, Claude Code ou équivalents pour accélérer le développement des pipelines et modèles • Intégrer des cas d'usage IA/ML dans la data platform, incluant data science, feature store et jeux de données prêts pour les LLM • Automatiser la génération de code, les tests de qualité des données et la documentation • Conserver la maîtrise technique tout en augmentant la vélocité grâce à l'IA Spécificités de l'équipe Le périmètre comprend un chantier amont de migration de l'ensemble des données France vers l'écosystème Kaluza, dans le cadre d'un programme de replatforming B2C. Cette migration implique deux modules en amont : • Module d'éligibilité : définir les paramètres business pour les parcours clients/agents • Module ETL : récupérer et transformer les données provenant de nombreux systèmes d'information avant injection dans Kaluza Complexité forte de l'ETL : • Orchestration multi-sources • Micro-batch quotidien pendant plusieurs mois • Gestion d'un service managé AWS (Glue, Step Functions, S3, Lambda…) • Connexions API pour orchestrer les flux Profil recherché Compétences indispensables • Services managés AWS (Glue, Step Functions, API Gateway, S3…) • Orchestration API • Expertise avancée Databricks, incluant Delta Lake, Unity Catalogue, Spark et workflows • Solide expérience AWS en environnement data, incluant S3, Glue, Kinesis ou Flink, IAM et sécurité cloud • Mindset IA natif avec usage actif de GitHub Copilot ou équivalent comme outil principal de développement • Maîtrise experte de Python, notamment PySpark, pandas et APIs • Expérience de conception d'une data platform from scratch • Culture DataOps : tests automatisés, CI/CD data, observabilité des pipelines • Approche lean et responsabilité end-to-end • Leadership et capacité à embarquer et structurer une équipe data Compétences appréciées • Expérience Unity Catalogue et gouvernance des données à l'échelle • Connaissance de Confluent Kafka et du streaming • Familiarité avec Collibra ou équivalent • Expérience en data modelling dans un contexte B2C • Déploiements IA/ML en production, incluant MLflow, feature engineering et pipelines LLM • Expérience de contextes multi-pays ou de data platform cross-entités Conditions • Type de contrat : Freelance (indépendant) • Démarrage : ASAP • Durée prévisionnelle : 3 ans minimum • Localisation : Colombes • Télétravail : environ 3 jours par semaine, flexible selon l'autonomie • TJM : à préciser selon profil Compétences / Qualités indispensables : Databricks et architecture lakehouse, AWS data managé (Glue, Step Functions, S3), Python / PySpark / SQL, DataOps et CI/CD data, Leadership technique et delivery end-to-end, Usage d'outils IA de développement (GitHub Copilot) Compétences / Qualités qui seraient un + : Unity Catalogue et gouvernance des données à l'échelle, Confluent Kafka et streaming, Collibra, data modelling B2C, déploiements IA/ML en production, contextes multi-pays ou cross-entitésInformations concernant le télétravail : Environ 3 jours par semaine, flexible selon l'autonomie

Description détaillée Au sein de la Direction des Systèmes d'Informations Mutualisés, vous rejoindrez le Train DATA, en charge des projets BI et Data pour l'ensemble des enseignes et des fonctions d'appui En tant que QA doté de compétences en analyse de données, vous intégrerez le pôle Qualité Data et serez rattaché à la squad Équipement de la Maison. Votre rôle consistera à préparer et exécuter les cas de tests, constituer les jeux de données nécessaires, assurer le suivi des défauts identifiés et contribuer à l'amélioration continue de la qualité des données. Le Data Lab fonctionne en organisation agile et réunit des équipes pluridisciplinaires favorisant la collaboration et l'autonomie. Vous travaillerez avec des rituels agiles, cadrés, trimestriels et des cycles de réalisation de 3 semaines (sprint planning, affinage, sprint review et daily meeting). Vos missions : - Participer aux ateliers/rituels agiles - Réaliser la stratégie de test - Identifier et réceptionner les environnements de test - Analyser et évaluer les cas d'usage/User Story - Rédiger les plans de test, identifier les prérequis et spécifier les jeux de données - Exécuter les cas de tests - Créer et suivre les défauts avec les différentes parties prenantes - Maintien du référentiel de test - Réaliser le PV de recette - Présentation des sujets en CAB pour passage en production - Une expérience/compétence dans le retail serait un plus. En plus du test fonctionnel, vous serez amené à effectuer des tests d'intégration 2 à 2, des tests de bout en bout ainsi que des tests de surface dans un contexte Data. Dans un contexte de transformation rapide des pratiques de test, l'utilisation de l'intelligence artificielle est désormais au cœur de nos activités. Le prestataire sera amené à utiliser des outils IA tels que GitHub Copilot et VS Code pour l'automatisation du cycle de vie des tests, ainsi que le génie logiciel assisté par IA sur Databricks J'accorde une importance particulière à l'amélioration continue, un principe clé de l'agilité, afin de progresser en permanence et de gagner en efficacité. Savoir Faire : - Expérience minimum de 4 ans en tant que QA avec des compétences de data analyste - Profil technico fonctionnel - SQL Server - JIRA/XRAY - Environnement Microsoft azure - Databricks - Utilisation de l'IA dans les tests (Génie Code) - Outils de reporting Power BI, Microstratégy Savoir Etre : - Collaboratif - Entraide - Force de proposition - Implication/Engagement - Amélioration Continue - Communication fluide

Description détaillée Au sein de la Direction des Systèmes d'Informations Mutualisés, vous rejoindrez le Train DATA, en charge des projets BI et Data pour l'ensemble des enseignes et des fonctions d'appui En tant que QA doté de compétences en analyse de données, vous intégrerez le pôle Qualité Data et serez rattaché à la squad Équipement de la Maison. Votre rôle consistera à préparer et exécuter les cas de tests, constituer les jeux de données nécessaires, assurer le suivi des défauts identifiés et contribuer à l'amélioration continue de la qualité des données. Le Data Lab fonctionne en organisation agile et réunit des équipes pluridisciplinaires favorisant la collaboration et l'autonomie. Vous travaillerez avec des rituels agiles, cadrés, trimestriels et des cycles de réalisation de 3 semaines (sprint planning, affinage, sprint review et daily meeting). Vos missions : - Participer aux ateliers/rituels agiles - Réaliser la stratégie de test - Identifier et réceptionner les environnements de test - Analyser et évaluer les cas d'usage/User Story - Rédiger les plans de test, identifier les prérequis et spécifier les jeux de données - Exécuter les cas de tests - Créer et suivre les défauts avec les différentes parties prenantes - Maintien du référentiel de test - Réaliser le PV de recette - Présentation des sujets en CAB pour passage en production - Une expérience/compétence dans le retail serait un plus. En plus du test fonctionnel, vous serez amené à effectuer des tests d'intégration 2 à 2, des tests de bout en bout ainsi que des tests de surface dans un contexte Data. Dans un contexte de transformation rapide des pratiques de test, l'utilisation de l'intelligence artificielle est désormais au cœur de nos activités. Le prestataire sera amené à utiliser des outils IA tels que GitHub Copilot et VS Code pour l'automatisation du cycle de vie des tests, ainsi que le génie logiciel assisté par IA sur Databricks J'accorde une importance particulière à l'amélioration continue, un principe clé de l'agilité, afin de progresser en permanence et de gagner en efficacité. Savoir Faire : - Expérience minimum de 4 ans en tant que QA avec des compétences de data analyste - Profil technico fonctionnel - SQL Server - JIRA/XRAY - Environnement Microsoft azure - Databricks - Utilisation de l'IA dans les tests (Génie Code) - Outils de reporting Power BI, Microstratégy Savoir Etre : - Collaboratif - Entraide - Force de proposition - Implication/Engagement - Amélioration Continue - Communication fluide

Contexte L'équipe est Agile, composée de 14 personnes dont 2 Data Scientists, et intégrée à un Train SAFe synchronisé avec d'autres Trains et équipes Data. Missions Mettre en œuvre des algorithmes de prévision de consommation ou de rebouchage de données Entraîner et industrialiser des modèles de machine learning et optimiser leur performance Mener des analyses pour interpréter les comportements de consommation des clients et soutenir des prises de décision au développement de nouvelles fonctionnalités Conduire des transformations et mises en qualité de données Outils & Environnement Python, SQL Spark / PySpark Databricks AWS Git et gestion du versioning Livrables Développements informatiques (correctif, évolutif, adaptatif) Mise en œuvre des algorithmes de prévision de consommation ou de rebouchage de données Entraînement et industrialisation des modèles de machine learning Analyses comportementales des clients pour soutenir le développement fonctionnel Transformations et mises en qualité de données Compétences à évaluer Expertise en Data Science, Machine Learning et Deep Learning Maîtrise de Python, SQL et des bibliothèques d'analyse de données (Scikit-Learn, PyTorch Forecasting, Darts, PySpark, MLflow) Séries temporelles et prévision de consommation Industrialisation des modèles & MLOps IA générative et Large Language Models (LLM) – un plus Frameworks IA : LangChain et LangGraph – un plus