Find your next tech and IT Job or contract Databricks

En tant que Data Engineer, vous intervenez sur la conception, le développement et l'optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d'équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d'un fort esprit analytique et d'une grande rigueur Vous êtes autonome, proactif et doté d'un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements Vous disposez d'un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d'interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d'un bagage en software engineering, vous permettant d'écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d'intégration, revue de code) Vous êtes à l'aise avec les outils de versioning (Git) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l'évolutivité et de l'observabilité

Contexte de la mission : Dans le cadre de l'évolution d'une plateforme Data stratégique, nous recherchons un(e) Senior Software Engineer pour intervenir sur une application centrale permettant de configurer et d'orchestrer des traitements de données. Vous contribuerez à la modernisation de cette application afin d'améliorer sa maintenabilité, sa robustesse, sa scalabilité et sa capacité à répondre aux nouveaux besoins métiers. Vous travaillerez en étroite collaboration avec les équipes Data, les Product Owners et les équipes Architecture afin de faire évoluer les standards techniques et les bonnes pratiques de développement. Vos missions : En tant que Senior Software Engineer, vous serez notamment amené(e) à : - Concevoir, développer et maintenir une application Python dédiée à l'orchestration et à l'exécution de traitements de données. - Moderniser l'architecture applicative afin de favoriser son évolutivité, sa performance et sa fiabilité. - Réduire la dette technique grâce à des travaux de refactoring et d'amélioration continue. - Concevoir et mettre en œuvre une stratégie complète de tests (tests unitaires, tests d'intégration, validation des règles métiers, automatisation dans les pipelines CI/CD). - Développer des composants génériques et configurables afin de limiter le code spécifique et favoriser la réutilisation. - Collaborer avec les équipes Data Engineering pour intégrer les traitements dans les pipelines de données. - Participer aux choix d'architecture et aux décisions techniques structurantes. - Promouvoir les bonnes pratiques de développement logiciel, de qualité de code et d'industrialisation. - Accompagner les équipes dans l'amélioration continue des pratiques de développement. Valeur ajoutée de la mission : Vous jouerez un rôle clé dans la modernisation d'une plateforme Data stratégique en contribuant à l'amélioration de son architecture, de sa qualité logicielle et de ses performances. Votre expertise permettra de renforcer la robustesse de la plateforme tout en facilitant le développement de nouveaux traitements et l'évolution des besoins métiers. Environnement technique : 1. Langages et développement - Python - SQL 2. Data Engineering - Apache Spark - PySpark - Databricks - Delta Lake - Architecture Lakehouse 3. Cloud - AWS (S3, ECS, Fargate...) 4. Orchestration - Apache Airflow 5. DevOps - Git - GitLab CI/CD - Docker 6. Infrastructure as Code - Terraform - Terragrunt 7. Gouvernance - Gestion des accès - Monitoring - Optimisation des coûts - Gouvernance des données 8. Méthodologie - Agile Scrum Expertise souhaitée Profil recherché : - Minimum 5 ans d'expérience en développement logiciel avec une forte expertise Python. - Solide expérience en conception d'architectures logicielles et en refactoring d'applications existantes. - Bonne maîtrise des environnements Cloud, idéalement AWS. - Expérience des plateformes Data et des traitements distribués. - Maîtrise des bonnes pratiques de qualité logicielle et des tests automatisés. - Expérience des pipelines CI/CD et des environnements DevOps. - Connaissance des architectures distribuées et des problématiques de performance et de scalabilité. Qualités attendues : - Esprit d'analyse et capacité à proposer des solutions techniques innovantes. - Excellentes capacités de communication et de collaboration. - Autonomie, rigueur et sens de l'organisation. - Goût pour le partage de connaissances et l'accompagnement technique des équipes. - Capacité à évoluer dans un environnement Agile et à contribuer aux décisions stratégiques. Mobilité Non renseigné * Champs obligatoires

Contexte : Dans le cadre du développement de nos activités, nous recherchons un(e) Architecte Solutions IT disposant d'une forte expertise en data, ainsi que d'une bonne connaissance des enjeux métiers de la finance et de l'assurance (prudentiel, réassurance, Solvabilité II). Cette mission se déroulera sur le site de Chartres avec des déplacements sur Paris Missions : L'Architecte Solutions, sera responsable de la définition et de la mise en œuvre des architectures techniques, en lien étroit avec les équipes métiers et IT : • Concevoir des architectures applicatives et data robustes, scalables et sécurisées • Piloter les choix technologiques et garantir leur cohérence avec les standards d'entreprise • Intervenir sur des projets autour de la data platform (Data Lake, Data Warehouse) • Collaborer avec les équipes métiers pour traduire les besoins en solutions IT adaptées • Assurer la conformité avec les contraintes réglementaires (notamment Solvabilité II)

En tant que Data Engineer, vous intervenez sur la conception, le développement et l'optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d'équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d'un fort esprit analytique et d'une grande rigueur Vous êtes autonome, proactif et doté d'un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements Vous disposez d'un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d'interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d'un bagage en software engineering, vous permettant d'écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d'intégration, revue de code) Vous êtes à l'aise avec les outils de versioning (Git) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l'évolutivité et de l'observabilité

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d'ingestion, de traitement et d'industrialisation des données sur la data plateforme. Sans être responsable de l'architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d'un leadership technique, reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d'objectifs communs Vous faites preuve d'une excellente communication, associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d'amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome, proactif et doté d'un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé, avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement, incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données, à la testabilité et à l'observabilité des pipelines en production Vous pratiquez régulièrement les revues de code, le mentoring et l'accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d'industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts, et savez les intégrer dans vos choix techniques

Bonjour à tous 😀 Contexte : Dans le cadre de l'évolution d'une plateforme Data stratégique de l'un de nos clients, nous recherchons un Architecte Solution Databricks / Tech Lead afin d'accompagner les équipes dans la conception, l'industrialisation et la gouvernance des solutions Data. L'environnement est fortement orienté plateforme Data, avec des enjeux de : conformité réglementaire et sécurité des données ; gouvernance et intégration des données à l'échelle du groupe ; industrialisation des pipelines Data ; Le consultant jouera un rôle de référent technique Databricks auprès des équipes de développement et des métiers. Vos missions : Vous interviendrez notamment sur : Concevoir l'architecture technique des solutions Databricks Accompagner les équipes de développement sur les bonnes pratiques Développer et industrialiser des pipelines Data batch et temps réel Participer aux choix techniques et aux études d'architecture Réaliser des audits techniques et analyses de risques Produire la documentation d'architecture (DAT, dossiers techniques...) Accompagner les PoC Participer aux cérémonies Agile Être le référent technique Databricks de la plateforme Les livrables : Développements Scripts techniques DAT Documents de cadrage Reporting Estimations techniques Analyses de risques Audits Supports de PoC Cahiers de tests Procédures d'installation Documentation d'exploitation Rapport de fin de mission Profil recherché : MUST HAVE : Expérience : 6 ans minimum en Data Engineering / Architecture Data Expérience significative en environnement DSI Au moins 2 ans au sein d'équipes Agile Scrum Expertise technique : Databricks (5 ans minimum) Spark / Scala Développement de pipelines batch et streaming Certification officielle Databricks Terraform Jenkins ou Docker ou Kubernetes Gouvernance Data RGPD Connaissances appréciées : AWS Power BI GitLab CI Okta Jira Confluence Soft Skills : Excellent relationnel Leadership technique Forte capacité rédactionnelle Organisation Gestion de plusieurs sujets en parallèle Animation de réunions techniques Capacité à intervenir lors des Go/NoGo Les + : Databricks sur AWS Data Mesh Animation de formations Databricks Coaching technique Audit d'architecture Accompagnement d'équipes de développement Environnement technique : Databricks Spark Scala AWS Terraform Jenkins Docker Kubernetes GitLab CI Power BI Jira Confluence Okta

Rôle : Data Engineer Senior Databricks / GCP TJM : 430 € / jour Localisation : Meudon (3 jours par semaine sur site / 2 jours de télétravail) Date de début : ASAP Durée de la mission : Jusqu'au 31/12/2026 Contexte de la missionAu sein d'une équipe pluridisciplinaire (chefs de projet, architectes, DevOps, Data Engineers), vous interviendrez sur la conception et le développement de projets d'intégration de données à forte valeur ajoutée. Vos principales responsabilités incluent : Développement de jobs d'intégration de données en PySpark, Spark et Python (modes streaming et batch) sur la plateforme Databricks. Mise en œuvre du CI/CD (GitHub, DevOps, Databricks Asset Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs existants et des ressources Cloud (GCP et Databricks). Mise en place de Dashboards FinOps afin de suivre et piloter l'usage des ressources GCP / Databricks. Participation aux astreintes et au support en production de l'application. Assurer une formation continue, le partage de connaissances et la rédaction de la documentation technique. Compétences clés requisesDatabricks : Excellente maîtrise de l'administration, de la gestion des catalogues (Unity Catalog), de Delta Lake et de l'optimisation des performances. Technologies Data : Maîtrise approfondie de PySpark, Spark, Python, SQL et GIT. Cloud (GCP) : Bonne connaissance de l'écosystème Google Cloud Platform, notamment GCS, Pub/Sub, GKE et les outils d'Alerting. Qualités professionnellesEsprit d'équipe, curiosité intellectuelle et envie d'évoluer dans un environnement collaboratif. Excellente capacité à communiquer, à vulgariser et à partager vos connaissances avec les différents membres de l'équipe.

Description détaillée Au sein de la Direction des Systèmes d'Informations Mutualisés, vous rejoindrez le Train DATA, en charge des projets BI et Data pour l'ensemble des enseignes et des fonctions d'appui En tant que QA doté de compétences en analyse de données, vous intégrerez le pôle Qualité Data et serez rattaché à la squad Équipement de la Maison. Votre rôle consistera à préparer et exécuter les cas de tests, constituer les jeux de données nécessaires, assurer le suivi des défauts identifiés et contribuer à l'amélioration continue de la qualité des données. Le Data Lab fonctionne en organisation agile et réunit des équipes pluridisciplinaires favorisant la collaboration et l'autonomie. Vous travaillerez avec des rituels agiles, cadrés, trimestriels et des cycles de réalisation de 3 semaines (sprint planning, affinage, sprint review et daily meeting). Vos missions : - Participer aux ateliers/rituels agiles - Réaliser la stratégie de test - Identifier et réceptionner les environnements de test - Analyser et évaluer les cas d'usage/User Story - Rédiger les plans de test, identifier les prérequis et spécifier les jeux de données - Exécuter les cas de tests - Créer et suivre les défauts avec les différentes parties prenantes - Maintien du référentiel de test - Réaliser le PV de recette - Présentation des sujets en CAB pour passage en production - Une expérience/compétence dans le retail serait un plus. En plus du test fonctionnel, vous serez amené à effectuer des tests d'intégration 2 à 2, des tests de bout en bout ainsi que des tests de surface dans un contexte Data. Dans un contexte de transformation rapide des pratiques de test, l'utilisation de l'intelligence artificielle est désormais au cœur de nos activités. Le prestataire sera amené à utiliser des outils IA tels que GitHub Copilot et VS Code pour l'automatisation du cycle de vie des tests, ainsi que le génie logiciel assisté par IA sur Databricks J'accorde une importance particulière à l'amélioration continue, un principe clé de l'agilité, afin de progresser en permanence et de gagner en efficacité. Savoir Faire : - Expérience minimum de 4 ans en tant que QA avec des compétences de data analyste - Profil technico fonctionnel - SQL Server - JIRA/XRAY - Environnement Microsoft azure - Databricks - Utilisation de l'IA dans les tests (Génie Code) - Outils de reporting Power BI, Microstratégy Savoir Etre : - Collaboratif - Entraide - Force de proposition - Implication/Engagement - Amélioration Continue - Communication fluide

Le Data Engineer supervise et intègre des données de natures diverses provenant de sources multiples ; il vérifie la qualité des données entrant dans le Data Lake, en effectuant notamment des tests, la déduplication et les activités d'assurance qualité associées. Les principales responsabilités incluent : Qualification et gestion des données : - Collecte de données structurées et non structurées produites par différentes applications ou provenant de sources externes à l'entité - Intégration des éléments - Structuration des données (sémantique, etc.) - Cartographie des éléments disponibles - Nettoyage des données (élimination des doublons, etc.) - Validation des données - Création éventuelle du référentiel de données La plateforme de données permet à tous les domaines producteurs de données de mettre à disposition des données brutes ou retravaillées dans un Data Lake. Cette plateforme gère notamment les fonctionnalités et les données relevant du périmètre métier « Relation Réseau ». Elle permet : - L'intégration et l'assurance qualité des données brutes reçues des distributeurs - La mise à disposition de données GRD exploitables pour tous les besoins du segment et de l'organisation (qu'il s'agisse de besoins opérationnels ou analytiques issus de tous les domaines métiers) Principales missions : - Maîtrise des outils Databricks (création de jobs, clusters, notebooks) et capacité à effectuer des requêtes SQL efficaces - Maintien en conditions opérationnelles de la plateforme de production (analyse et correction d'incidents et d'anomalies) - Développement de jobs d'ingestion et de transformation de données en Python avec Spark pour traiter de grands volumes de données - Apport d'une vision à long terme, tant sur le plan opérationnel que stratégique pour la plateforme de données - Soutien et promotion des meilleures pratiques - Participation aux ateliers de conception technique et fonctionnelle - Rédaction et mise à jour de la documentation technique

Notre client dans le secteur Énergie et ressources naturelles recherche un/une Lead Data Engineer (H/F) H/F Description de la mission : Fiche de poste — Lead Data Engineer (H/F) Contexte et objectif de la mission Dans le cadre d'un programme de replatforming B2C, une organisation internationale construit une Data Platform centralisée à l'échelle mondiale, aujourd'hui fragmentée. L'objectif est de mettre en place une plateforme cloud-native, data-centric et scalable, au service des équipes data de plusieurs géographies, notamment la France, la Belgique et l'Australie. Le Core Model du programme repose sur un modèle de données unifié couvrant notamment les données clients, contrats et facturation. Le Lead Data Engineer intervient comme référent technique de la data platform, avec une responsabilité complète sur l'architecture, le delivery et la qualité des données. Stack technique • Data Platform : Databricks (lakehouse), Amazon S3, Amazon Managed Apache Flink • Gouvernance des données : Unity Catalogue, Collibra • Visualisation : Power BI • Cloud : AWS • Streaming : Confluent Kafka • Langages : Python, SQL • IA & coding : GitHub Copilot, Claude Code, outils LLM • Collaboration : Jira, Confluence, SonarQube Missions principales Stratégie & Architecture Data • Définir l'architecture de la data platform greenfield (lakehouse, zones bronze/silver/gold, data contracts) • Co-construire le Core Data Model commun aux différentes géographies tout en intégrant les spécificités locales • Mettre en place la gouvernance des données, la qualité et l'observabilité • Répondre aux besoins analytiques et fonctionnels des équipes métier via une approche de type catalogue as a service Leadership & Delivery • Être le référent technique data du programme • Choisir les partenaires et structurer une feature team de 5 à 6 personnes • Assurer la responsabilité end-to-end des pipelines, de l'ingestion à la restitution • Gérer le monitoring, la performance et l'optimisation FinOps des workloads data • Mettre en place les pratiques DataOps : automatisation des tests, CI/CD data, infrastructure as code IA & Vélocité • Exploiter GitHub Copilot, Claude Code ou équivalents pour accélérer le développement des pipelines et modèles • Intégrer des cas d'usage IA/ML dans la data platform, incluant data science, feature store et jeux de données prêts pour les LLM • Automatiser la génération de code, les tests de qualité des données et la documentation • Conserver la maîtrise technique tout en augmentant la vélocité grâce à l'IA Spécificités de l'équipe Le périmètre comprend un chantier amont de migration de l'ensemble des données France vers l'écosystème Kaluza, dans le cadre d'un programme de replatforming B2C. Cette migration implique deux modules en amont : • Module d'éligibilité : définir les paramètres business pour les parcours clients/agents • Module ETL : récupérer et transformer les données provenant de nombreux systèmes d'information avant injection dans Kaluza Complexité forte de l'ETL : • Orchestration multi-sources • Micro-batch quotidien pendant plusieurs mois • Gestion d'un service managé AWS (Glue, Step Functions, S3, Lambda…) • Connexions API pour orchestrer les flux Profil recherché Compétences indispensables • Services managés AWS (Glue, Step Functions, API Gateway, S3…) • Orchestration API • Expertise avancée Databricks, incluant Delta Lake, Unity Catalogue, Spark et workflows • Solide expérience AWS en environnement data, incluant S3, Glue, Kinesis ou Flink, IAM et sécurité cloud • Mindset IA natif avec usage actif de GitHub Copilot ou équivalent comme outil principal de développement • Maîtrise experte de Python, notamment PySpark, pandas et APIs • Expérience de conception d'une data platform from scratch • Culture DataOps : tests automatisés, CI/CD data, observabilité des pipelines • Approche lean et responsabilité end-to-end • Leadership et capacité à embarquer et structurer une équipe data Compétences appréciées • Expérience Unity Catalogue et gouvernance des données à l'échelle • Connaissance de Confluent Kafka et du streaming • Familiarité avec Collibra ou équivalent • Expérience en data modelling dans un contexte B2C • Déploiements IA/ML en production, incluant MLflow, feature engineering et pipelines LLM • Expérience de contextes multi-pays ou de data platform cross-entités Conditions • Type de contrat : Freelance (indépendant) • Démarrage : ASAP • Durée prévisionnelle : 3 ans minimum • Localisation : Colombes • Télétravail : environ 3 jours par semaine, flexible selon l'autonomie • TJM : à préciser selon profil Compétences / Qualités indispensables : Databricks et architecture lakehouse, AWS data managé (Glue, Step Functions, S3), Python / PySpark / SQL, DataOps et CI/CD data, Leadership technique et delivery end-to-end, Usage d'outils IA de développement (GitHub Copilot) Compétences / Qualités qui seraient un + : Unity Catalogue et gouvernance des données à l'échelle, Confluent Kafka et streaming, Collibra, data modelling B2C, déploiements IA/ML en production, contextes multi-pays ou cross-entitésInformations concernant le télétravail : Environ 3 jours par semaine, flexible selon l'autonomie

Description détaillée Au sein de la Direction des Systèmes d'Informations Mutualisés, vous rejoindrez le Train DATA, en charge des projets BI et Data pour l'ensemble des enseignes et des fonctions d'appui En tant que QA doté de compétences en analyse de données, vous intégrerez le pôle Qualité Data et serez rattaché à la squad Équipement de la Maison. Votre rôle consistera à préparer et exécuter les cas de tests, constituer les jeux de données nécessaires, assurer le suivi des défauts identifiés et contribuer à l'amélioration continue de la qualité des données. Le Data Lab fonctionne en organisation agile et réunit des équipes pluridisciplinaires favorisant la collaboration et l'autonomie. Vous travaillerez avec des rituels agiles, cadrés, trimestriels et des cycles de réalisation de 3 semaines (sprint planning, affinage, sprint review et daily meeting). Vos missions : - Participer aux ateliers/rituels agiles - Réaliser la stratégie de test - Identifier et réceptionner les environnements de test - Analyser et évaluer les cas d'usage/User Story - Rédiger les plans de test, identifier les prérequis et spécifier les jeux de données - Exécuter les cas de tests - Créer et suivre les défauts avec les différentes parties prenantes - Maintien du référentiel de test - Réaliser le PV de recette - Présentation des sujets en CAB pour passage en production - Une expérience/compétence dans le retail serait un plus. En plus du test fonctionnel, vous serez amené à effectuer des tests d'intégration 2 à 2, des tests de bout en bout ainsi que des tests de surface dans un contexte Data. Dans un contexte de transformation rapide des pratiques de test, l'utilisation de l'intelligence artificielle est désormais au cœur de nos activités. Le prestataire sera amené à utiliser des outils IA tels que GitHub Copilot et VS Code pour l'automatisation du cycle de vie des tests, ainsi que le génie logiciel assisté par IA sur Databricks J'accorde une importance particulière à l'amélioration continue, un principe clé de l'agilité, afin de progresser en permanence et de gagner en efficacité. Savoir Faire : - Expérience minimum de 4 ans en tant que QA avec des compétences de data analyste - Profil technico fonctionnel - SQL Server - JIRA/XRAY - Environnement Microsoft azure - Databricks - Utilisation de l'IA dans les tests (Génie Code) - Outils de reporting Power BI, Microstratégy Savoir Etre : - Collaboratif - Entraide - Force de proposition - Implication/Engagement - Amélioration Continue - Communication fluide

Contexte et objectif de la mission Dans le cadre du renforcement d'un Centre d'Expertise Data, la mission vise à intervenir sur des projets à forte valeur métier autour de la Data Science, de l'Intelligence Artificielle et de l'analytique avancée. Le consultant participera à l'identification, la conception, le développement et le déploiement de cas d'usage data au service de différentes entités du groupe. Missions principales / responsabilités • Identifier, qualifier et prioriser des cas d'usage Data Science à forte valeur métier • Réaliser les projets de Data Science en respectant le modèle de delivery du Centre d'Expertise Data • Développer des analyses, modèles prédictifs et algorithmes répondant aux besoins métiers • Orienter les travaux vers la création de valeur et la prise de décision opérationnelle • Assurer l'interface avec les équipes métiers et techniques • Participer aux instances projets : kick-off, sprint review, COPIL, ateliers • Accompagner le déploiement des modèles en production et leur intégration dans les processus métier • Valoriser les résultats via des démonstrations, présentations et communications internes

ACCROCHE SI TU AIMES PILOTER DES APPLICATIONS COMME UN CHEF D'ORCHESTRE, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d'une équipe dynamique Participer à des projets innovants d'envergure Relever des défis liés à la gestion des applications métiers Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d'un acteur majeur du secteur de la grande disctribution, tu participeras à la gestion, l'évolution et la performance d'un portefeuille d'applications stratégiques, en lien étroit avec les équipes métiers, techniques et projets : Les besoins métiers et leur priorisation, tu piloteras Les évolutions fonctionnelles et techniques, tu cadreras La qualité de service et la continuité applicative, tu assureras Les prestataires et contributeurs IT, tu coordonneras Les tests, la documentation et les livraisons, tu superviseras Les incidents et demandes utilisateurs, tu suivras Ton équipe ou ton écosystème projet, tu accompagneras Aux instances de gouvernance et de pilotage, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d'une expérience de 4 à 10 ans minimum en gestion ou pilotage d'applications SI Expert(e) des processus Azure Datafactory, Spark SQL, Scala Habile avec les outils ITIL, Agile, AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n'aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l'essentiel Capacité d'adaptation : tu es un vrai caméléon Sens de la communication : les mots n'ont pas de secret pour toi Force de proposition : tu es l'Aladdin de l'informatique Esprit d'équipe : un pour tous et tous pour un !

Mission Freelance : Lead Data Engineer / Expert Databricks & Spark (H/F) 📋 Contexte de la missionAu sein d'un grand pôle industriel et de sa direction des systèmes d'information, vous rejoignez l'équipe Transverse SI Chaînes Communicantes à Lyon. Cette équipe, actuellement en pleine phase de structuration, pilote et supervise des projets d'envergure commune. L'objectif majeur de votre intervention est d'accompagner la migration globale et l'industrialisation d'une nouvelle plateforme data cible autour des technologies les plus modernes du marché. Vous serez l'un des piliers techniques pour mener à bien la refonte complète de nos applications d'informatique décisionnelle (Business Intelligence) à forte valeur ajoutée. 🎯 Vos principales responsabilités1. Ingénierie Data & Développement (Activité principale)Pipelines de données : Concevoir, développer et maintenir des pipelines de données robustes sous Databricks et Spark. Traitements complexes : Développer l'ensemble des flux de traitement de données en Python, PySpark et SQL. Modélisation : Contribuer activement à la définition et à la mise en œuvre du modèle de données cible en exploitant Delta Lake et Unity Catalog. Orchestration : Assurer l'ordonnancement des traitements via Databricks Workflows et Lakeflow Jobs. 2. Industrialisation & QualitéStandards de production : Mettre en œuvre des pratiques d'industrialisation poussées (tests unitaires/d'intégration, pipelines CI/CD pour la Data). Performance & FinOps : Optimiser l'exécution des requêtes techniques, garantir la scalabilité du système tout en maîtrisant les coûts d'infrastructure cloud. MCO : Participer au suivi de la production (Run), analyser les incidents techniques et piloter l'amélioration continue de la plateforme (fiabilité et observabilité). 3. Cadrage & Accompagnement (Activité secondaire)Participer au cadrage fonctionnel des besoins en étroite collaboration avec le Product Owner et les équipes utilisatrices. Assurer l'interfaçage de la plateforme avec Power BI pour faciliter l'exposition et la consommation des données par le métier. Contribuer à l'intégration de flux d'alimentation temps réel vers le datalake (via Kafka). Rédiger la documentation technique et animer les rituels agiles au sein de la feature team. 👤 Profil recherchéNous recherchons un Lead Data Engineer / Expert Databricks senior (Niveau 3) capable de démontrer une autonomie complète après une phase d'intégration de 4 jours sur nos spécificités métiers. Vous devez justifier d'une expertise confirmée de 4 ans minimum sur l'environnement Databricks, idéalement validée par une certification officielle de l'éditeur. Votre parcours témoigne obligatoirement d'une participation active à un projet d'envergure de migration ou de transformation d'architectures data, soutenu par de solides compétences en modélisation de données (Delta Lake, Unity Catalog). Sur le plan technique, vous possédez une maîtrise parfaite de l'écosystème Spark / PySpark, de Python et de SQL, ainsi qu'un savoir-faire éprouvé dans l'automatisation de l'infrastructure via Terraform pour les sujets Cloud et Databricks. Au-delà de vos compétences de développeur émérite, vous affichez un véritable leadership technique naturel (sans posture managériale requise) qui vous permet de guider, structurer, standardiser et documenter le travail d'une équipe. Force de proposition, orienté solutions robustes et pragmatiques, vous savez collaborer avec des profils variés, allant des Data Scientists et experts BI jusqu'au Product Owner et interlocuteurs métiers. 💻 Environnement de travailVous évoluerez au cœur de Lyon au sein d'une structure moderne favorisant un équilibre de vie professionnelle grâce à un accord de télétravail fixé à 50%. La mission s'inscrit dans un cadre méthodologique strictement Agile, au sein d'une équipe transverse dynamique et en pleine construction, actuellement composée d'un chef de projet et appuyée par des experts du pôle (référents techniques, managers, coordinateurs). La stack technique mise à votre disposition est à la pointe de l'ingénierie des données : Databricks, Spark, PySpark, Delta Lake, Unity Catalog, le tout s'exécutant sur un environnement cloud public. L'industrialisation, l'observabilité et la qualité de service sont au centre des préoccupations de cette DSI, s'appuyant sur des chaînes CI/CD automatisées et de l'Infrastructure as Code. Vous aurez l'opportunité d'intervenir sur des flux de données complexes, incluant l'ingestion de sources variées, l'intégration de technologies événementielles comme Kafka, et la liaison étroite avec des outils de restitution de premier ordre tels que Power BI. Aucun horaire décalé (HHN) ni aucune astreinte ne sont prévus pour cette mission, vous assurant un cadre de production stable au quotidien. 🛠️ Stack technique récapitulativeIncontournables (Niveau Expert) : Databricks, Spark, PySpark, Python, SQL. Architecture Data : Modélisation de données, Delta Lake, Unity Catalog. DevOps / Industrialisation : CI/CD, Tests automatisés, Terraform, Databricks Workflows. Écosystème apprécié : Kafka, Lakeflow / DLT, Power BI, Certifications Cloud.

Contexte : Le projet Data Lake était initialement porté par la Branche Grand Public et Numérique (BGPN) de [COMPANY]. Dans le cadre de l'évolution de sa plateforme Data vers Azure (projet Data Cloud) l'équipe Data Cloud et IA Factory (DIAF) arrive à une étape clé de ce projet structurant pour l'ensemble du Groupe [COMPANY] : • Mise en production et ouverture aux utilisateur de la version 1.0 de Data Cloud (Azure Darabricks) • Stabilisation d'ODLG (Cloudera) • Migration progressive d'ODLG vers la nouvelle plateforme Data Cloud • Accompagnement des branches sur la décroissance et l'optimisation des consommations Azure • Rapprochement vers une gouvernance i-TEAM • Intégration dans les processus de supervision et de support i-TEAM • Réflexion sur la mise en œuvre d'un nouveau Catalogue de Services • Accompagnement et soutien de l'équipe dans cette transformation La mission consiste à intégrer l'équipe DIAF sur un rôle transverse pour apporter un support dans les processus de stabilisation et de migration. La prestation inclue : • Analyse des résultats l'audit Cloudera et accompagnement de l'équipe dans le suivi du plan de remédiation • Renfort des actions liées à AIG • Soutien aux équipes socle Data Cloud et ODLG • Soutien aux équipes Outils & Usages • Analyse et optimisation des ressources sur Cloudera et Data Cloud • Accompagnement des plans de migrations et optimisation 1. Gestion des obsolescences Le prestataire devra s'assurer de la maintenabilité des versions liées au support des éditeurs ou de l'image middleware PaaS/IaaS proposée : Gestion de l'obsolescence des socles et images 2. Livrables / Résultats attendus • Suivi évaluation et CR des activités liées à l'audit Cloudera • Analyse et plan de mitigation des "requêtes lourdes" Cloudera • Proposition d'optimisations des séquences des job avec plan de mise en œuvre et suivi des actions • Suivi et reporting décroissance et décommissionnement ODLG • Bonnes pratiques de migration on-remise -> cloud 3. Cadre technique de la prestation : environnements techniques, outils et niveaux de maîtrise souhaités. Niveaux de compétences attendus : ? 0 : pas de connaissance ? 1 : connaissance de base ? 2 : pratique quotidienne ? 3 : expertise avérée. ? Jira 3 ? Cloudera 3 ? Azure 3 ? Databricks 3 ? Redhat 3 ? GitLab 3 ? Terraform 3 ? Pyhton 3 ? Dremio 3 4. Cadre fonctionnel de la prestation La réalisation des prestations requiert les compétences approfondies dans les domaines fonctionnels ci-dessous. ? Data model 3 ? Data Management 3 ? Data Viz 2 ? Sys admin 3 ? Data migration 3

Responsabilités principales : • Administrer les environnements Databricks et Dataiku : gestion des clusters, sécurité et gouvernance (Databricks Azure, Dataiku on prem) • Déployer et maintenir les pipelines de données (ETL/ELT) en production (MCO) • Automatiser le déploiement et la configuration IaC • Administrer des environnements Airflow, Starburst … • Assurer la fiabilité, l'intégrité et la qualité de la plateforme en production. • Définir et suivre les SLO/SLI ; rétablir le service en cas d'incident. • Participer à la conception d'architectures data end-to-end (ingestion, stockage, transformation, exposition) et anticiper les impacts sur la production. Compétences clés : - Techniques : • Linux (RHEL), Docker, Kubernetes / OpenShift • Databricks, Dataiku (connaissances avancées) • Airflow, Starburst, Domino AI (un plus) • Automatisation & IaC Git, Ansible, Terraform, Helm, DigitalAI, ArgoCD • Scripting : Python, SQL, Shell, YAML • Observabilité & Monitoring: ELK, SysDig, Dynatrace, Grafana • Cloud : IBM Cloud (Cloud Principal), Azure (pour la solution Databricks) - Métier & Soft skills : • Analyse, diagnostic, résolution de problèmes et définir des indicateurs pertinents (SLI/SLO) • Orientation fiabilité, performance et expérience utilisateur • Autonomie, sens des priorités et proactivité • Capacité à anticiper les besoins futurs en matière de Data & AI et à proposer des solutions innovantes pour améliorer la fiabilité et la performance des services. Profil recherché : • Expérience en DataOps, DevOps/IAOps/Architecture Data ou exploitation en production. • Maîtrise opérationnelle de Databricks et Dataiku sur des projets réels en production • Communication fluide et maitrise de l'anglais obligatoire pour un usage quotidien