Tech Lead Databricks 14/12/2026 1 an Nantes ( 4 jours de télétravail) Databricks, Azure Data Factory, Python, PySpark, SQL Dans le cadre d'un projet de migration des usages datalake de la plateforme existante on premise ODLG vers une plateforme Datacloud basée sur Databricks, nous recherchons un tech lead en accompagnement des équipes de développement. Les principales tâches seront: - Participer à la conception des usages suivant l'architecture définie. - Porter l'instruction des sujets techniques - Aider les équipes en place à monter en compétence, - Garantir la qualité du delivery des équipes - Être vigilant sur les bonnes pratiques du point de vue FINOPS - S'assurer de la cohérence des versions déployées en production - Participer au support N3 de la production - Réaliser les développements en langage python / Spark - Remonter rapidement les points bloquants - Documenter ses travaux
Data Engineer/Expert Databricks Nantes ( 2 jours de télétravail max) Databricks, Azure Data Factory, Python, PySpark, SQL Nous recherchons un data engineer/expert databricks qui aura pour principales tâches: -Apporter à tous les niveaux de technicité, un support sur les outils, les langages, les SGBD, etc. concernés • Apporter des améliorations dans le code, les tests, les configurations • Auditer le code et préconiser des améliorations • Apporter de l'expertise/support lors de migrations de données • Optimiser des traitements, des bases de données • Gérer les patchs éditeurs -Organiser, suivre et participer aux développements d'objets, modules, fonctionnalités complexes • Assister (expertise) les développeurs et intervenir en support N1/N2, notamment en réalisant les travaux les plus complexes -Proposer, construire, alimenter et diffuser les outils de capitalisation, d'industrialisation et de mutualisation tels que les guides de bonnes pratiques, des bilans de projets, des retours d'expérience
CONTEXTE Dans le cadre d'un environnement international de trading d'énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève. Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité. Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu'avec des équipes internationales basées notamment à Paris, Houston et Singapour. RESPONSABILITÉS Concevoir, maintenir et optimiser des pipelines de données batch et temps réel. Développer des solutions de streaming data à haute performance. Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake. Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis. Développer des pipelines et APIs en Python. Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM. Garantir la disponibilité, l'intégrité, la qualité et la performance des données. Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel. Participer à l'amélioration continue des pratiques de monitoring, CI/CD et observabilité. Collaborer avec les équipes métier et techniques dans un contexte international et exigeant. ENVIRONNEMENT TECHNIQUE Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana
Nous recherchons pour un de nos clients un MCO Databricks (H/F) afin de garantir la stabilité et l'exploitabilité en production des nouveaux traitements. Vous interviendrez à la croisée du Data Engineering, de la Production et du MCO, avec un rôle clé dans la montée en compétence de l'équipe. Vos missions Exploitation et MCO Databricks Suivre au quotidien les jobs et workflows Databricks en production, avec un contrôle des traitements de nuit dès 7h30. Analyser les échecs, identifier les causes racines et effectuer ou accompagner les relances. Diagnostiquer les incidents à partir des logs et métriques, et contribuer à leur correction. Participer à la gestion des problèmes pour réduire durablement les incidents récurrents. Industrialisation de la supervision Mettre en place ou améliorer le monitoring et l'alerting. Définir les contrôles à appliquer sur les pipelines Data. Contribuer à la construction de dashboards de supervision et de KPI MCO. Automatisation et amélioration continue Automatiser les actions répétitives de diagnostic et de reprise. Renforcer la fiabilité des pipelines et l'observabilité de la plateforme. Documentation et transmission Documenter les traitements en production, rédiger les runbooks et les procédures de relance et de reprise. Former et accompagner l'équipe MCO pour qu'elle gagne en autonomie sur les incidents récurrents.
Dans le cadre du développement de projets Data stratégiques, nous recherchons un Consultant Databricks / Data Engineer confirmé pour accompagner la conception, le développement et l'optimisation de solutions de traitement et de valorisation des données. Vous interviendrez dans un environnement Cloud moderne, au sein d'une équipe Data, afin de contribuer à la mise en place de pipelines de données performants, fiables et évolutifs. Missions principalesConcevoir, développer et maintenir des pipelines de données sur Databricks. Développer et optimiser les traitements Data avec Python, PySpark et SQL. Mettre en place des processus ETL/ELT pour l'intégration et la transformation des données. Exploiter Delta Lake et les architectures Lakehouse. Participer à l'industrialisation et à l'automatisation des flux Data. Optimiser les performances des traitements Spark. Assurer la qualité, la fiabilité et la sécurité des données. Collaborer avec les Data Engineers, Data Analysts et équipes métiers. Participer aux bonnes pratiques de développement, de documentation et de CI/CD.
Fiche de Mission: Datascience sur Azure Databricks Data Science & Analyse avancée Cette mission couvre l'ensemble des activités d'analyse avancée de données. Analyse des données afin d'en tirer des insights. Préparation de la donnée. Classification et Segmentation. Conception de modèles d'analyses prédictives et prescriptives. Modélisation, entraînement, évaluation et mise en production de modèles. Mise en place de KPI de suivi de performance et industrialisation / alerting. Qualité & Documentation Tests unitaires et tests de non-régression. Rédaction de spécifications et documentation. Maintenance évolutive et corrective.
At CGI, we're helping to transform the future of healthcare through the power of data. As a Senior Data Engineer, you'll play a pivotal role in designing, building, and optimising data platforms that underpin critical national services. Working at the heart of our Healthcare team, you'll use your expertise in AWS, Databricks, and Python to deliver high-impact solutions that improve outcomes, enhance decision-making, and drive innovation across the sector. You'll collaborate with experts who share your passion for problem-solving, ownership, and technical excellence—empowered to shape the data foundations of tomorrow. CGI was recognised in the Sunday Times Best Places to Work List 2025 and has been named a UK 'Best Employer' by the Financial Times. We offer a competitive salary, excellent pension, private healthcare, plus a share scheme (3.5% + 3.5% matching) which makes you a CGI Partner not just an employee. We are committed to inclusivity, building a genuinely diverse community of tech talent and inspiring everyone to pursue careers in our sector, including our Armed Forces, and are proud to hold a Gold Award in recognition of our support of the Armed Forces Corporate Covenant. Join us and you'll be part of an open, friendly community of experts. We'll train and support you in taking your career wherever you want it to go. Due to the secure nature of the programme, you will need to hold UK Security Clearance or be eligible to go through this clearance. This is a hybrid position based in Leeds.
Nous recherchons un(e) Data Engineer H/F en CDI à Lyon capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : 9qqln2qz3p
Contexte de la missionDans le cadre de projets stratégiques de transformation et de modernisation des plateformes Data, nous recherchons un Tech Lead Databricks Senior pour piloter techniquement la conception, le développement et l'industrialisation de solutions Data à grande échelle. Vous interviendrez en tant que référent technique auprès des équipes Data Engineering et participerez activement aux choix d'architecture, à l'optimisation des performances et à la mise en place des bonnes pratiques de développement. Missions principalesAssurer le leadership technique d'une équipe de Data Engineers. Concevoir et faire évoluer des architectures Data basées sur Databricks. Piloter le développement et l'industrialisation des pipelines de données. Définir les standards techniques et les bonnes pratiques de développement. Accompagner les équipes sur Python, PySpark, SQL et Apache Spark. Optimiser les performances des traitements Big Data. Mettre en place des architectures Lakehouse avec Delta Lake. Garantir la qualité, la sécurité et la gouvernance des données. Participer aux choix d'architecture Cloud et aux décisions techniques. Réaliser des revues de code et accompagner la montée en compétences des développeurs. Superviser l'intégration continue et le déploiement des solutions Data. Collaborer avec les architectes, Product Owners et équipes métiers.
Nous recherchons un expert pour rejoindre l'équipe OPS d'une application critique de la chaîne de calcul du risque de crédit d'un grand groupe bancaire. L'application est fortement sollicitée lors des arrêtés réglementaires mensuels et trimestriels, ce qui exige un haut niveau de fiabilité, de sécurité et de performance. Vos missions :Assurer l'exploitation et la supervision de la plateforme (niveau N3) Sécuriser l'environnement AWS et Databricks : gestion des accès, chiffrement, durcissement, conformité Garantir la résilience et la performance de la plateforme en période de closing Participer aux astreintes et résoudre les incidents complexes Diagnostiquer l'origine des incidents (infrastructure ou applicatif) Contribuer à la migration et à l'optimisation des briques on-premise vers le cloud
Missions principales ■ Être force de proposition et participer à la conception des solutions techniques avec les membres de l'équipe ■ Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels ■ Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc. ■ Concevoir et faire évoluer les architectures de données selon l'approche Databricks Medallion Architecture (Bronze, Silver, Gold) ■ Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API ■ Contribuer à l'amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations Activités ■ Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers ■ Mettre en œuvre et orchestrer les traitements de données avec Databricks ■ Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance ■ Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d'exécution ■ Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD ■ Concevoir, développer et maintenir des API pour l'exposition et la consommation des données ■ Mettre en place des mécanismes de Data Quality, de monitoring et d'alerting ■ Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives ■ Rédiger et maintenir la documentation technique des solutions mises en œuvre ■ Accompagner les équipes dans l'adoption des bonnes pratiques de Data Engineering
Informations généralesIntitulé du poste : Data Scientist Senior / Expert Python Secteur : Énergies renouvelables Localisation : La Garenne-Colombes (France) Date de démarrage souhaitée : 07/09/2026 Durée de mission : Long terme (jusqu'à 3 ans) Rythme : Temps plein (heures ouvrées) Missions principalesConception d'algorithmes et prototypage : Traduction des problématiques métiers en solutions Data. Réalisation d'études exploratoires sur la qualité des données. Développement itératif de prototypes pour de nouveaux cas d'usage IA / Data Science. Industrialisation et mise en production : Développement robuste orienté production (tests unitaires, intégration, non-régression). Intégration des standards Software Craftsmanship et DevOps. Déploiement, monitoring en conditions réelles, résolution d'incidents et maintenance évolutive. Contribution à l'architecture technique Data Science. Profil recherchéFormation : Bac+5 (ingénierie, informatique, mathématiques appliquées). Séniorité : Au moins 7 ans d'expérience (idéalement 8 à 10+ ans) en Data Science / ML Engineering dans un environnement industriel. Compétences requisesDomaineTechnologies & MéthodesLangages & FrameworksPython (niveau expert / 10+ ans), PySpark (expert)Data & CloudDatabricks (senior), Azure, AWSIA & Data ScienceMachine Learning classique (régression, classification, clustering), séries temporelles, Deep Learning, IA générative, IA agentiqueDevOps & OutilsDocker, Azure DevOps, Artifactory, Git / GitHub Actions, CI/CDPratiques logiciellesSoftware Craftsmanship, tests automatisés, scalabilité, documentationLangues & MétierAnglais courant (bilingue/expert), connaissance du domaine des énergies renouvelables
Notre client dans le secteur Banque et finance recherche un/une Senior Data Engineer H/F Description de la mission : ContexteNotre client recherche un Senior Data Engineer pour accompagner sa transformation Data, développer de nouveaux pipelines et industrialiser les flux existants sur un environnement Azure / Databricks. Missions :Concevoir, développer et déployer des pipelines Data pour le reporting et l'analytics Auditer, refondre et optimiser les pipelines existants Accompagner l'intégration des flux sur la plateforme Data Groupe Garantir la fiabilité, la performance et la maintenance des pipelines en production Mettre en œuvre les bonnes pratiques DataOps, CI/CD, monitoring et SRE Diagnostiquer les incidents et assurer leur résolution Collaborer avec les équipes Data, Architecture et Produit Documenter les solutions et accompagner la montée en compétences des équipes Compétences requises :Azure et Databricks : expertise confirmée Certification Databricks PRO obligatoire Python et SQL : niveau avancé Data Engineering : pipelines, architecture Lakehouse, Medallion et modélisation dimensionnelle Kafka : traitement de données événementielles DataOps / SRE : CI/CD, tests automatisés, monitoring et gestion des incidents Anglais courant obligatoire Compétences / Qualités indispensables : Azure, Databricks, Certification Databricks PRO, Python, SQL, Data Engineering, Kafka, DataOps / SRE , Anglais Compétences / Qualités qui seraient un + : /Informations concernant le télétravail : Oui — 2 jours/semaine
Freelance | 3 mois renouvelables (prolongation très probable de 6 à 12 mois) | Démarrage ASAP | Anglais Contexte Notre client construit une intégration de référence entre ses outils de modélisation actuarielle, notamment Prophet, et son socle de données finance. La première phase consiste à migrer les traitements Prophet / SQL Server vers Prophet / Databricks. Vous rejoignez l'équipe data pour concevoir, livrer et maintenir les pipelines et l'orchestration sur votre périmètre. Missions Migrer les traitements Prophet / SQL Server existants vers Databricks Construire et orchestrer les pipelines Databricks qui alimentent le socle de données finance avec les résultats des modèles actuariels Développer en Python, PySpark et SQL sur des volumes de données importants, selon une architecture médaillon Mettre en place des contrôles de qualité et de cohérence des données jusqu'à la source Documenter et tester unitairement le code, en suivant les pratiques gitflow Travailler avec les actuaires, la finance et les équipes data pour comprendre les données et leur sens métier
Contexte de la mission : Dans le cadre d'un programme de transformation et de modernisation de sa plateforme Data, notre client souhaite renforcer son architecture décisionnelle afin de répondre à des enjeux croissants d'Analytics et d'Advanced Analytics. La mission s'inscrit dans un environnement Cloud déjà mature et vise à définir une architecture cible robuste, évolutive et gouvernée, capable de supporter des traitements batch et temps réel. Le consultant interviendra sur l'ensemble de la chaîne de valeur Data, depuis la définition des standards d'architecture jusqu'à l'accompagnement des équipes de développement et d'exploitation. Les domaines fonctionnels couverts pourront notamment concerner la supply chain, la logistique, les stocks, le transport ou la planification des activités. Responsabilités : - Réaliser l'analyse de l'architecture Data existante et identifier les axes d'amélioration, les risques et les écarts vis-à-vis des standards cibles ; - Concevoir et formaliser l'architecture Data cible sur les plateformes Azure et Databricks en s'appuyant sur les principes Medallion Architecture ; - Définir les modèles de données, les flux d'alimentation, les mécanismes d'intégration et les patterns techniques répondant aux besoins Analytics et Advanced Analytics ; - Concevoir les architectures de traitement batch et event-driven ainsi que les mécanismes d'accès aux données à faible latence ; - Animer les revues d'architecture, accompagner les équipes techniques dans les choix d'implémentation et garantir le respect des standards Data et Cloud ; - Participer à la structuration de la gouvernance Data et IT en intégrant les enjeux de sécurité, qualité des données, traçabilité et gestion des accès.
