Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Nous recherchons pour un de nos clients un MCO Databricks (H/F) afin de garantir la stabilité et l'exploitabilité en production des nouveaux traitements. Vous interviendrez à la croisée du Data Engineering, de la Production et du MCO, avec un rôle clé dans la montée en compétence de l'équipe. Vos missions Exploitation et MCO Databricks Suivre au quotidien les jobs et workflows Databricks en production, avec un contrôle des traitements de nuit dès 7h30. Analyser les échecs, identifier les causes racines et effectuer ou accompagner les relances. Diagnostiquer les incidents à partir des logs et métriques, et contribuer à leur correction. Participer à la gestion des problèmes pour réduire durablement les incidents récurrents. Industrialisation de la supervision Mettre en place ou améliorer le monitoring et l'alerting. Définir les contrôles à appliquer sur les pipelines Data. Contribuer à la construction de dashboards de supervision et de KPI MCO. Automatisation et amélioration continue Automatiser les actions répétitives de diagnostic et de reprise. Renforcer la fiabilité des pipelines et l'observabilité de la plateforme. Documentation et transmission Documenter les traitements en production, rédiger les runbooks et les procédures de relance et de reprise. Former et accompagner l'équipe MCO pour qu'elle gagne en autonomie sur les incidents récurrents.

Data Engineer/Expert Databricks Nantes ( 2 jours de télétravail max) Databricks, Azure Data Factory, Python, PySpark, SQL Nous recherchons un data engineer/expert databricks qui aura pour principales tâches: -Apporter à tous les niveaux de technicité, un support sur les outils, les langages, les SGBD, etc. concernés • Apporter des améliorations dans le code, les tests, les configurations • Auditer le code et préconiser des améliorations • Apporter de l'expertise/support lors de migrations de données • Optimiser des traitements, des bases de données • Gérer les patchs éditeurs -Organiser, suivre et participer aux développements d'objets, modules, fonctionnalités complexes • Assister (expertise) les développeurs et intervenir en support N1/N2, notamment en réalisant les travaux les plus complexes -Proposer, construire, alimenter et diffuser les outils de capitalisation, d'industrialisation et de mutualisation tels que les guides de bonnes pratiques, des bilans de projets, des retours d'expérience

Dans le cadre du développement de projets Data stratégiques, nous recherchons un Consultant Databricks / Data Engineer confirmé pour accompagner la conception, le développement et l'optimisation de solutions de traitement et de valorisation des données. Vous interviendrez dans un environnement Cloud moderne, au sein d'une équipe Data, afin de contribuer à la mise en place de pipelines de données performants, fiables et évolutifs. Missions principalesConcevoir, développer et maintenir des pipelines de données sur Databricks. Développer et optimiser les traitements Data avec Python, PySpark et SQL. Mettre en place des processus ETL/ELT pour l'intégration et la transformation des données. Exploiter Delta Lake et les architectures Lakehouse. Participer à l'industrialisation et à l'automatisation des flux Data. Optimiser les performances des traitements Spark. Assurer la qualité, la fiabilité et la sécurité des données. Collaborer avec les Data Engineers, Data Analysts et équipes métiers. Participer aux bonnes pratiques de développement, de documentation et de CI/CD.

Contexte de la mission Le client recherche un Business Analyst expérimenté en marchés de capitaux pour renforcer son équipe IT et participer au développement et au maintien de sa plateforme Capital Market Strategies (CMS). Le consultant interviendra à l'interface entre les équipes métiers et les équipes IT. Il collaborera notamment avec les équipes Front Office, Opérations, Risques, Conformité, Data Management et ESG, ainsi qu'avec des partenaires externes. Il sera rattaché au responsable IT CMS. Missions principales 1. Analyse métier et gestion de projets - Recueillir et analyser les besoins métiers. - Traduire les besoins en exigences fonctionnelles. - Proposer des solutions techniques en coordination avec les équipes IT. - Rédiger les spécifications fonctionnelles. - Accompagner les phases de tests et de recette. - Piloter les projets de la conception jusqu'à la mise en production. - Suivre les délais, le budget, la qualité, le périmètre et les dépendances. - Assurer le suivi de l'avancement et communiquer régulièrement avec les parties prenantes. 2. Coordination et gestion des connaissances - Collaborer avec les différentes équipes et les interlocuteurs situés sur plusieurs sites. - Assurer la transmission et la documentation des connaissances fonctionnelles et techniques. - Faire le lien entre les utilisateurs métiers, les équipes techniques et les prestataires externes. - Contribuer à la pérennité et à l'évolution de la plateforme. 3. Gouvernance et communication - Préparer les reportings d'activité à destination des équipes internes et du management. - Organiser et animer les comités de pilotage. - Préparer et animer des ateliers avec les équipes métiers. - Faciliter la communication entre les différentes parties prenantes tout au long du projet. Compétences techniques et fonctionnelles Compétences indispensables : - Bonne maîtrise des marchés de capitaux (Capital Markets). - Bonne connaissance des instruments financiers, notamment des produits de taux (Fixed Income). - Expérience confirmée dans le secteur de la gestion d'actifs (Asset Management). - Bonne compréhension du cycle de vie applicatif : recueil des besoins, conception, développement, livraison et support. - Expérience en interrogation de bases de données, transformation de données et automatisation. - Connaissance des environnements Data Hub. Applications et outils concernés : - Fusion Invest - Seismic - Bloomberg PORT - Adjuto - DataHub - Databricks - Applications internes du client

Nous recherchons un(e) Data Engineer H/F en CDI à Lyon capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : 9qqln2qz3p

Contexte de la missionDans le cadre de projets stratégiques de transformation et de modernisation des plateformes Data, nous recherchons un Tech Lead Databricks Senior pour piloter techniquement la conception, le développement et l'industrialisation de solutions Data à grande échelle. Vous interviendrez en tant que référent technique auprès des équipes Data Engineering et participerez activement aux choix d'architecture, à l'optimisation des performances et à la mise en place des bonnes pratiques de développement. Missions principalesAssurer le leadership technique d'une équipe de Data Engineers. Concevoir et faire évoluer des architectures Data basées sur Databricks. Piloter le développement et l'industrialisation des pipelines de données. Définir les standards techniques et les bonnes pratiques de développement. Accompagner les équipes sur Python, PySpark, SQL et Apache Spark. Optimiser les performances des traitements Big Data. Mettre en place des architectures Lakehouse avec Delta Lake. Garantir la qualité, la sécurité et la gouvernance des données. Participer aux choix d'architecture Cloud et aux décisions techniques. Réaliser des revues de code et accompagner la montée en compétences des développeurs. Superviser l'intégration continue et le déploiement des solutions Data. Collaborer avec les architectes, Product Owners et équipes métiers.

Freelance | 3 mois renouvelables (prolongation très probable de 6 à 12 mois) | Démarrage ASAP | Anglais Contexte Notre client construit une intégration de référence entre ses outils de modélisation actuarielle, notamment Prophet, et son socle de données finance. La première phase consiste à migrer les traitements Prophet / SQL Server vers Prophet / Databricks. Vous rejoignez l'équipe data pour concevoir, livrer et maintenir les pipelines et l'orchestration sur votre périmètre. Missions Migrer les traitements Prophet / SQL Server existants vers Databricks Construire et orchestrer les pipelines Databricks qui alimentent le socle de données finance avec les résultats des modèles actuariels Développer en Python, PySpark et SQL sur des volumes de données importants, selon une architecture médaillon Mettre en place des contrôles de qualité et de cohérence des données jusqu'à la source Documenter et tester unitairement le code, en suivant les pratiques gitflow Travailler avec les actuaires, la finance et les équipes data pour comprendre les données et leur sens métier

Dans le cadre du développement et de l'évolution de sa plateforme Data, notre client recherche un Tech Lead Data Engineering disposant d'une expertise avancée sur Databricks, PySpark et Unity Catalog. Le consultant interviendra comme référent technique pour accompagner les équipes dans la conception, le développement et l'industrialisation des solutions Data. MissionsPiloter les choix techniques et accompagner la conception des architectures Data sur Databricks. Concevoir, développer et optimiser les pipelines de traitement de données avec PySpark et Spark SQL. Mettre en œuvre et administrer Unity Catalog pour structurer la gouvernance, la gestion des accès et la traçabilité des données. Garantir la qualité, la performance et la fiabilité des traitements Data, notamment sur les environnements Delta Lake. Encadrer techniquement les Data Engineers, réaliser les revues de code et diffuser les bonnes pratiques de développement. Accompagner l'industrialisation des pipelines, l'automatisation des déploiements et l'intégration des pratiques CI/CD.

Missions principales ■ Être force de proposition et participer à la conception des solutions techniques avec les membres de l'équipe ■ Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels ■ Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc. ■ Concevoir et faire évoluer les architectures de données selon l'approche Databricks Medallion Architecture (Bronze, Silver, Gold) ■ Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API ■ Contribuer à l'amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations Activités ■ Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers ■ Mettre en œuvre et orchestrer les traitements de données avec Databricks ■ Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance ■ Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d'exécution ■ Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD ■ Concevoir, développer et maintenir des API pour l'exposition et la consommation des données ■ Mettre en place des mécanismes de Data Quality, de monitoring et d'alerting ■ Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives ■ Rédiger et maintenir la documentation technique des solutions mises en œuvre ■ Accompagner les équipes dans l'adoption des bonnes pratiques de Data Engineering

Informations généralesIntitulé du poste : Data Scientist Senior / Expert Python Secteur : Énergies renouvelables Localisation : La Garenne-Colombes (France) Date de démarrage souhaitée : 07/09/2026 Durée de mission : Long terme (jusqu'à 3 ans) Rythme : Temps plein (heures ouvrées) Missions principalesConception d'algorithmes et prototypage : Traduction des problématiques métiers en solutions Data. Réalisation d'études exploratoires sur la qualité des données. Développement itératif de prototypes pour de nouveaux cas d'usage IA / Data Science. Industrialisation et mise en production : Développement robuste orienté production (tests unitaires, intégration, non-régression). Intégration des standards Software Craftsmanship et DevOps. Déploiement, monitoring en conditions réelles, résolution d'incidents et maintenance évolutive. Contribution à l'architecture technique Data Science. Profil recherchéFormation : Bac+5 (ingénierie, informatique, mathématiques appliquées). Séniorité : Au moins 7 ans d'expérience (idéalement 8 à 10+ ans) en Data Science / ML Engineering dans un environnement industriel. Compétences requisesDomaineTechnologies & MéthodesLangages & FrameworksPython (niveau expert / 10+ ans), PySpark (expert)Data & CloudDatabricks (senior), Azure, AWSIA & Data ScienceMachine Learning classique (régression, classification, clustering), séries temporelles, Deep Learning, IA générative, IA agentiqueDevOps & OutilsDocker, Azure DevOps, Artifactory, Git / GitHub Actions, CI/CDPratiques logiciellesSoftware Craftsmanship, tests automatisés, scalabilité, documentationLangues & MétierAnglais courant (bilingue/expert), connaissance du domaine des énergies renouvelables

La mission consiste à intervenir sur des projets de Data Engineering et de développement de plateformes Data, avec pour objectif de concevoir, développer, industrialiser et optimiser des pipelines de traitement de données dans un environnement Cloud AWS et Databricks. Le consultant sera notamment chargé de : Développement Data : concevoir et développer des pipelines de données en Python et PySpark afin de collecter, transformer et traiter des volumes importants de données Expertise SQL : rédiger des requêtes SQL complexes, assurer la modélisation et la transformation des données, et optimiser les performances des traitements et des requêtes Databricks & DBT : développer et maintenir des traitements de données, structurer les transformations et garantir la fiabilité ainsi que la qualité des données Orchestration des workflows : mettre en place et gérer l'ordonnancement des pipelines et des traitements avec Airflow / Astro Scheduler Industrialisation & CI/CD : mettre en œuvre les processus de déploiement continu et d'intégration continue avec GitHub CI/CD, en veillant à la qualité, à la maintenabilité et à la fiabilité du code Environnement Cloud AWS : intervenir sur une architecture Data Cloud et exploiter les services AWS nécessaires au stockage, au traitement et à la gestion des données Développement assisté par IA : utiliser GitHub Copilot pour accélérer le développement, améliorer la productivité et optimiser la qualité du code Méthodologie Agile : participer aux cérémonies Agile, collaborer avec les différentes équipes techniques et fonctionnelles et contribuer à l'amélioration continue des solutions

Nous recherchons un Data Engineer Databricks / Dev Python pour rejoindre notre équipe dynamique. Résumé du poste : Ce rôle est essentiel pour accompagner les équipes sur des projets à forte valeur ajoutée autour de la data. Le candidat idéal aura une expérience significative en Databricks et Python, et sera capable de concevoir des solutions robustes tout en formant les utilisateurs. Principales responsabilités : Accompagner les équipes sur des projets à forte valeur ajoutée autour de la data. Intervenir au cœur de l'écosystème data pour concevoir, développer et maintenir des solutions robustes sur Databricks. Développer des notebooks Python (PySpark), SQL et R. Documenter les développements pour assurer leur maintenabilité. Industrialiser les notebooks incluant jobs, workflows et automatisation. Exigences clés : Minimum 5 ans d'expérience dans un rôle similaire. Expertise avancée sur Databricks et Python. Anglais courant requis. Capacité à travailler dans un environnement technique dynamique. Disponibilité pour travailler 2 jours sur site obligatoire. Qualifications complémentaires : Connaissance de l'environnement Cloud. Expérience avec les outils de visualisation de données. Détails supplémentaires : Ce poste est basé sur site 2 jours par semaine et nécessite une collaboration étroite avec différentes équipes pour garantir des livrables de qualité sur des projets complexes.

Nous recherchons un(e) Expert Databricks / Power BI H/F capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : d11rpyujmh

CONTEXTE Dans le cadre d'un environnement international de trading d'énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève. Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité. Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu'avec des équipes internationales basées notamment à Paris, Houston et Singapour. RESPONSABILITÉS Concevoir, maintenir et optimiser des pipelines de données batch et temps réel. Développer des solutions de streaming data à haute performance. Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake. Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis. Développer des pipelines et APIs en Python. Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM. Garantir la disponibilité, l'intégrité, la qualité et la performance des données. Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel. Participer à l'amélioration continue des pratiques de monitoring, CI/CD et observabilité. Collaborer avec les équipes métier et techniques dans un contexte international et exigeant. ENVIRONNEMENT TECHNIQUE Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana

Description des Besoins Enjeux et objectifs Un profil avec des connaissances sur les technologies Microsoft BI (SSIS, SSRS et SSAS) ainsi que la maitrise du SQL, doté d'un bon relationnel et ayant la volonté de travailler en équipe. Le profil devra avoir une capacité et une volonté de montée en charge et disposer d'un sens logique avancé. Par ailleurs il devra maitriser les composantes suivantes : · DataViz : rapports dynamiques et Power BI · Datawarehouse : conception et modélisation (DataBricks ) · Base de Données : SQL Server · ETL/ELT: SSIS Description des prestations et résultats attendus Description détaillée des tâches o Migration entrepôt legacy BDD o Migration Datahub BDD o Migration des ETL SSIS o Migration de procédures stockées o Migration DataViz SSRS, SSAS et power bi