Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Data Engineer Senior — Databricks — Descriptif du poste Dans le cadre du développement de nos activités data, nous recrutons un Data Engineer Senior spécialisé sur la plateforme Databricks. Vous intervenez sur la conception et l'industrialisation de plateformes de données lakehouse : vous cadrez les besoins avec les équipes métiers, vous définissez les architectures cibles, vous construisez les pipelines d'ingestion et de transformation, et vous assurez leur mise en production ainsi que leur optimisation en coût et en performance. Vous êtes l'interlocuteur technique direct des équipes métiers sur votre périmètre et vous accompagnez la montée en compétences des profils plus juniors. — Parmi vos missions 🛠 Concevoir et industrialiser les plateformes de données sur Databricks Concevoir des architectures lakehouse en couches (bronze / silver / gold) sur Delta Lake Développer et optimiser les pipelines d'ingestion et de transformation en PySpark et en SQL Industrialiser les traitements avec Databricks Workflows, Delta Live Tables et une chaîne CI/CD Optimiser les coûts et les performances : dimensionnement des clusters, partitionnement, Photon, gestion du cache Mettre en place la gouvernance et la qualité des données Structurer Unity Catalog : catalogues, schémas, gestion des droits, lignage Définir les règles de qualité, les tests et le monitoring des pipelines en production Documenter les modèles de données et les contrats d'interface avec les systèmes amont et aval Cadrer les besoins avec les équipes métiers Animer les ateliers de recueil de besoins et traduire les exigences en solutions data Préconiser les architectures cibles et arbitrer les choix techniques (batch ou streaming, build ou buy) Présenter et défendre vos recommandations auprès des interlocuteurs techniques comme métiers Piloter la livraison et faire monter l'équipe en compétences Piloter un lot de bout en bout : conception, chiffrage, livraison, respect des délais Encadrer les profils juniors en revue de code et en pair programming Diffuser les bonnes pratiques d'engineering : versioning, tests, revue, documentation — Modalités pratiques Lieu : Ile de France Type de contrat : CDI Date de démarrage : A définir Télétravail : Fonction des contraintes opérationnelles (en moyenne : 2 jours)

Bonjour, je recherche pour l'un de mes clients un(e) devOps / data engineer DATABRICKS. Skills : Databricks - AWS - Java Mission : -gérer l'infrastructure Cloud (AWS) -automatiser les déploiements -concevoir, développer, déployer et maintenir des pipelines de traitement de données sur la plateforme Databricks -développer et optimiser des traitements distribués avec Apache Spark afin de garantir la performance et la fiabilité des flux de données -développer et maintenir des API et des services avec Spring Boot N'hésitez pas à revenir vers moi pour des informations complémentaires.

Le consultant interviendra sur la gestion et la réalisation de projets IT dans le domaine des marchés de capitaux, en collaboration étroite avec les équipes Front Office, Operations, Risk, Compliance, Data Management et ESG, ainsi qu'avec les équipes IT internes et les partenaires externes. Responsabilités principales : Analyse métier et gestion de projets - Recueillir et analyser les besoins métiers - Traduire les besoins en exigences fonctionnelles - Proposer des solutions adaptées en collaboration avec les équipes IT - Rédiger les spécifications fonctionnelles - Participer aux phases de tests et de recette - Piloter les projets de la conception jusqu'à la mise en production - Suivre le périmètre, la qualité, les délais, le budget et les dépendances - Assurer le reporting et le suivi d'avancement auprès des parties prenantes Collaboration et gestion des connaissances - Collaborer avec différentes équipes métiers et techniques - Maintenir et développer la connaissance fonctionnelle et technique de la plateforme - Faire le lien entre les utilisateurs métiers, les équipes techniques et les fournisseurs externes Gouvernance et communication - Préparer les reportings d'activité - Organiser et animer les comités de pilotage et ateliers métiers - Faciliter la communication entre les différentes parties prenantes Applications concernées : Fusion Invest, Seismic, Bloomberg PORT, Adjuto, DataHub, Databricks, Applications développées en interne

L'équipe est chargée de la gestion transversale et globale des outils dédiés aux filières éolienne, solaire et hydraulique, en étroite collaboration avec Engie Digital et les systèmes d'information (SI) des différentes zones géographiques ; elle recherche actuellement un ingénieur plateforme de données (Data Platform Engineer). La mission s'effectuera au sein de l'équipe « Digital Delivery » ; elle consistera à soutenir la gouvernance des données ainsi que la gestion de la plateforme Databricks, et à piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks. Les objectifs de la mission sont les suivants : - Administrer et sécuriser la plateforme Databricks (gestion technique et opérationnelle) - Déployer et faire respecter la gouvernance des données appliquée à Databricks ainsi que les bonnes pratiques associées (structure du catalogue, organisation par domaines, règles d'accès et d'utilisation) - Piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks - Accompagner et soutenir les ingénieurs de données (data engineers) et les utilisateurs métiers (data citizens) dans l'utilisation de la plateforme - Intégrer les impératifs de cybersécurité, de conformité et de maîtrise des coûts dès la conception (« by design ») - Contribuer à la communauté informatique (échanges sur les bonnes pratiques, retours d'expérience, etc.) Activités principales : - Administration de la plateforme Databricks : administrer, surveiller et maintenir les espaces de travail (workspaces) Databricks (gestion technique et opérationnelle : espaces de travail, ressources de calcul, accès, coûts, sécurité, gestion des incidents) - Gouvernance des données sur Databricks : mettre en œuvre et faire évoluer le cadre de gouvernance des données sur la plateforme Databricks (structure du catalogue, organisation par domaines, règles d'accès, normes de nommage et de qualité) et garantir la conformité avec les politiques du Groupe - Migration depuis l'ancien « data lake » : piloter la migration des données de l'ancien « data lake » d'entreprise vers Databricks : évaluer le périmètre existant, définir l'architecture cible et la feuille de route, planifier et coordonner les vagues de migration avec les équipes « data », et sécuriser le basculement - Accompagnement et support des utilisateurs : accueillir et soutenir les nouveaux utilisateurs — des ingénieurs de données aux utilisateurs métiers — dans l'adoption de Databricks et l'application des bonnes pratiques ; Fournir de la documentation, du coaching et de la formation - DataOps sur Databricks : Concevoir et mettre en œuvre les pipelines permettant de promouvoir les actifs de données et le code entre les environnements Databricks (développement, test, production) et les catalogues, en utilisant l'intégration et le déploiement continus (CI/CD) basés sur Git ainsi que les outils natifs de Databricks (ex. : Databricks Asset Bundles), tout en encourageant l'adoption des pratiques DataOps au sein des équipes. - Veille technologique : Tester et évaluer les nouvelles fonctionnalités de Databricks (y compris les capacités d'IA) ainsi que les outils complémentaires, et recommander leur adoption. - Reporting et communication : Rendre compte de l'avancement de la plateforme et de la migration, et partager les meilleures pratiques ainsi que les retours d'expérience avec la communauté informatique. Principaux défis : • Adoption de la gouvernance : Amener les entités et les utilisateurs à adopter les normes définies en matière de catalogues, de domaines et d'accès, tout en garantissant une plateforme simple d'utilisation pour les utilisateurs métiers (« data citizens »). • Complexité de la migration : Migrer les données et les consommateurs de l'ancien « data lake » vers Databricks sans perturber les activités en cours, tout en préservant la qualité et la traçabilité (lignage) des données. • Équilibre entre exploitation (Run) et développement (Build) : Assurer la stabilité, la sécurité et la maîtrise des coûts de la plateforme tout en menant à bien la migration et en prenant en charge de nouveaux cas d'usage. Livrables attendus : ? Documentation sur la gouvernance et le modèle opérationnel : Structure des catalogues et des domaines, modèle d'accès, conventions de nommage et normes d'utilisation alignés sur les standards internes relatifs aux données et à l'IA. ? Plan de migration (de l'ancien data lake vers Databricks) et rapports d'avancement : Périmètre, priorisation, calendrier, risques et points de situation réguliers auprès des comités de pilotage. ? Supports d'intégration et de bonnes pratiques : Guides, modèles, architectures de référence (blueprints) et sessions de formation destinés aux ingénieurs de données et aux utilisateurs métiers. ? Rapports d'exploitation de la plateforme : Indicateurs de suivi, de coûts, de sécurité et de conformité de la plateforme Databricks.

Dans le cadre du renforcement d'une plateforme Data, nous recherchons un Tech Lead Data Engineering afin d'accompagner les équipes sur les sujets d'architecture, de développement et d'industrialisation des traitements de données. Le consultant jouera un rôle de référent technique et contribuera à la montée en maturité de la plateforme Data. Missions : Définir les choix d'architecture et les bonnes pratiques de développement autour de Databricks et AWS. Concevoir, développer et superviser les pipelines de données de bout en bout. Garantir la qualité, la performance et la fiabilité des traitements Data. Accompagner les Data Engineers dans les développements, les revues de code et la montée en compétences. Participer à la conception des modèles de données et à l'industrialisation des traitements. Collaborer avec les équipes Produit, UX/UI et les métiers afin de challenger les besoins et proposer les solutions techniques les plus adaptées. Contribuer à l'amélioration continue de la plateforme, à l'automatisation des déploiements et à l'optimisation des performances. Assurer une veille technologique et recommander les évolutions de l'écosystème Data.

Hello, Pour le compte de l'un de mes clients Lyonnais dans le secteur de l'énergie, je suis à la recherche d'un tech lead Spark/Java/Databricks. Description du profil : Les missions s'inscrivent dans une trajectoire progressive : Phase 1 : Modernisation des traitements existants • Migration de traitements Informatica et PL/SQL vers Spark (Java) • Participation à l'optimisation des traitements existants • Maintenance corrective et évolutive des traitements PL/SQL • Appropriation des processus métier derrière les flux de données Phase 2 : Refonte cloud (Databricks) • Participation au projet stratégique de migration vers le cloud • Conception et mise en œuvre de pipelines de données sur Databricks • Industrialisation des traitements dans un environnement moderne En parallèle des missions de développeur big data, le tech lead aura en charge la définition de la trajectoire technique de l'équipe Spark, l'animation et la montée en compétence des développeurs big data. Activité : • Concevoir, développer et maintenir des pipelines de données en Spark (Java) • Migrer des traitements legacy vers des architectures Big Data modernes • Assurer la maintenance des traitements existants SQL / PL-SQL • Garantir la performance, la robustesse et la qualité des données • Participer activement au RUN et à l'amélioration continue • Evolutions et MCO du socle technique • Définir les besoins sur l'outillage (workflow de dev, CI/CD) et participer aux évolutions en collaboration avec l'équipe DevOps • Définir les évolutions nécessaires sur le socle technique • Accompagner les DE dans la prise en main et la maitrise de la stack de développement (socle, spark, delta, databriks) • Assurer la cohérence globale du code produit par l'équipe. • Assurer la vision long terme et l'alignement des développements avec les objectifs métiers et techniques.

Profil recherchéVous disposez d'une solide expérience en développement Python et en conception logicielle. Vous maîtrisez les principes de programmation orientée objet et savez concevoir des composants modulaires, réutilisables et maintenables. Vous avez une expérience significative dans le traitement de données volumineuses et l'optimisation de calculs. Vous maîtrisez les tests automatisés, les bonnes pratiques de développement et les processus d'intégration continue. Vous avez déjà travaillé avec au moins un framework de calcul distribué : Ray, PySpark ou Dask. Vous êtes capable d'analyser du code existant, d'en évaluer la qualité et de garantir sa conformité aux standards techniques. Qualités attenduesRigueur technique : capacité à faire respecter les standards de développement et de qualité, notamment lors de l'intégration de code produit par des tiers. Autonomie et adaptabilité : aptitude à investiguer des environnements complexes, à résoudre des problèmes techniques et à appréhender de nouveaux outils. Pragmatisme : capacité à concilier qualité logicielle, performance et contraintes de mise en production. Communication : aisance dans les échanges avec des interlocuteurs techniques et métier. Anglais technique : capacité à exploiter la documentation et à échanger avec des équipes internationales. Les connaissances de l'écosystème Azure, des problématiques réseau et de sécurité ainsi que des plateformes Databricks et Dataiku DSS constitueront des atouts supplémentaires.

Je recrute un Lead Data Engineer - Microsoft Fabric / Azure Databricks Je recherche un profil Lead Data Engineer senior (7+ ans d'expérience) capable de combiner expertise technique, architecture Data et posture de consultant. Je recherche un Lead Data Engineer senior (10+ ans d'expérience) capable de combiner expertise technique, architecture Data et posture de consultant. Prérequis indispensables * Expertise hands-on Microsoft Fabric ET/OU Azure Databricks * Solide maîtrise de l'écosystème Data Microsoft / Azure * Expérience en architecture de plateformes Data modernes * Anglais courant / fluent * Excellente posture client : workshops, conseil, communication avec les stakeholders et leadership technique ⚠️ Microsoft Fabric ou Azure Databricks est indispensable. Si vous n'avez travaillé sur aucune de ces deux technologies, inutile de postuler à cette opportunité. Les sujets * Concevoir des plateformes Data greenfield * Moderniser des environnements Data & BI existants * Piloter techniquement des migrations vers le Cloud * Définir et challenger les choix d'architecture * Encadrer les équipes techniques * Intervenir comme référent Data & Analytics en avant-vente Je cherche donc quelqu'un qui ne soit pas uniquement un très bon Data Engineer : il faut pouvoir porter une architecture, challenger un client, prendre le lead techniquement et embarquer une équipe. 📍 CDI - 100 % full remote, avec une localisation obligatoire en France. 📩 Intéressé(e) ? Envoyez-moi directement votre CV en MP. #DataEngineering #MicrosoftFabric #AzureDatabricks #Azure #DataArchitecture #LeadDataEngineer #Microsoft Montreal Associates is acting as an Employment Agency in relation to this vacancy.

Au sein de la Data Tribe, vous participez à la conception, au développement et à l'exploitation de produits Data au service des équipes métier et des utilisateurs de la plateforme stratégique. L'équipe travaille à l'intersection de la Data Engineering, de l'Analytics et des plateformes Data, avec un fort enjeu autour de la fiabilité, de la performance et de la mise en production des solutions. La plateforme Data repose principalement sur Databricks et PySpark. Vous intervenez sur l'ensemble du cycle de vie des produits Data, de la compréhension du besoin métier jusqu'à leur exploitation en production. Vos missions En tant que Senior Data Engineer, vous serez notamment amené(e) à : Concevoir, développer et maintenir des pipelines Data robustes et industrialisés. Traduire les besoins métier en solutions Data scalables, performantes et maintenables. Travailler en étroite collaboration avec les Product Owners, équipes métier et équipes Analytics. Garantir la qualité, la fiabilité et la performance des données en production. Assurer le monitoring des pipelines et contribuer à la résolution des incidents. Identifier et mettre en œuvre des améliorations sur les modèles de données et les processus Data. Contribuer aux standards d'architecture, aux bonnes pratiques et aux décisions techniques. Participer aux revues de code et à l'amélioration continue des développements. Intervenir dans un contexte multi-BU, notamment sur le partage et la sécurisation des données avec des mécanismes de RLS / CLS. Prendre progressivement le rôle de référent Data Engineering sur un domaine métier.

Bonjour, Pour le compte de notre client on cherche e Tech Lead Data Product est en charge sur les périmètres de Data Product dont il a la charge : • Coordonner la conception des développements (pipelines, transformations, …) et de la plateforme (logiciel et infrastructure) en conformité avec les standards de l'entreprise (cybersécurité, architecture…) avec les équipes de Gouvernance. • Intervenir comme expert technique et mentor auprès des équipes (développeurs et/ou DevOps, Product Owners…) durant les phases de développement, d'intégration, de déploiement et d'exploitation. • Définir les standards de développement et les bonnes pratiques, valider l'intégration et la conformité des composants tiers, s'assurer de l'application des meilleures pratiques (respect des standards, qualité du code, bonnes pratiques de développement…). Planifier et superviser les sprints de développement. • Définir et mettre en œuvre les stratégies de tests, participer aux revues de code et aux tests. • Garantir la documentation technique et fonctionnelle, ainsi que la préparation opérationnelle. Assurer la sécurité et la performance des développements de de la plateforme, sa maintenabilité et sa résilience, en soutien au Delivery Lead. • Assurer une veille technologique active, proposer et mettre en œuvre des solutions innovantes pour améliorer les produits. Estimer les coûts et les délais pour l'industrialisation, la conformité, le passage à l'échelle et le déploiement. Promouvoir la culture FinOps au sein de l'équipe afin de mettre en œuvre le FinOps by design. • Construire et faire évoluer la feuille de route technique, en cohérence avec les priorités métier. • Piloter la mise en place des outils de monitoring applicatif et infrastructure. • Contribuer activement à la résolution d'incidents techniques complexes et accompagner la gestion du changement. • Traduire les besoins des parties prenantes en exigences techniques et inversement. Compétences demandées : AWS: Confirmé GITHUB: Avancé DATABRICKS: Confirmé Microsoft Azure: Confirmé Github Copilot: Avancé DEVOPS: Confirmé

Nous recherchons un(e) Data Engineer H/F en CDI à Lyon capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : 9qqln2qz3p

Nous recherchons un(e) Expert Databricks / Power BI H/F capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : yb792fgx05

Maîtrise de Java (21+), Python (FastAPI, Django), Spring Boot / Spring WebFlux, architecture hexagonale et DDD Maîtrise d'Angular (versions récentes) et des kits de développement internes (Condor, JRAF) Bonne connaissance du modèle SOA / Webservices REST Connaissance des outils CI/CD (Jenkins, Ansible) et conteneurisation (Docker/Kubernetes) Connaissance des outils de tests automatisés (JUnit, Mockito, Cypress, Pytest) Connaissance du gestionnaire de source GIT Connaissance sur Azure et l'utilisations des ressources Azure La mission consiste à assurer le rôle de développeur FULL STACK senior avec des contributions sur l'ensemble des projets d'intelligence artificielle développés pour le compte du métier et des projets DATA. Ce poste exige au-delà des compétences techniques, des expériences en mode de travail agile, une bonne communication, une capacité de synthèse et une compréhension fine des enjeux techniques comme métier. La mission consiste à assurer les phases suivantes des différents projets DATA et IA en cours : Interprétation et conception des briefs techniques Développement et paramétrage Test et contrôle qualité et production Documentation technique

Nous recherchons un profil : Architecte technique Data Sénior Le pôle BIGDATA développe sur son projet plusieurs use cases intégrant des données et produisant des résultats quotidiennement. Certains de ces use cases nécessitent des flux d'ingestion et d'exposition, via une datagateway ou autre voie, de la dataviz à connecter, des flux ETL auto. 2. Profil attendu : La mission nécessite des connaissances SI importantes. Une expérience en gestion d'application, de préférence dans un contexte BIGDATA. Il serait apprécié que le titulaire de la mission connaisse certains outils Bigdata tel que Azure, Databrick, Azure blob storage, Powerbi , PowerAutomate, PowerApp. La maitrise d'au moins un de ces éléments sera un plu Compétences clés : Connaissance de la Suite Office 365, en particulier Excel et PowerBI Bonne connaissance sur power automate Maitrise de JIRA pour gérer les tickets de travaux Maitrise absolue d'Unity Catalog (Co admin du metastore France en PRODUCTION) TRES bon niveau sous databricks (co admin workspace en PRODUCTION) Connaissance de SQL, XML, JSON

Dans le cadre du renforcement de ses équipes Data Platform / Data Factory, recherche un Data Engineer expérimenté pour intervenir sur ses projets Data. Le consultant intégrera un environnement Data en croissance, avec des enjeux d'industrialisation, de performance, de qualité et de gouvernance de la donnée. Missions principales Concevoir, développer et maintenir des pipelines de données. Assurer l'ingestion, la transformation et la mise à disposition des données. Développer et industrialiser les traitements Data sous Databricks / Spark. Participer à l'évolution de la Data Platform Azure. Optimiser les traitements et les performances des pipelines. Travailler sur la qualité, la fiabilité et la disponibilité des données. Participer aux problématiques de traitement batch et/ou temps réel. Contribuer aux bonnes pratiques de développement et d'industrialisation Data. Collaborer avec les équipes Data Platform, Data Engineering, Data Science et les équipes métiers. Contribuer aux enjeux de gouvernance et de sécurisation des données. Avec un écosystème Data Platform comprenant également des enjeux autour de Databricks Unity Catalog, notamment pour la gouvernance, le lineage et la gestion des accès.