Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks à Lyon

Nous recherchons un Tech Lead Databricks pour rejoindre l’équipe Data en pleine expansion de notre client, leader dans le domaine de la maitrise des risques. Vous aurez la responsabilité d’assurer la conception et la mise en œuvre de solutions de data engineering et data science sur la plateforme Databricks, tout en assurant le leadership technique pour une équipe de développeurs et data engineers. MISSIONS Leadership technique Coacher une équipe de data engineers, data scientists, et développeurs travaillant sur la plateforme Databricks Mettre en place des bonnes pratiques de développement et veiller à la qualité du code (revues de code, tests unitaires) Conception et architecture Concevoir et implémenter des solutions techniques sur Databricks pour répondre aux besoins des équipes métiers (data analytics, data science) Définir des architectures évolutives et performantes pour l'ingestion, le traitement et l’analyse des données Participer à la modélisation de données Travailler en étroite collaboration avec les architectes, les équipes applicatives et équipes métiers pour définir des solutions adaptées Développement et intégration Développer des pipelines de données et des workflows de traitement de données dans Databricks Assurer l'intégration des solutions avec d'autres outils et systèmes (bases de données, systèmes de stockage, outils de BI) Participer au développement des tableaux de bord sous Power BI Optimisation des performances Identifier et résoudre les problèmes de performance dans les flux de données et l'architecture Mettre en place des mécanismes d'optimisation des coûts liés à l’utilisation de la plateforme Databricks Veille technologique et innovation Assurer une veille sur les nouvelles technologies et pratiques dans l’écosystème Big Data et Databricks Proposer des améliorations continues pour augmenter l’efficacité des processus et la qualité des données Accompagner et former les équipes IT aux bonnes pratiques ITIL

Nous recherchons un Tech Lead Data (H/F) pour intervenir sur un projet stratégique autour d’une plateforme digitale innovante, connectée à des infrastructures réparties dans plusieurs pays. L’objectif de la mission est de contribuer au développement, à l’évolution et au maintien en conditions opérationnelles d’un Data Lake et de ses pipelines. Vos principales responsabilités : Concevoir et développer des pipelines Data sur Databricks, Python, Spark SQL et Azure Blob Storages . Participer aux déploiements sur les environnements de test et de production. Assurer la maintenance corrective et évolutive des composants logiciels en production. Collaborer avec les équipes de développement Web, IoT, SQL et autres pôles techniques. Apporter un support technique et participer aux choix d’architecture et de conception. Contribuer activement à une organisation en méthodologie Agile (SCRUM) au sein d’une équipe pluridisciplinaire.

En tant que Data Engineer Databricks, nous vous proposons d’intégrer une équipe d’ingénieurs expérimentés et multi-compétentes. Au sein de nos clients issus de différents secteurs d'activité (Industrie, Services, Transport, Logistique, Banque, Assurances, Énergie), vous jouez un rôle clé dans la migration des données et des tâches de l'environnement Cloudera vers Databricks. Vous êtes également chargé d'automatiser le déploiement des jobs via le CI/CD. Pour réussir ces différents challenges, nous vous proposerons des actions de formation, des parrainages, des certifications sur les outils concernés et un dispositif d’évaluation personnel régulier.

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Ton quotidien chez Komeet sera rythmé par : - Animation des ateliers afin d’étudier et cadrer les besoins clients en collaboration avec le Data Platform Architect - Analyser, conseiller, et faire des recommandations de façon à améliorer l’efficience et l’efficacité de la solution Databricks chez ton client. - Préconisation, conception et mise en œuvre du LakeHouse Databricks - Rédaction de dossiers d’architecture et spécifications techniques - Mise en œuvre des stratégies d’exploitation de la plateforme Databricks - Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. - Tests, validation et documentation des développements - Réalisation d’audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Vos missions : Développer et maintenir des pipelines de données sur Databricks (Spark, notebooks, Delta Lake). Concevoir des modèles de données et des rapports interactifs sur Power BI. Ecrire et optimiser des requêtes SQL complexes pour l'analyse et la transformation des données. Automatiser des traitements et scripts en Python pour répondre à des besoins spécifiques (nettoyage, calculs, API…). Participer à la mise en place de bonnes pratiques de gouvernance des données (documentation, qualité, sécurité). Collaborer avec les équipes métiers pour comprendre les besoins et proposer des solutions adaptées. Assurer la maintenance évolutive et corrective des outils BI existants.