Mission freelance Architecte/ Lead Expert Databricks
Lyon (69)
Management Square
Le poste Architecte/ Lead Expert Databricks
Partager cette offre
Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...).
La mission du projet : Accompagner la migration et l’industrialisation d’une plateforme data cible autour de Databricks / Spark / Power BI
Description du profil:
Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l’industrialisation d’une nouvelle plateforme data.
Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés.
Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration.
Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l’exposition des données vers les usages analytiques.
Objectifs et livrables
Activité principale :
Concevoir, développer et maintenir des pipelines data sous Databricks / Spark
Développer les traitements en Python, PySpark et SQL
Contribuer à la définition et à la mise en œuvre du modèle de données cible
Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement
Mettre en place des traitements robustes, maintenables et scalables
Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs
Contribuer à la qualité, à l’observabilité et à la fiabilité des traitements
Participer au run : suivi de production, analyse d’incidents, amélioration continue
Prendre en compte les enjeux de performance et de maîtrise des coûts
Activité secondaire :
Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices
Contribuer aux choix techniques liés à la nouvelle plateforme data
Participer à la mise en place des pratiques de développement Databricks
Contribuer à l’interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI
Participer à l’intégration de sources d’alimentation du datalake, Kafka apprécié
Contribuer à la documentation technique et aux standards d’équipe
Participer aux rituels agiles et à l’amélioration continue de la feature team
Stack technique de l'équipe:
Obligatoires : Databricks, Spark, PySpark, Python, SQL
Obligatoires : Modélisation data, Delta Lake, Unity Catalog
Obligatoires : CI/CD, tests, industrialisation des pipelines
Demandées : Certification Databricks, cloud public, Terraform
Demandées : Databricks Workflows, observabilité
Appréciées : Kafka, Lakeflow / DLT, Power BI
Appréciées : Certification cloud
Profil recherché
Compétences attendues sur le profil :
Compétences techniques
Expertise confirmée sur Databricks
Très bonne maîtrise de Spark / PySpark
Très bonne maîtrise de Python et SQL
Solide compétence en modélisation de données
Bonne connaissance de Delta Lake et Unity Catalog
Expérience en industrialisation de pipelines data : CI/CD, tests, déploiement
Expérience sur des environnements cloud publics, sans cloud cible imposé
Connaissance de Terraform pour les sujets Databricks / cloud
Bonne pratique de Databricks Workflows
Sensibilité à l’observabilité, à la qualité de service et à la maintenabilité
Appétence pour les sujets de performance et de maîtrise des coûts
Kafka apprécié pour l’ingestion de données vers le datalake
Power BI apprécié pour les usages d’exposition et de consommation BI
Certification Databricks attendue
Certification cloud appréciée
Posture attendue
Autonomie forte après montée en compétence sur le contexte
Leadership technique sans posture managériale obligatoire
Capacité à structurer, standardiser et documenter
Force de proposition et esprit d’amélioration continue
Capacité à travailler avec des profils Data, BI, PO et métier
Orientation solutions robustes, maintenables et industrialisables
Impératif 1 : Expertise Databricks confirmée : minimum 4 ans, avec certification Databricks
Impératif 2 : Expérience concrète en modélisation de données
Impératif 3 : Participation à un projet de migration ou transformation data
Environnement de travail
Compétences techniques
Expertise confirmée sur Databricks
Très bonne maîtrise de Spark / PySpark
Très bonne maîtrise de Python et SQL
Solide compétence en modélisation de données
Bonne connaissance de Delta Lake et Unity Catalog
Expérience en industrialisation de pipelines data : CI/CD, tests, déploiement
Expérience sur des environnements cloud publics, sans cloud cible imposé
Connaissance de Terraform pour les sujets Databricks / cloud
Bonne pratique de Databricks Workflows
Sensibilité à l’observabilité, à la qualité de service et à la maintenabilité
Appétence pour les sujets de performance et de maîtrise des coûts
Kafka apprécié pour l’ingestion de données vers le datalake
Power BI apprécié pour les usages d’exposition et de consommation BI
Certification Databricks attendue
Certification cloud appréciée
Posture attendue
Autonomie forte après montée en compétence sur le contexte
Leadership technique sans posture managériale obligatoire
Capacité à structurer, standardiser et documenter
Force de proposition et esprit d’amélioration continue
Capacité à travailler avec des profils Data, BI, PO et métier
Orientation solutions robustes, maintenables et industrialisables
Impératif 1 : Expertise Databricks confirmée : minimum 4 ans, avec certification Databricks
Impératif 2 : Expérience concrète en modélisation de données
Impératif 3 : Participation à un projet de migration ou transformation data
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Architecte/ Lead Expert Databricks
Management Square