Mission freelance Architecte Data - Expert Databricks

Dans le cadre de la construction d'une nouvelle plateforme data cible, nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l'industrialisation de l'environnement autour de Databricks, Spark et Power BI.

Vous interviendrez sur la conception des pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Vous accompagnerez les équipes de développement pour garantir le respect des bonnes pratiques tout au long de la migration.

Vos principales activités :

• Concevoir, développer et maintenir des pipelines data sous Databricks / Spark

• Développer les traitements en Python, PySpark et SQL

• Contribuer à la définition et à la mise en oeuvre du modèle de données cible

• Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement

• Mettre en place des traitements robustes, maintenables et scalables

• Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs

• Contribuer à la qualité, à l'observabilité et à la fiabilité des traitements

• Participer au run : suivi de production, analyse d'incidents, amélioration continue

• Prendre en compte les enjeux de performance et de maîtrise des coûts

En activités secondaires, vous participerez au cadrage des besoins avec le Product Owner et les équipes utilisatrices, contribuerez aux choix techniques de la plateforme, à l'interfaçage avec Power BI et à l'intégration de sources d'alimentation du datalake.