Partager cette offre
Nous recherchons pour un de nos clients un Data Engineer Databricks confirmé (H/F) dans le cadre d’un projet de transformation data au sein d’une grande entreprise internationale, vous intégrerez une équipe agile composée de 8 personnes, rattachée à la Direction Data.
Vous interviendrez sur la mise en place et l’industrialisation de pipelines de données, ainsi que sur le suivi de leur lineage jusqu’aux cas d’usage métier. Vous contribuerez également à la diffusion des bonnes pratiques autour de Databricks et des méthodes modernes de développement data.
MissionsConcevoir et développer des pipelines de données performants et évolutifs sur Databricks.
Développer les traitements en Python / PySpark et SQL.
Optimiser les pipelines existants et améliorer les temps de traitement.
Mettre en œuvre les bonnes pratiques de partitionnement et de gestion des données.
Contribuer à l’optimisation de la gestion des clusters et de l’ordonnancement des traitements.
Participer à la mise en place et à l’adoption des Databricks Asset Bundles.
Intégrer les développements dans les processus CI/CD.
Travailler avec les outils de gestion de versions et de collaboration, notamment Git ou Azure DevOps.
Contribuer à la documentation et à la standardisation des architectures et processus.
Participer à la mise en place de pratiques de développement assistées par l’IA, notamment avec GitHub Copilot et Visual Studio Code.
Apporter un support technique aux membres de l’équipe sur Databricks et les pipelines développés.
Collaborer dans un environnement agile avec des équipes françaises et internationales.
Profil recherché
Vous justifiez d’au moins 2 ans d’expérience en data engineering, avec une expérience significative sur Databricks.
Vous maîtrisez :
Databricks ;
PySpark et Python ;
SQL ;
La conception de pipelines ETL/ELT ;
Les principes d’optimisation des traitements data ;
Les pratiques CI/CD ;
Git et/ou Azure DevOps ;
Les environnements agiles.
Une expérience des Databricks Asset Bundles, de Visual Studio Code et des outils de développement assistés par l’IA est particulièrement appréciée.
La maîtrise de l’anglais est indispensable afin d’échanger efficacement avec les équipes internationales.
Environnement de travail
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer databricks (H/F)
PREREQUIS