Job Vacancy Data Engineer expérimenté Microsoft Azure Databricks Apache Spark Python SQL Azure

Profil recherché

Data Engineer confirmé/senior, autonome, avec une expérience significative sur des plateformes Data Cloud et une vraie maîtrise de Databricks, Spark, Python et SQL.

Une expérience de production sur Azure + Databricks est particulièrement importante.

Dans le cadre du renforcement de ses équipes Data Platform / Data Factory, recherche un Data Engineer expérimenté pour intervenir sur ses projets Data.

Le consultant intégrera un environnement Data en croissance, avec des enjeux d'industrialisation, de performance, de qualité et de gouvernance de la donnée.

Missions principales

• Concevoir, développer et maintenir des pipelines de données.

• Assurer l'ingestion, la transformation et la mise à disposition des données.

• Développer et industrialiser les traitements Data sous Databricks / Spark.

• Participer à l'évolution de la Data Platform Azure.

• Optimiser les traitements et les performances des pipelines.

• Travailler sur la qualité, la fiabilité et la disponibilité des données.

• Participer aux problématiques de traitement batch et/ou temps réel.

• Contribuer aux bonnes pratiques de développement et d'industrialisation Data.

• Collaborer avec les équipes Data Platform, Data Engineering, Data Science et les équipes métiers.

• Contribuer aux enjeux de gouvernance et de sécurisation des données.

Avec un écosystème Data Platform comprenant également des enjeux autour de Databricks Unity Catalog, notamment pour la gouvernance, le lineage et la gestion des accès.