Job Vacancy Data Engineer PySpark/Databricks/GCP (H/F)

Contexte

Dans le cadre du développement d’une plateforme Data Cloud, nous recherchons un Data Engineer pour concevoir, développer et industrialiser des pipelines de données à forte valeur ajoutée dans un environnement Databricks et Google Cloud Platform (GCP).

Missions principales

• Concevoir et développer des pipelines d’intégration de données en mode batch et streaming.

• Développer des traitements de données avec PySpark, Spark, Python et SQL sur Databricks.

• Mettre en œuvre les bonnes pratiques d’industrialisation : CI/CD, automatisation des déploiements et gestion des environnements.

• Participer à l’orchestration des traitements et à l’administration de la plateforme Data.

• Optimiser les performances des traitements ainsi que la consommation des ressources Cloud.

• Mettre en place des tableaux de bord FinOps afin de suivre et d’optimiser l’utilisation des ressources GCP et Databricks.

• Participer au support de production et aux astreintes.

• Contribuer à la documentation technique et au partage de connaissances au sein de l’équipe.

Compétences techniques

• PySpark (expertise confirmée)

• Databricks : administration, Delta Lake, Unity Catalog, optimisation des performances

• Google Cloud Platform (GCP) : GCS, Pub/Sub, GKE, monitoring et alerting

• Python

• Spark

• SQL

• Git

• Mise en œuvre de pipelines CI/CD (GitHub, Azure DevOps ou équivalent, Databricks Bundles)

• Connaissance des pratiques DataOps, FinOps et gouvernance des données

• Expérience des architectures Data modernes sur le Cloud

• Sensibilité aux problématiques de sécurité et de gestion des accès