Le poste Data Engineer (Databricks)
Partager cette offre
Dans le cadre du développement de la plateforme data, nous recherchons un(e) Data Engineer pour concevoir, construire et maintenir des pipelines de données robustes sur la plateforme Databricks.
Vous évoluerez au sein d’une équipe data (Data Engineering / Data Platform / Analytics Engineering) et contribuerez à la mise en place d’une architecture moderne orientée cloud et data lakehouse.
Missions principalesConcevoir et développer des pipelines de données batch et streaming sur Databricks
Construire et optimiser des traitements de données distribuées avec Apache Spark
Modéliser des données dans une architecture lakehouse (Bronze / Silver / Gold)
Mettre en place des workflows d’ingestion (ETL / ELT) depuis différentes sources (API, bases SQL, fichiers, events streaming)
Assurer la qualité, la fiabilité et la gouvernance des données
Optimiser les performances des jobs Spark (coût, latence, scalabilité)
Mettre en place CI/CD pour les pipelines data
Collaborer avec les Data Analysts, Data Scientists et équipes produit
Participer à la mise en place des bonnes pratiques DataOps
Profil recherché
Excellente maîtrise de SQL
Très bonne maîtrise de Python (pandas, PySpark)
Expérience sur Databricks (notebooks, jobs, clusters, Delta Lake)
Maîtrise de Spark (DataFrame API, optimisation, partitioning)
Connaissance des architectures data modernes (Data Lake / Lakehouse)
Expérience avec un cloud provider : AWS / Azure / GCP
Connaissances en modélisation de données (Kimball, Data Vault apprécié)
Utilisation d’outils CI/CD (Git, GitHub/GitLab, Terraform apprécié)
Environnement de travail
Excellente maîtrise de SQL
Très bonne maîtrise de Python (pandas, PySpark)
Expérience sur Databricks (notebooks, jobs, clusters, Delta Lake)
Maîtrise de Spark (DataFrame API, optimisation, partitioning)
Connaissance des architectures data modernes (Data Lake / Lakehouse)
Expérience avec un cloud provider : AWS / Azure / GCP
Connaissances en modélisation de données (Kimball, Data Vault apprécié)
Utilisation d’outils CI/CD (Git, GitHub/GitLab, Terraform apprécié)
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer (Databricks)
LOVOTECH