Job position Data Engineer (Databricks)
Share this job
Dans le cadre du développement de la plateforme data, nous recherchons un(e) Data Engineer pour concevoir, construire et maintenir des pipelines de données robustes sur la plateforme Databricks.
Vous évoluerez au sein d’une équipe data (Data Engineering / Data Platform / Analytics Engineering) et contribuerez à la mise en place d’une architecture moderne orientée cloud et data lakehouse.
Missions principalesConcevoir et développer des pipelines de données batch et streaming sur Databricks
Construire et optimiser des traitements de données distribuées avec Apache Spark
Modéliser des données dans une architecture lakehouse (Bronze / Silver / Gold)
Mettre en place des workflows d’ingestion (ETL / ELT) depuis différentes sources (API, bases SQL, fichiers, events streaming)
Assurer la qualité, la fiabilité et la gouvernance des données
Optimiser les performances des jobs Spark (coût, latence, scalabilité)
Mettre en place CI/CD pour les pipelines data
Collaborer avec les Data Analysts, Data Scientists et équipes produit
Participer à la mise en place des bonnes pratiques DataOps
Candidate profile
Excellente maîtrise de SQL
Très bonne maîtrise de Python (pandas, PySpark)
Expérience sur Databricks (notebooks, jobs, clusters, Delta Lake)
Maîtrise de Spark (DataFrame API, optimisation, partitioning)
Connaissance des architectures data modernes (Data Lake / Lakehouse)
Expérience avec un cloud provider : AWS / Azure / GCP
Connaissances en modélisation de données (Kimball, Data Vault apprécié)
Utilisation d’outils CI/CD (Git, GitHub/GitLab, Terraform apprécié)
Working environment
Excellente maîtrise de SQL
Très bonne maîtrise de Python (pandas, PySpark)
Expérience sur Databricks (notebooks, jobs, clusters, Delta Lake)
Maîtrise de Spark (DataFrame API, optimisation, partitioning)
Connaissance des architectures data modernes (Data Lake / Lakehouse)
Expérience avec un cloud provider : AWS / Azure / GCP
Connaissances en modélisation de données (Kimball, Data Vault apprécié)
Utilisation d’outils CI/CD (Git, GitHub/GitLab, Terraform apprécié)
Apply to this job!
Find your next career move from +9,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer (Databricks)
LOVOTECH