Job position Data engineer Databricks
Share this job
Vous maîtrisez le métier d'ingénieur données chez Databricks (sur AWS).
Vos responsabilités seront les suivantes :
• Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks.
• Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.).
• Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données.
• Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines.
• Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires.
• Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données.
• Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir.
Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.
Candidate profile
Nous recherchons un ingénieur data Databricks expérimenté pour rejoindre notre équipe projet et mettre en œuvre notre plateforme Databricks sur AWS. Vous travaillerez sous la supervision d'un chef de projet et d'un responsable technique / architecte de données.
Vos responsabilités seront les suivantes :
• Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks
• Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.)
• Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) pour garantir une transformation et une intégration efficaces des données.
• Garantir la qualité, l'intégrité et la sécurité des données sur tous les pipelines.
• Surveiller et corriger les performances du pipeline de données, en mettant en œuvre les maintenances et mises à jour nécessaires.
• Documenter les processus du pipeline de données, les spécifications techniques et les bonnes pratiques.
• Assurer le transfert de connaissances vers l'équipe d'ingénieurs données, qui sera chargée de l'exploitation future de la plateforme.
Working environment
Databricks Confirmé (3 ans < x <= 5 ans) ( 4,00 années )
Kimbal Modelling Confirmé (3 ans < x <= 5 ans) ( 4,00 années )
SQL Advancé (5 ans < x <= 8 ans) ( 7,00 années )
Python Confirmé (3 ans < x <= 5 ans) ( 4,00 années )
English / French or Dutch Expert (+10 ans) ( 7,00 années )
Apply to this job!
Find your next career move from +1,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data engineer Databricks
VISIAN
