Le poste Data engineer Databricks
Partager cette offre
Vous maîtrisez le métier d'ingénieur données chez Databricks (sur AWS).
Vos responsabilités seront les suivantes :
• Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks.
• Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.).
• Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données.
• Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines.
• Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires.
• Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données.
• Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir.
Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.
Profil recherché
Nous recherchons un ingénieur data Databricks expérimenté pour rejoindre notre équipe projet et mettre en œuvre notre plateforme Databricks sur AWS. Vous travaillerez sous la supervision d'un chef de projet et d'un responsable technique / architecte de données.
Vos responsabilités seront les suivantes :
• Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks
• Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.)
• Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) pour garantir une transformation et une intégration efficaces des données.
• Garantir la qualité, l'intégrité et la sécurité des données sur tous les pipelines.
• Surveiller et corriger les performances du pipeline de données, en mettant en œuvre les maintenances et mises à jour nécessaires.
• Documenter les processus du pipeline de données, les spécifications techniques et les bonnes pratiques.
• Assurer le transfert de connaissances vers l'équipe d'ingénieurs données, qui sera chargée de l'exploitation future de la plateforme.
Environnement de travail
Databricks Confirmé (3 ans < x <= 5 ans) ( 4,00 années )
Kimbal Modelling Confirmé (3 ans < x <= 5 ans) ( 4,00 années )
SQL Advancé (5 ans < x <= 8 ans) ( 7,00 années )
Python Confirmé (3 ans < x <= 5 ans) ( 4,00 années )
English / French or Dutch Expert (+10 ans) ( 7,00 années )
Postulez à cette offre !
Trouvez votre prochaine mission parmi +7 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data engineer Databricks
VISIAN
