Offre d'emploi Data engineer Databricks
Île-de-France
UCASE CONSULTING
Partager cette offre
Data Engineer Senior — Databricks
— Descriptif du poste
Dans le cadre du développement de nos activités data, nous recrutons un Data Engineer Senior spécialisé sur la plateforme Databricks.
Vous intervenez sur la conception et l’industrialisation de plateformes de données lakehouse : vous cadrez les besoins avec les équipes métiers, vous définissez les architectures cibles, vous construisez les pipelines d’ingestion et de transformation, et vous assurez leur mise en production ainsi que leur optimisation en coût et en performance. Vous êtes l’interlocuteur technique direct des équipes métiers sur votre périmètre et vous accompagnez la montée en compétences des profils plus juniors.
— Parmi vos missions 🛠
Concevoir et industrialiser les plateformes de données sur Databricks
Concevoir des architectures lakehouse en couches (bronze / silver / gold) sur Delta Lake
Développer et optimiser les pipelines d’ingestion et de transformation en PySpark et en SQL
Industrialiser les traitements avec Databricks Workflows, Delta Live Tables et une chaîne CI/CD
Optimiser les coûts et les performances : dimensionnement des clusters, partitionnement, Photon, gestion du cache
Mettre en place la gouvernance et la qualité des données
Structurer Unity Catalog : catalogues, schémas, gestion des droits, lignage
Définir les règles de qualité, les tests et le monitoring des pipelines en production
Documenter les modèles de données et les contrats d’interface avec les systèmes amont et aval
Cadrer les besoins avec les équipes métiers
Animer les ateliers de recueil de besoins et traduire les exigences en solutions data
Préconiser les architectures cibles et arbitrer les choix techniques (batch ou streaming, build ou buy)
Présenter et défendre vos recommandations auprès des interlocuteurs techniques comme métiers
Piloter la livraison et faire monter l’équipe en compétences
Piloter un lot de bout en bout : conception, chiffrage, livraison, respect des délais
Encadrer les profils juniors en revue de code et en pair programming
Diffuser les bonnes pratiques d’engineering : versioning, tests, revue, documentation
— Modalités pratiques
Lieu : Ile de France
Type de contrat : CDI
Date de démarrage : A définir
Télétravail : Fonction des contraintes opérationnelles (en moyenne : 2 jours)
Profil recherché
Formation : bac +5 en école d’ingénieur, master 2 en informatique ou formation équivalente
3 à 5 ans d’expérience minimum en data engineering, dont une expérience significative sur Databricks en production
Une première expérience d’encadrement technique de profils juniors et de relation directe avec des interlocuteurs métiers
La certification Databricks (Data Engineer Associate ou Professional) est un plus
Niveau soft skills, on attendra de vous :
Esprit analytique, rigueur et approche méthodique
Aisance à l’oral : animation d’ateliers et vulgarisation des sujets techniques auprès du métier
Autonomie et sens des responsabilités sur votre périmètre de livraison
Vous disposez également des hard skills suivantes :
Maîtrise de Python (PySpark) et de SQL
Databricks : Delta Lake, Unity Catalog, Workflows, Delta Live Tables
Un cloud parmi Azure, AWS ou GCP et ses services de stockage et d’orchestration
Modélisation de données et architectures en couches (medallion, data warehouse)
Git, CI/CD et pratiques d’industrialisation (tests automatisés, infrastructure as code type Terraform)
Des notions d’orchestration (Airflow) et de traitement temps réel (Structured Streaming, Kafka) sont appréciées
Environnement de travail
Formation : bac +5 en école d’ingénieur, master 2 en informatique ou formation équivalente
3 à 5 ans d’expérience minimum en data engineering, dont une expérience significative sur Databricks en production
Une première expérience d’encadrement technique de profils juniors et de relation directe avec des interlocuteurs métiers
La certification Databricks (Data Engineer Associate ou Professional) est un plus
Niveau soft skills, on attendra de vous :
Esprit analytique, rigueur et approche méthodique
Aisance à l’oral : animation d’ateliers et vulgarisation des sujets techniques auprès du métier
Autonomie et sens des responsabilités sur votre périmètre de livraison
Vous disposez également des hard skills suivantes :
Maîtrise de Python (PySpark) et de SQL
Databricks : Delta Lake, Unity Catalog, Workflows, Delta Live Tables
Un cloud parmi Azure, AWS ou GCP et ses services de stockage et d’orchestration
Modélisation de données et architectures en couches (medallion, data warehouse)
Git, CI/CD et pratiques d’industrialisation (tests automatisés, infrastructure as code type Terraform)
Des notions d’orchestration (Airflow) et de traitement temps réel (Structured Streaming, Kafka) sont appréciées
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data engineer Databricks
UCASE CONSULTING