Job Vacancy Data engineer Databricks
Ile-de-France
UCASE CONSULTING
Share this job
Data Engineer Senior — Databricks
— Descriptif du poste
Dans le cadre du développement de nos activités data, nous recrutons un Data Engineer Senior spécialisé sur la plateforme Databricks.
Vous intervenez sur la conception et l’industrialisation de plateformes de données lakehouse : vous cadrez les besoins avec les équipes métiers, vous définissez les architectures cibles, vous construisez les pipelines d’ingestion et de transformation, et vous assurez leur mise en production ainsi que leur optimisation en coût et en performance. Vous êtes l’interlocuteur technique direct des équipes métiers sur votre périmètre et vous accompagnez la montée en compétences des profils plus juniors.
— Parmi vos missions 🛠
Concevoir et industrialiser les plateformes de données sur Databricks
Concevoir des architectures lakehouse en couches (bronze / silver / gold) sur Delta Lake
Développer et optimiser les pipelines d’ingestion et de transformation en PySpark et en SQL
Industrialiser les traitements avec Databricks Workflows, Delta Live Tables et une chaîne CI/CD
Optimiser les coûts et les performances : dimensionnement des clusters, partitionnement, Photon, gestion du cache
Mettre en place la gouvernance et la qualité des données
Structurer Unity Catalog : catalogues, schémas, gestion des droits, lignage
Définir les règles de qualité, les tests et le monitoring des pipelines en production
Documenter les modèles de données et les contrats d’interface avec les systèmes amont et aval
Cadrer les besoins avec les équipes métiers
Animer les ateliers de recueil de besoins et traduire les exigences en solutions data
Préconiser les architectures cibles et arbitrer les choix techniques (batch ou streaming, build ou buy)
Présenter et défendre vos recommandations auprès des interlocuteurs techniques comme métiers
Piloter la livraison et faire monter l’équipe en compétences
Piloter un lot de bout en bout : conception, chiffrage, livraison, respect des délais
Encadrer les profils juniors en revue de code et en pair programming
Diffuser les bonnes pratiques d’engineering : versioning, tests, revue, documentation
— Modalités pratiques
Lieu : Ile de France
Type de contrat : CDI
Date de démarrage : A définir
Télétravail : Fonction des contraintes opérationnelles (en moyenne : 2 jours)
Candidate profile
Formation : bac +5 en école d’ingénieur, master 2 en informatique ou formation équivalente
3 à 5 ans d’expérience minimum en data engineering, dont une expérience significative sur Databricks en production
Une première expérience d’encadrement technique de profils juniors et de relation directe avec des interlocuteurs métiers
La certification Databricks (Data Engineer Associate ou Professional) est un plus
Niveau soft skills, on attendra de vous :
Esprit analytique, rigueur et approche méthodique
Aisance à l’oral : animation d’ateliers et vulgarisation des sujets techniques auprès du métier
Autonomie et sens des responsabilités sur votre périmètre de livraison
Vous disposez également des hard skills suivantes :
Maîtrise de Python (PySpark) et de SQL
Databricks : Delta Lake, Unity Catalog, Workflows, Delta Live Tables
Un cloud parmi Azure, AWS ou GCP et ses services de stockage et d’orchestration
Modélisation de données et architectures en couches (medallion, data warehouse)
Git, CI/CD et pratiques d’industrialisation (tests automatisés, infrastructure as code type Terraform)
Des notions d’orchestration (Airflow) et de traitement temps réel (Structured Streaming, Kafka) sont appréciées
Working environment
Formation : bac +5 en école d’ingénieur, master 2 en informatique ou formation équivalente
3 à 5 ans d’expérience minimum en data engineering, dont une expérience significative sur Databricks en production
Une première expérience d’encadrement technique de profils juniors et de relation directe avec des interlocuteurs métiers
La certification Databricks (Data Engineer Associate ou Professional) est un plus
Niveau soft skills, on attendra de vous :
Esprit analytique, rigueur et approche méthodique
Aisance à l’oral : animation d’ateliers et vulgarisation des sujets techniques auprès du métier
Autonomie et sens des responsabilités sur votre périmètre de livraison
Vous disposez également des hard skills suivantes :
Maîtrise de Python (PySpark) et de SQL
Databricks : Delta Lake, Unity Catalog, Workflows, Delta Live Tables
Un cloud parmi Azure, AWS ou GCP et ses services de stockage et d’orchestration
Modélisation de données et architectures en couches (medallion, data warehouse)
Git, CI/CD et pratiques d’industrialisation (tests automatisés, infrastructure as code type Terraform)
Des notions d’orchestration (Airflow) et de traitement temps réel (Structured Streaming, Kafka) sont appréciées
Apply to this job!
Find your next career move from +9,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data engineer Databricks
UCASE CONSULTING