Job Vacancy Expert Databricks & Spark

Au sein d'un grand pôle industriel et de sa direction des systèmes d'information, vous rejoignez l'équipe Transverse SI Chaînes Communicantes à Lyon. Cette équipe, actuellement en pleine phase de structuration, pilote et supervise des projets d'envergure commune.

L'objectif majeur de votre intervention est d'accompagner la migration globale et l'industrialisation d'une nouvelle plateforme data cible autour des technologies les plus modernes du marché. Vous serez l'un des piliers techniques pour mener à bien la refonte complète de nos applications d'informatique décisionnelle (Business Intelligence) à forte valeur ajoutée.

• Pipelines de données : Concevoir, développer et maintenir des pipelines de données robustes sous Databricks et Spark.

• Traitements complexes : Développer l'ensemble des flux de traitement de données en Python, PySpark et SQL.

• Modélisation : Contribuer activement à la définition et à la mise en œuvre du modèle de données cible en exploitant Delta Lake et Unity Catalog.

• Orchestration : Assurer l'ordonnancement des traitements via Databricks Workflows et Lakeflow Jobs.

• Standards de production : Mettre en œuvre des pratiques d'industrialisation poussées (tests unitaires/d'intégration, pipelines CI/CD pour la Data).

• Performance & FinOps : Optimiser l'exécution des requêtes techniques, garantir la scalabilité du système tout en maîtrisant les coûts d'infrastructure cloud.

• MCO : Participer au suivi de la production (Run), analyser les incidents techniques et piloter l'amélioration continue de la plateforme (fiabilité et observabilité).

• Participer au cadrage fonctionnel des besoins en étroite collaboration avec le Product Owner et les équipes utilisatrices.

• Assurer l'interfaçage de la plateforme avec Power BI pour faciliter l'exposition et la consommation des données par le métier.

• Contribuer à l'intégration de flux d'alimentation temps réel vers le datalake (via Kafka).

• Rédiger la documentation technique et animer les rituels agiles au sein de la feature team.

Nous recherchons un Lead Data Engineer / Expert Databricks senior (Niveau 3) capable de démontrer une autonomie complète après une phase d'intégration de 4 jours sur nos spécificités métiers. Vous devez justifier d’une expertise confirmée de 4 ans minimum sur l’environnement Databricks, idéalement validée par une certification officielle de l'éditeur.

Votre parcours témoigne obligatoirement d'une participation active à un projet d'envergure de migration ou de transformation d'architectures data, soutenu par de solides compétences en modélisation de données (Delta Lake, Unity Catalog). Sur le plan technique, vous possédez une maîtrise parfaite de l'écosystème Spark / PySpark, de Python et de SQL, ainsi qu'un savoir-faire éprouvé dans l'automatisation de l'infrastructure via Terraform pour les sujets Cloud et Databricks.

Au-delà de vos compétences de développeur émérite, vous affichez un véritable leadership technique naturel (sans posture managériale requise) qui vous permet de guider, structurer, standardiser et documenter le travail d'une équipe. Force de proposition, orienté solutions robustes et pragmatiques, vous savez collaborer avec des profils variés, allant des Data Scientists et experts BI jusqu’au Product Owner et interlocuteurs métiers.

Vous évoluerez au cœur de Lyon au sein d’une structure moderne favorisant un équilibre de vie professionnelle grâce à un accord de télétravail fixé à 50%. La mission s’inscrit dans un cadre méthodologique strictement Agile, au sein d'une équipe transverse dynamique et en pleine construction, actuellement composée d'un chef de projet et appuyée par des experts du pôle (référents techniques, managers, coordinateurs).

La stack technique mise à votre disposition est à la pointe de l'ingénierie des données : Databricks, Spark, PySpark, Delta Lake, Unity Catalog, le tout s'exécutant sur un environnement cloud public. L’industrialisation, l’observabilité et la qualité de service sont au centre des préoccupations de cette DSI, s'appuyant sur des chaînes CI/CD automatisées et de l'Infrastructure as Code.

Vous aurez l'opportunité d'intervenir sur des flux de données complexes, incluant l'ingestion de sources variées, l'intégration de technologies événementielles comme Kafka, et la liaison étroite avec des outils de restitution de premier ordre tels que Power BI. Aucun horaire décalé (HHN) ni aucune astreinte ne sont prévus pour cette mission, vous assurant un cadre de production stable au quotidien.

• Incontournables (Niveau Expert) : Databricks, Spark, PySpark, Python, SQL.

• Architecture Data : Modélisation de données, Delta Lake, Unity Catalog.

• DevOps / Industrialisation : CI/CD, Tests automatisés, Terraform, Databricks Workflows.

• Écosystème apprécié : Kafka, Lakeflow / DLT, Power BI, Certifications Cloud.