Mission freelance INGÉNIEUR DATA – DATABRICKS & AWS - DEMARRAGE LUNDI

MISSION GLOBALE :
Rattaché à la direction Data/Analytics, vous concevez, industrialisez et opérez des pipelines à l’échelle sur Databricks intégrés à l’écosystème AWS pour accélérer les cas d’usage data du secteur de l’énergie.
Vous mettez en œuvre des traitements batch et streaming avec Spark, Delta Lake et Delta Live Tables, structurez des zones Bronze/Silver/Gold et garantissez qualité, sécurité et gouvernance via Unity Catalog, IAM et Lake Formation.
Vous orchestrez l’ingestion depuis S3, bases et API/IoT, optimisez coûts et performances (FinOps) et mettez en place CI/CD, tests et observabilité. En étroite collaboration avec les Data Scientists/Analysts, vous industrialisez des modèles et fonctionnalités MLOps avec MLflow pour des usages tels que prévision consommation/production, optimisation réseau, maintenance prédictive IoT et reporting quasi-temps réel.
Vous contribuez aux standards d’ingénierie, à la documentation, au mentoring et à la fiabilité opérationnelle de la plateforme.

TÂCHES ET RESPONSABILITÉS PRINCIPALES :
• Concevoir, développer et opérer des pipelines sur Databricks (batch et streaming)
• Modéliser les données Delta Lake et structurer les zones Bronze/Silver/Gold
• Intégrer l’écosystème AWS : S3, Glue, EMR, Lambda, Step Functions, Lake Formation
• Assurer qualité, sécurité et gouvernance avec Unity Catalog et IAM
• Mettre en place CI/CD, tests et observabilité : optimiser coûts et performances
• Orchestrer les workflows (Databricks Workflows, Airflow, Step Functions/ADF)
• Industrialiser MLOps avec MLflow en lien avec les Data Scientists
• Optimiser les jobs Spark (partitionnement, Z-Ordering, AQE, caching)
• Gérer environnements, secrets, artefacts et conformité sécurité
• Collaborer avec métiers et data teams pour cadrer et livrer les use cases énergie

LIVRABLES CLÉS :
• Pipelines Databricks prêts production : traitements batch/streaming robustes et monitorés
• Modèle de données Delta Lake : zones Bronze/Silver/Gold documentées et versionnées
• Intégrations AWS opérationnelles : S3, Glue Catalog, EMR/Lambda, Lake Formation/IAM
• Cadre CI/CD et tests : pipelines de déploiement, validations data et qualité automatisées
• Observabilité et FinOps : métriques, alerting, SLO et optimisation des coûts
• Chaînes d’orchestration fiables : Databricks Workflows/Airflow/Step Functions prêtes
• Capacités MLOps avec MLflow : traçabilité, registry modèles et déploiements contrôlés
• Documentation et standards : runbooks, guides d’architecture et bonnes pratiques