LINKWAY
Publiée le
19/03/2026
Amazon S3
AWS Cloudwatch
AWS Glue
MISSION GLOBALE : Rattaché à la direction Data/Analytics, vous concevez, industrialisez et opérez des pipelines à l’échelle sur Databricks intégrés à l’écosystème AWS pour accélérer les cas d’usage data du secteur de l’énergie. Vous mettez en œuvre des traitements batch et streaming avec Spark , Delta Lake et Delta Live Tables , structurez des zones Bronze/Silver/Gold et garantissez qualité, sécurité et gouvernance via Unity Catalog, IAM et Lake Formation . Vous orchestrez l’ingestion depuis S3 , bases et API/IoT, optimisez coûts et performances ( FinOps ) et mettez en place CI/CD , tests et observabilité . En étroite collaboration avec les Data Scientists/Analysts, vous industrialisez des modèles et fonctionnalités MLOps avec MLflow pour des usages tels que prévision consommation/production , optimisation réseau , maintenance prédictive IoT et reporting quasi-temps réel . Vous contribuez aux standards d’ingénierie, à la documentation, au mentoring et à la fiabilité opérationnelle de la plateforme. TÂCHES ET RESPONSABILITÉS PRINCIPALES : • Concevoir, développer et opérer des pipelines sur Databricks (batch et streaming) • Modéliser les données Delta Lake et structurer les zones Bronze/Silver/Gold • Intégrer l’écosystème AWS : S3, Glue, EMR, Lambda, Step Functions, Lake Formation • Assurer qualité, sécurité et gouvernance avec Unity Catalog et IAM • Mettre en place CI/CD, tests et observabilité : optimiser coûts et performances • Orchestrer les workflows (Databricks Workflows, Airflow, Step Functions/ADF) • Industrialiser MLOps avec MLflow en lien avec les Data Scientists • Optimiser les jobs Spark (partitionnement, Z-Ordering, AQE, caching) • Gérer environnements, secrets, artefacts et conformité sécurité • Collaborer avec métiers et data teams pour cadrer et livrer les use cases énergie LIVRABLES CLÉS : • Pipelines Databricks prêts production : traitements batch/streaming robustes et monitorés • Modèle de données Delta Lake : zones Bronze/Silver/Gold documentées et versionnées • Intégrations AWS opérationnelles : S3, Glue Catalog, EMR/Lambda, Lake Formation/IAM • Cadre CI/CD et tests : pipelines de déploiement, validations data et qualité automatisées • Observabilité et FinOps : métriques, alerting, SLO et optimisation des coûts • Chaînes d’orchestration fiables : Databricks Workflows/Airflow/Step Functions prêtes • Capacités MLOps avec MLflow : traçabilité, registry modèles et déploiements contrôlés • Documentation et standards : runbooks, guides d’architecture et bonnes pratiques
Voir cette offre
