Job Vacancy Ingénieur Plateforme Dataops

Prestation : Prestation d’expertise Data Platform

Technique : Kubernetes — Spark — Airflow — Starburst

Contexte :

Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes.

Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data.

Les enjeux principaux sont les suivants :

•        garantir la stabilité et la disponibilité de la plateforme ;

•        améliorer la qualité du support production ;

•        réduire les incidents récurrents ;

•        optimiser l’usage des ressources Kubernetes ;

•        accompagner les équipes métiers et techniques dans leurs usages ;

•        renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ;

•        améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino.

La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance.