Job Vacancy Senior Data Engineer – Optimisation et stabilisation d’une pipeline PySpark

Objectifs et livrables

Le consultant aura pour principales responsabilités :

• Refonte et optimisation du module “Refining” : Auditer le code existant, identifier les goulots de performance et axes d’amélioration. Revoir la structure du code pour renforcer la modularité, la lisibilité et la maintenabilité. Mettre en place une documentation claire et partagée (technique + fonctionnelle). Optimiser le traitement PySpark (logique de partitionnement, cache, broadcast, etc.). Proposer une approche flexible pour l’ajout de nouvelles features.

• Renforcement de la robustesse et de la qualité : Implémenter ou renforcer les tests unitaires et fonctionnels. Améliorer la stabilité globale de la pipeline ML de forecast. Participer à la mise en place de bonnes pratiques d’ingénierie logicielle (CI/CD, gouvernance du code, monitoring).

• Collaboration et transfert de compétences : Travailler étroitement avec les Data Scientists et les Machine Learning Engineers de l’équipe. Assurer un transfert de connaissances clair et structuré à l’équipe interne. Contribuer à la montée en compétence collective sur PySpark et la scalabilité de pipelines ML.

Livrables attendus :

• Module “refining” refactoré, documenté et testé

• Rapports d’audit et plan d’optimisation validés

• Documentation technique centralisée

• Pipeline stable et industrialisable à l’échelle mondiale

AWS EC2 -Expert

Programmation Python-Expert

GitHub Actions-Expert

Apache Airflow-Expert

AWS-Expert

DATABRICKS-Confirmé

AWS S3-Expert

PYSPARK-Expert

GITHUB-Expert