Offre d'emploi Senior Data Engineer PySpark - H/F

Chez AMD Blue, l'innovation est notre passion, et nous sommes fiers de présenter Blue Data. Avec une présence établie sur l'ensemble du territoire français et une récente expansion aux États-Unis, nous sommes résolument tournés vers l'avenir.

Dans le cadre d’un besoin client, nous avons l'opportunité d'accueillir un nouveau membre au sein de notre Tribu Data pour accompagner un acteur majeur de la distribution mondiale.

Au sein du pôle Data d'un grand groupe international, vous intégrerez l'équipe en charge des modèles de prévision de la demande (Forecast ML). Le projet consiste à optimiser et stabiliser une pipeline PySpark critique, actuellement en production sur plusieurs continents (Europe, Asie), avec une ambition d'extension mondiale d'ici 2026.

Vos principales responsabilités seront :

• Refonte et optimisation (Module "Refining") : Auditer le code existant, identifier les goulots de performance et revoir la structure pour renforcer la modularité et la scalabilité mondiale.

• Performance technique : Optimiser les traitements PySpark (partitionnement, cache, broadcast) et réduire les temps d'exécution (compute).

• Qualité et Robustesse : Réduire la dette technique, implémenter des tests unitaires/fonctionnels et renforcer les pratiques CI/CD.

• Gouvernance : Mettre en place une documentation technique et fonctionnelle centralisée.

• Collaboration : Travailler en étroite collaboration avec les Data Scientists et ML Engineers pour assurer le transfert de compétences.