Mission freelance Data ingénieur / Software ingénieur

Dans le cadre d’un projet Data à forte valeur ajoutée, nous recherchons un Data Engineer / Software Engineer orienté Data afin de renforcer une équipe agile SAFe.

Le consultant interviendra sur la conception, le développement et l’industrialisation de pipelines Data et Machine Learning dans un environnement cloud Azure.

Il participera à la transformation de solutions analytiques et prototypes Data Science en solutions robustes, scalables et industrialisées.

Missions principales Data Engineering / Pipelines Data & ML

• Conception et développement de pipelines batch sur Azure Databricks

• Traitement et transformation de données avec PySpark

• Mise en place de workflows Data industrialisés

• Utilisation de Delta Lake pour la gestion des données

• Intégration de modèles ML en collaboration avec les Data Scientists

2. Industrialisation & performance

• Optimisation des performances Spark :

  • partitionnement

  • gestion mémoire

  • optimisation des jobs

• Mise en place de mécanismes de :

  • reprise sur erreur

  • traçabilité des traitements

  • monitoring des pipelines

Software Engineering / Développement

• Développement de packages Python industrialisés

• Conception d’API (Azure Functions / Container Apps)

• Respect des standards de développement :

  • tests unitaires

  • qualité du code

  • documentation

  • CI/CD

Contribution projet & Agile

• Participation aux phases projet :

  • étude de faisabilité

  • conception

  • développement

  • mise en production (MEP)

• Participation aux activités RUN et amélioration continue

• Contribution active aux cérémonies Agile SAFe