Contractor job [FBO] Data Engineer avec expertise MLOps

Le bénéficiaire souhaite une prestation d’accompagnement dans le cadre de la mise en place d'une plateforme AIOPS.

Les missions sont :

En tant que DataOps Engineer avec expertise MLOps, les missions sont :

- Deploiement et maintenance des pipelines de données scalables et résilients (batch/streaming) en utilisant Kafka, Airflow, Kubernetes.

- Industrialisation du cycle de vie des modèles ML (de l’entraînement au monitoring en production) via des pratiques MLOps (MLflow, Kubeflow, etc.).

- Automatisation de l’infrastructure et les déploiements (IaC avec Terraform/Ansible, CI/CD avec Jenkins/ArgoCD).

- Garantie la qualité des données (testing, linéage, observabilité) et la performance des modèles (drift detection, monitoring).

- Collaboration avec les Data Scientists, Data Engineers pour aligner les solutions techniques sur les besoins métiers.

Responsabilités Clés

1. Pipeline de Données & Orchestration

- Développement et optimissation des pipelines Kafka (producteurs/consommateurs, topics ) pour le traitement en temps réel.

- Orchestrer les workflows avec Apache Airflow (DAGs dynamiques, opérateurs custom Python/Kubernetes).

- Automatisation le déploiement et la scalabilité des pipelines sur Kubernetes (Helm, Operators, ressources custom).

- Gérer les dépendances entre pipelines (ex : déclenchement conditionnel, backfills).

2. MLOps & Industrialisation des Modèles

- Packager et déployer des modèles ML.

- Mettre en place des pipelines MLOps :

- Entraînement (MLflow, Pipelines).

- Testing (validation des données, tests de modèles avec Great Expectations).

- Déploiement (, A/B testing).

- Monitoring (drift des features/prédictions, logs avec ELK/Prometheus).

- Optimisation des performances des modèles en production (latence, ressources GPU/CPU).

3. Infrastructure as Code (IaC) & CI/CD

- Définition l’infrastructure en Terraform (modules réutilisables pour Kafka, Kubernetes, IBM Cloud).

- Automatisation les déploiements avec Jenkins/ArgoCD (pipelines multi-environnements : dev/staging/prod).

- Configuration les clusters Kubernetes (namespaces, RBAC, storage classes, autoscale HPA/VPA).

- Sécurisation des accès (Vault pour les secrets)

4. Qualité des Données & Observabilité

- Implémentation des tests automatisés :

- Qualité des données (complétude, cohérence, schéma)

- Validation des modèles (métriques, biais).

- Monitorisation les pipelines et modèles :

- Métriques techniques (latence, erreurs) et métiers (précision, recall).

- Alertes proactives (ex : Dynatrace ou Grafana).

5. Collaboration & Amélioration Continue

Participation aux rituels Agile (refinement, retro) et promouvoir les bonnes pratiques Data/MLOps.

Control des équipes sur les outils (Airflow, Kafka) et les processus (CI/CD, testing).

Assurance d´une veille technologique (ex : évolutions de Kubernetes Operators pour Kafka/ML, outils comme Metaflow).

Collaboration avec les Product Owners pour prioriser les besoins métiers.