Mission freelance Data engineer IA / ML Apache SPark

Notre client dans le secteur Banque et finance recherche un Data Engineering (IA/ML) - Sénior H/F Descriptif de la mission:

Data Engineering (IA/ML) - Sénior

Contexte et objectif de la mission :

La mission s’inscrit au sein d’une entité technologique d’un grand groupe de gestion d’actifs, responsable de la conception, du développement, de la commercialisation et du maintien de solutions technologiques pour l’industrie de l’épargne et de la gestion d’actifs.

La prestation interviendra sur le socle Data/IA, en lien étroit avec l’équipe d’ingénierie de production afin d’assurer le support à l’échelle. Le consultant n’aura pas la charge de l’exploitation quotidienne, mais devra être capable d’intervenir sur des problèmes concrets, de structurer les pratiques, d’outiller les équipes et de garantir la robustesse et la scalabilité des solutions en place. Le besoin vise un profil à la fois opérationnel et capable de conseil.

Missions principales :

Expertise opérationnelle sur les plateformes Data/IA
• Challenger et améliorer concrètement les plateformes d’orchestration et de requêtage distribué : diagnostic des problèmes de performance, optimisation des configurations, revue des patterns d’utilisation
• Concevoir et optimiser les pipelines d’ingestion et de traitement de données basés sur Spark : performance des jobs, gestion des volumétries, stratégies de partitionnement et formats de stockage
• Intervenir directement sur les évolutions techniques pour accompagner la montée en charge : volumétrie, nombre d’utilisateurs, complexité des pipelines
• Contribuer à la gouvernance technique par la pratique : établir des standards à partir de cas concrets et documenter les décisions techniques
• Évaluer et prototyper l’intégration de nouveaux composants dans l’écosystème : formats de stockage, outils de catalogue, moteurs de calcul

Industrialisation et scalabilité :
• Industrialiser les pipelines Data et IA/ML avec un objectif de fiabilité, observabilité et reproductibilité, en mettant en œuvre directement les solutions
• Concevoir et implémenter les patterns de déploiement et d’exploitation à l’échelle en collaboration avec les équipes support et l’équipe d’ingénierie de production
• Mettre en place les mécanismes de monitoring, d’alerting et de capacity planning adaptés aux workloads Data/IA
• Structurer le support de niveau 3 et accompagner l’équipe de production sur le support de niveaux 1 et 2

Accompagnement et montée en compétence :
• Conseiller et accompagner les équipes de développement et de data science dans l’utilisation optimale des plateformes
• Assurer un rôle de référent technique opérationnel au sein de l’équipe, par l’exemple et le pair-working
• Participer à la veille technologique et réaliser des POCs sur des évolutions pertinentes pour l’écosystème Data/IA

Environnement fonctionnel :
• Plateformes Data & IA/ML
• Plateformes Kubernetes on-premise et Cloud servant de socle d’hébergement
• Outils DevOps : intégration continue, déploiement, observabilité
• Projets de R&D visant à moderniser le SI
• Accompagnement des initiatives IA/ML du groupe
• Outils de monitoring du SI

Environnement technique :
• Data / Orchestration : Dagster, Trino, Apache Spark, Hive, Delta Lake, Iceberg, Superset, OpenMetadata
• IA / ML : workloads IA/ML sur Kubernetes, outils MLOps
• Hébergement : Kubernetes on-prem et Azure, Docker
• DevOps / Observabilité : ArgoCD, Jenkins, Grafana, Prometheus, Sysdig
• Langages : Python, Go
• Versioning / Stockage : GitLab, Artifactory, S3