Trouvez votre prochaine mission ou futur job IT.

Je suis à la recherche pour un de nos clients d'un Machine Learning Ops. Le rôle consiste à garantir l'industrialisation, la fiabilisation, et la mise en production robuste et sécurisée de l'ensemble de nos modèles d'Intelligence Artificielle. Vous serez un pilier dans l'établissement des bonnes pratiques MLOps (Monitoring, Sécurité, Reproductibilité) et collaborerez en étroite collaboration avec les Data Scientists, Ingénieurs ML, le Product Owner, et l'équipe DevOps. Cette prestation est essentielle pour transformer la recherche en solutions opérationnelles à forte valeur ajoutée. Expertises requises dans le cadre de la réalisation de la prestation - 3 ans minimum d'expérience prouvée en développement/industrialisation IA/ML/DL ciblant des environnements de production. - Maitrise Avancée de Python et des librairies clés de Data Science/ML (e.g., NumPy, Pandas, Scikit-learn, PyTorch/TensorFlow). - Maîtrise de SQL pour l'accès et la manipulation des sources de données. - Pipeline MLOps et Outils : - Conception et Implémentation de Pipelines CI/CD dédiés aux modèles ML (GitLab CI ou équivalent), incluant le versioning des modèles et des datasets. - Conteneurisation Maîtrisée : Capacité à packager, déployer et maintenir des services IA via Docker. - Tracking et Registre de Modèles : Expérience obligatoire avec des outils de gestion du cycle de vie des modèles comme MLflow ou équivalent (p. ex. Comet ML). - Expertise Modèles de Langage (LLM/NLP) - Maîtrise de l'architecture RAG (Retrieval-Augmented Generation) et de son industrialisation. - Mise en place et intégration d'outils d'orchestration de LLM (e.g., LangChain/LangSmith, Semantic Kernel, ou équivalent) dans un contexte de production. - Cloud et Déploiement : Maîtrise avérée d'un Cloud Provider avec une expérience significative en déploiement de services serverless ou conteneurisés - Optimisation et Feedback : capacité à intégrer des boucles de feedback continu pour l'amélioration des modèles (Monitoring de la dérive, Retraining automatique, concepts de Human-in-the-Loop). C ompétences souhaitées : - Orchestration et Scalabilité : expérience pratique du déploiement de charges d’activité IA sur Kubernetes (K8s) et des concepts d'opérateurs MLOps (KubeFlow, Argo). - Expérience dans la mise en place de tests de performance et de montée en charge spécifiques aux services d'inférence ML/LLM (benchmarking, stress testing, choix du hardware). - Techniques de Modélisation Avancées : - Connaissance des techniques d'optimisation de modèles pour la production (Quantization, Distillation, Pruning) ou de Fine-Tuning/PEFT (LoRA). - Expérience en Computer Vision (déploiement de modèles de détection/classification) ou en SLM (Small Language Models). - Qualité et Assurance IA : - Mise en œuvre de métriques d'évaluation non-traditionnelles pour les LLM (e.g., AI as a Judge, évaluation du Hallucination Rate, Grounding Score).

Profil : Senior Data Engineer · Contexte de la mission : L’équipe Supply Zone Forecast (SZF) développe et maintient les modèles de prévision de la demande et des ventes pour l’ensemble des produits Décathlon, par centre d’approvisionnement continental. Aujourd’hui, notre pipeline est en production sur l’Europe, la Chine et l’Inde, et notre ambition pour 2026 est d’étendre la couverture à LATAM et MEA. Dans ce cadre, nous recherchons un Data Engineer Senior expérimenté sur PySpark et l’optimisation de pipelines. Notre Stack Data : AWS (S3, ECR, EKS); Databricks; Airflow; Pyspark; Python Et Github. La mission portera principalement sur la reprise, l’optimisation et la refonte partielle du module de “refining”, hérité d’une autre équipe . Ce module présente aujourd’hui plusieurs limites : lenteur d'exécution (compute), manque de gouvernance, faible modularité, documentation incomplète et difficulté à évoluer ou à scaler à l’échelle mondiale. Le contexte inclut également plusieurs dettes techniques autour de la stabilité, de la qualité du code et du renforcement des tests (unitaires et fonctionnels) La mission se déroulera sur site à Paris , au sein du pôle data Digital Principales responsabilités Refonte et optimisation du module “Refining” : Auditer le code existant, identifier les goulots de performance et axes d’amélioration. Revoir la structure du code pour renforcer la modularité, la lisibilité et la maintenabilité. Mettre en place une documentation claire et partagée (technique + fonctionnelle). Optimiser le traitement PySpark (logique de partitionnement, cache, broadcast, etc.). Proposer une approche flexible pour l’ajout de nouvelles features. Renforcement de la robustesse et de la qualité : Implémenter ou renforcer les tests unitaires et fonctionnels. Améliorer la stabilité globale de la pipeline ML de forecast. Participer à la mise en place de bonnes pratiques d’ingénierie logicielle (CI/CD, gouvernance du code, monitoring). Collaboration et transfert de compétences : Travailler étroitement avec les Data Scientists et lMachine Learning Engineers de l’équipe SZF. Assurer un transfert de connaissances clair et structuré à l’équipe interne. Contribuer à la montée en compétence collective sur PySpark et la scalabilité de pipelines ML. Livrables attendus : Module “refining” refactoré, documenté et testé Rapports d’audit et plan d’optimisation validés Documentation technique centralisée Pipeline stable et industrialisable à l’échelle mondiale

Contexte Le profil interviendra sur l’ensemble du cycle de vie des solutions d’Intelligence Artificielle (IA), incluant : Industrialisation et CI/CD : Mise en place et maintenance de pipelines CI/CD (GitLab, Docker, Terraform, Kubernetes). Infrastructure et automatisation : Gestion et optimisation des environnements AWS (S3, EMR, SageMaker, IAM…). Data Engineering & Spark : Développement et optimisation de jobs Spark pour la préparation et le traitement de données à grande échelle. MLOps / Production : Déploiement, suivi et supervision des modèles IA (MLflow, , monitoring Datadog). Collaboration transverse : Interaction quotidienne avec les Data Scientists pour fiabiliser le delivery et le suivi des modèles. Veille et amélioration continue : Participation active à l’optimisation des pipelines et à la montée en maturité technique de l’équipe. Description de la mission Le profil sera en charge de : Maintenir et faire évoluer les pipelines d’industrialisation (CI/CD, Terraform, Docker, Kubernetes). Participer à la mise en production et au suivi des modèles IA (Airflow, Datadog, , MLflow). Garantir la fiabilité des traitements Spark et la conformité des environnements AWS. Contribuer au suivi de la production et aux mises en production (MCO). Participer à l’amélioration continue des outils et pratiques Data/IA. Documenter les bonnes pratiques techniques et partager les retours d’expérience au sein de l’équipe AI Experts. Compétences techniques attendues Obligatoires (Must Have) : CI/CD (GitLab) Docker Terraform Kubernetes Spark Python AWS (S3, EMR, SageMaker, IAM…) Souhaitables (Nice to Have) : MLflow Airflow API / FastAPI Datadog Suivi de production / MEP Autres compétences : Expérience de collaboration avec des Data Scientists Veille technologique et amélioration continue Soft Skills recherchés Esprit d’équipe et forte culture du delivery Rigueur technique, curiosité et autonomie Capacité à collaborer efficacement dans un environnement pluridisciplinaire (DE, DS, OPS, PO, DEV, staff) Sens du partage et de la documentation Livrables et responsabilités principales Maintenir et faire évoluer les pipelines CI/CD et d’industrialisation Participer aux mises en production et au suivi des modèles IA Garantir la fiabilité des traitements Spark et la conformité AWS Contribuer à l’optimisation continue des outils et pratiques Documenter et partager les bonnes pratiques techniques

En tant que MLOps confirmé, l'objectif est de fournir une plateforme de données aux data scientists, tout en industrialisant les modèles d'apprentissage automatique. Il sera important d'être autonome sur l'industrialisation de modèles, mais également sur l'infra (compréhension de Docker/Kubernetes, mais aussi les modèles ML...) L'environnement technique comprend notamment: Python 3, OpenIDConnect, FastAPI, Redis, Ansible, Docker, Kubernetes, Beats, Elasticsearch, Grafana, Gitlab CI, Artifactory, Sonarqube...

CONTEXTE Afin d’améliorer la personnalisation de l’expérience utilisateurs, nous souhaitons créer une équipe dédiée, travaillant sur des sujets de recommandation et de machine learning en production. Cette équipe est composée d’un Product Owner, un Data Scientist, un lead ML ingénieur et un ML ingénieur. Notre stack technique est basé sur Google Cloud et constituée, entre autres, de Python, Vertex AI, BigQuery, Cloud Run et Airflow pour l’orchestration des traitements. La stack inclut aussi d’autres services de la Google Cloud Platform. MISSIONS : 1. Créer les premiers cas d’usage en lien avec la personnalisation de l’expérience utilisateur basés sur de la recommandation utilisateur 2. Déployer ce projet et AB tester en production 3. Mettre en place un monitoring et un contrôle des performances En interaction avec les membres de l’équipe, la prestation consistera à : • Concevoir, construire et maintenir des pipelines ML robustes et scalables de la collecte des données à l’exposition des modèles via des API Rest • Organiser et structurer le stockage des données • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Mettre en place et maintenir les infrastructures scalables capable de répondre aux besoins et au volume de données • Industrialiser les modèles IA en lien avec les data scientists • Construire et maintenir les workflows de la CI/CD • Collaborer avec les data ingénieurs et les autres équipes techniques pour appliquer les bonnes pratiques en vigueur • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine • Participer activement aux différentes phases de cadrage, de planification et de réalisation des tâches avec l’équipe

En tant qu’Ingénieur Data Senior, vous jouerez un rôle clé dans la conception, le développement et l’optimisation de solutions data innovantes pour le secteur bancaire. Vous serez un membre essentiel de l’équipe Data Engineering et collaborerez avec des experts métiers, data scientists et développeurs pour transformer les plateformes digitales de nos clients. Vos missions principales Concevoir, développer et maintenir des solutions big data robustes et évolutives avec Hadoop, Spark, Kafka… Mettre en œuvre des pipelines de données temps réel et batch pour des cas d’usage complexes Garantir la qualité, la sécurité et la conformité des données à chaque étape du cycle de vie Intégrer des solutions de streaming avec Kafka pour des analyses quasi temps réel Développer et maintenir des microservices en Node.js Encadrer les ingénieurs juniors et promouvoir les bonnes pratiques

Dans le cadre du développement de ses activités autour de la Data Platform et de l’Intelligence Artificielle Générative , Hextaem recherche un(e) Architecte Data pour intervenir sur la conception, l’industrialisation et la modernisation d’une plateforme Big Data Cloud bâtie sur AWS , Databricks et des services IA avancés. L’objectif est de définir et de mettre en œuvre une architecture scalable, sécurisée et orientée IA , capable de supporter les cas d’usage analytiques, data science et génAI (RAG, copilotes, modèles internes). Missions principales 1. Conception et architecture de la plateforme Data Définir l’architecture cible sur AWS (S3, Glue, Athena, Lambda, Redshift, etc.). Concevoir les pipelines de données dans Databricks (ingestion, transformation, orchestration). Définir les standards de data quality, gouvernance et sécurité (IAM, encryption, lineage). Structurer les environnements (bronze / silver / gold) selon les meilleures pratiques Lakehouse. 2. Gouvernance et performance Mettre en place des patterns de développement et d’industrialisation (CI/CD Data). Superviser la performance des jobs et optimiser les coûts de la plateforme. Assurer la traçabilité et la conformité des données (RGPD, ISO, sécurité). 3. Génération d’intelligence et IA générative Participer à la conception d’architectures hybrides Data + IA Générative (RAG, embeddings, vector stores). Intégrer des modèles LLM (OpenAI, Anthropic, Hugging Face, Bedrock, etc.) aux pipelines existants. Collaborer avec les Data Scientists pour industrialiser les use cases IA. Évaluer la pertinence d’outils de nouvelle génération (LangChain, LlamaIndex, VectorDB, etc.). 4. Conseil, accompagnement et expertise Être le référent technique sur la plateforme Data pour les équipes internes et clients. Accompagner les Data Engineers et Data Scientists dans la mise en œuvre des bonnes pratiques. Participer aux phases d’avant-vente et d’architecture auprès des clients Hextaem. Assurer une veille technologique active sur les sujets Cloud, Big Data et GénIA. Compétences techniques : Cloud & Data Platform: AWS (S3, Glue, Athena, Redshift, Lambda, IAM, CloudFormation/Terraform) Data Engineering: Databricks (Spark, Delta Lake, MLflow), ETL/ELT, orchestration (Airflow, ADF) Gouvernance & Sécurité: Data lineage, catalog (Glue Data Catalog, Unity Catalog), RBAC, encryption Langages: Python, SQL, PySpark CI/CD & DevOps: Git, Docker, Terraform, GitHub Actions / Jenkins IA Générative (bonus) L:LMs (OpenAI, Bedrock, Hugging Face), LangChain, VectorDB, RAG patterns

la prestation consistera à : • Définir l'architecture et la feuille de route technique, en tenant compte des exigences de performance, de scalabilité et de sécurité • Accompagner les membres de l’équipe pour garantir la qualité du code et du modèle • Concevoir, construire et maintenir des pipelines ML robustes et scalables de la collecte des données à l’exposition des modèles via des API Rest • Organiser et structurer le stockage des données • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Mettre en place et maintenir les infrastructures scalables capable de répondre aux besoins et au volume de données • Industrialiser les modèles IA en lien avec les data scientists • Construire et maintenir les workflows de la CI/CD • Collaborer avec les data ingénieurs et les autres équipes techniques pour appliquer les bonnes pratiques en vigueur Expertises requises pour réaliser la prestation de Lead Machine Learning Ingenieur : • Au moins 5 ans d’expérience dans un environnement data/machine learning • Expériences dans le développement de modèles de machine learning • Expériences dans le déploiement en production de modèles de machine learning • Expériences sur la Google Cloud Platform : Composer/CloudSQL/CloudRun/IAM • Expériences avec des technologies de type Flask, FastAPI, SQLalchemy, Pgvector, Pandas, Hugging face • Expériences intégrant les langages Python et SQL • Expériences intégrant Terraform et Terragrunt • Solides expériences intégrant du Machine Learning, Deep Learning et des concepts liés à l’IA • Solides connaissances des modèles et systèmes de recommandation • Solides connaissances en data : structures de données, code, architecture • Expériences utilisant Gitlab et Gitlab CI/CD • Capacité à vulgariser et à communiquer sur des aspects purement techniques • Capacité à accompagner et à motiver une équipe technique • Expériences en méthodes Agile : de préférence Scrum ou Kanban

Au sein de l’équipe Data & IA, vous participerez activement à la mise en production et à la fiabilisation des plateformes de données et des modèles IA. Vous interviendrez sur les volets suivants : Développement et automatisation de pipelines Data/ML (ETL, CI/CD, orchestration). Industrialisation et monitoring des modèles de Machine Learning. Déploiement d’infrastructures Cloud sur GCP (Vertex AI, BigQuery, Dataflow, Cloud Run) et AWS (S3, Lambda, SageMaker). Implémentation d’une approche Infrastructure as Code (Terraform, CloudFormation). Optimisation de la performance, la sécurité et la résilience des environnements. Collaboration étroite avec les Data Scientists pour fiabiliser les déploiements de modèles IA.

Rejoignez une équipe d'innovation transverse au sein de la DSI Corporate d'un grand groupe du secteur Banque & Assurance. Cette équipe, composée d'une vingtaine d'experts (Data Engineers, Data Scientists, Développeurs Fullstack), agit en mode "commando" pour développer des solutions tactiques et innovantes au plus près des besoins métiers. L'un de nos axes majeurs actuels est l'accompagnement de l'ensemble des métiers du groupe dans la mise en œuvre de cas d'usage d'IA générative. En tant que Chef de Projet IA passionné et expérimenté, vous serez responsable du pilotage de projets liés à l'IA générative, en vous assurant que les solutions développées répondent parfaitement aux besoins des utilisateurs finaux. Vos Missions Principales : Pilotage et Recueil des Besoins : Collaborer étroitement avec les parties prenantes (métiers) pour identifier et analyser les besoins. Organiser et animer des ateliers de co-conception. Gestion de Projet : Élaborer et suivre le planning, coordonner les activités des développeurs (Python, Angular) et assurer le respect des délais. Conception Technique : Participer activement à la conception des solutions techniques en collaboration avec les développeurs, en veillant à l'alignement avec les besoins exprimés. Qualité et Tests : Assurer la qualité des livrables en mettant en place les processus de validation et de tests adéquats. Communication "Pivot" : Agir comme l'interface principale entre l'équipe technique et les métiers, en facilitant la compréhension mutuelle et en présentant régulièrement l'avancement. Veille Technologique : Rester à l'affût des dernières tendances dans le domaine de l'IA.

En tant que Développeur, et en coordination avec l’équipe, vos missions seront de : Développer et maintenir des pipelines de traitement de données (batch ou temps réel) Intégrer, transformer et charger des données depuis différentes sources (APIs, bases de données, fichiers, flux, etc.) Concevoir et optimiser des jobs ETL/ELT pour alimenter les environnements analytiques (Data Lake, Data Warehouse) Implémenter les logiques de nettoyage, d’enrichissement et de validation des données Participer à la modélisation des structures de données pour répondre aux besoins métiers et analytiques Assurer la performance, la fiabilité et la scalabilité des traitements de données Automatiser les processus de collecte et de transformation via des scripts et outils d’orchestration (Airflow, Azure Data Factory, etc.) Collaborer avec les Data Scientists, Data Analysts et les équipes DevOps pour garantir la disponibilité et la qualité des données Surveiller et corriger les anomalies dans les flux de données Rédiger la documentation technique des pipelines et des processus mis en place

Descriptif du poste Le prestataire interviendra comme développeur senior / Data Engineer sur les différentes applications IT du périmètre : Application de data management : ingestion, stockage, supervision et restitution de time series. Application de visualisation de données de marché et des analyses produites Application de calcul de prévision de prix Le prestataire devra accompagner les évolutions et assurer la maintenance corrective et évolutive sur ces différentes applications dans les meilleurs délais (time to market) tout en garantissant la qualité des livrables. Mission • Conception et développement d'outils d'aide à la décision • Conception et développement de nouvelles architectures data • Collecte, ingestion, traitement, transformation et restitution des données (météo, fundamentales..) • Optimisation des coûts et des performances • La gestion du cycle de développement, de l'infra et des mises en production (DevOps) • Maintenance évolutive et support technique / accompagnement des utilisateurs (analystes, data scientists...) • Coaching de l'équipe autour des thématiques Big Data et AWS : workshops, présentations…

Nous recherchons un Architecte Big Data confirmé maîtrisant les environnements GCP (Google Cloud Platform) et Cloudera , capable d’allier vision stratégique et excellence technique. En tant qu’Architecte Big Data, vous interviendrez sur des projets de transformation data à grande échelle : Concevoir et faire évoluer des architectures Big Data hybrides (Cloud & on-premise). Définir la stratégie de données et les bonnes pratiques de gouvernance, sécurité et performance. Encadrer les équipes techniques (Data Engineers, DevOps, Data Scientists). Piloter les choix technologiques sur les écosystèmes GCP (BigQuery, Dataflow, Pub/Sub, Composer, Dataproc) et Cloudera (CDP, HDFS, Hive, Spark, Kafka) . Garantir la scalabilité, la résilience et l’optimisation des coûts des plateformes data. Participer aux revues d’architecture et à la veille technologique sur les solutions Cloud et Open Source.

Descriptif du poste Mission dans une équipe en charge du contrôle et monitoring à partir d'un datawarehouse post trade. L'expertise devra apporter une expertise technique sur la base de données Oracle et son eco-système. Mettre en place et maintenir les outils et infrastructure adéquat à l'analyse de données. Une expertise sur les technologies BI est nécessaire ainsi qu'une expertise pointue sur les langages SQL et Python. Veiller aux déploiements des pipelines de données et en assurer la sécurisation technique. Enfin, être force de proposition sur les solutions techniques à mettre en place. L'automatisation des processus d'alimentation des données sera un objectif également. Cette mission recouvre une forte composante technique à la fois sur l'architecture des données et sur la mise à disposition des informations pour les data analyst/scientist de l'équipe tout comme un besoin de comprendre les données sous-jacentes liées à l'environnement.

Notre équipe, dynamique et internationale, au profil « start-up » intégrée à un grand groupe, rassemble des profils de data scientist (computer vision, NLP, scoring), un pôle ML engineering capable d'accompagner les DataScientists lors de l'industrialisation des modèles développés (jusqu'à la mise en production) ainsi qu’une équipe AI Projects. AI Delivery met aussi à disposition des lignes de métiers Personal Finance la plateforme de Datascience « Sparrow », qui comporte - Une plateforme d'exploration et de développement Python, Sparrow Studio, développée in-house par une équipe dédiée. - Un framework d'industrialisation des modèles de Datascience, Sparrow Flow, ainsi qu'une librairie InnerSource “pyPF” facilitant les développements des Data Scientist. - Une plateforme d'exécution des modèles de Datascience, Sparrow Serving. - Un outil de Community Management, Sparrow Academy. L’équipe, composée de MLOps engineers, de back et front end engineers a pour principale mission d’être garante de la qualité des livrables de l’ensemble de la direction, de les déployer sur le cloud privé du Groupe, « dCloud » et enfin d’assurer la haute disponibilité de l’ensemble de nos assets. Cette équipe conçoit, développe et maintient des plateformes et des frameworks de data science. PF fait appel à une prestation en AT pour assurer l’évolution et la haute disponibilité de l'ensemble de nos assets. Dans ce contexte, nous faisons appel à une prestation en assistance technique. les missions sont : - Administration/Exploitation/Automatisation système d’exploitation de nos clusters - Build et optimisation d’images Docker + RUN de nos 400 containers de production (>500 utilisateurs). - Construire, porter la vision technique de la plateforme et piloter les choix technologiques et d’évolution de l’architecture. - Faire de la veille et se former aux technologies les plus pertinentes pour notre plateforme de data science afin de continuer à innover. - Rédaction de documents techniques (architecture, gestion des changes et incidents). - Production de livrables de qualité et partage des connaissances à l’équipe. Notre stack technique : - Infrastructure / DevOps : GitLabCI/CD, GitOps ( ArgoCD ). Cloud privé BNP. - Containers: Docker, Kubernetes. Profil recherché : - Compétences avancées sur Kubernetes (Architecture, Administration de Clusters) - Connaissances sur la gestion des secrets (Vault) - Bonnes compétences réseau : reverse proxy (Traefik), authentification (Keycloak, JWT, OIDC). - Bonnes connaissances de GitLab et des processus de CI/CD. - Connaissances de l’approche GitOps ( ArgoCD ) - Compétences sur l’observabilité dans un contexte Kubernetes ( Prometheus, AlertManager, Grafana ) - Connaissances en bases de données relationnelles (PostgreSQL) appréciées. - Anglais correct à l’écrit et à l’oral. - Profil rigoureux. Les sujets traités par l’équipe sont variés : - Participer à la maintenance/l’évolution des frameworks de data science existants (Python) ; - Participer à la maintenance/l’évolution des pipelines de CI/CD (Gitlab CI, GitOps) ; - Participer à la maintenance/l’évolution de l’Observabilité des plateformes (logging, monitoring, traçabilité); - Participer à la mise en production des outils et des solutions IA déployées sur la plateforme ; - Être force de proposition et participer aux POCs. Stack Technique de l’équipe : - Langages : Python, Golang, Bash - GNU/Linux - Kubernetes - Observabilité : Prometheus, Thanos, AlertManager, Grafana - Sécurité : Vault - DevOps tooling : Docker, Buildkit, Gitlab, GitlabCI, Artifactory, ArgoCD, Helm, Kustomize, CUE/Timoni - Cloud services : Certmanager, Redis, Jaeger, ELK, MinIO, PostgreSQL, ClickHouse, External-DNS

Le bénéficiaire souhaite une prestation d’accompagnement dans le cadre de la mise en place d'une plateforme AIOPS. Les missions sont : En tant que DataOps Engineer avec expertise MLOps, les missions sont : - Deploiement et maintenance des pipelines de données scalables et résilients (batch/streaming) en utilisant Kafka, Airflow, Kubernetes. - Industrialisation du cycle de vie des modèles ML (de l’entraînement au monitoring en production) via des pratiques MLOps (MLflow, Kubeflow, etc.). - Automatisation de l’infrastructure et les déploiements (IaC avec Terraform/Ansible, CI/CD avec Jenkins/ArgoCD). - Garantie la qualité des données (testing, linéage, observabilité) et la performance des modèles (drift detection, monitoring). - Collaboration avec les Data Scientists, Data Engineers pour aligner les solutions techniques sur les besoins métiers. Responsabilités Clés 1. Pipeline de Données & Orchestration - Développement et optimissation des pipelines Kafka (producteurs/consommateurs, topics ) pour le traitement en temps réel. - Orchestrer les workflows avec Apache Airflow (DAGs dynamiques, opérateurs custom Python/Kubernetes). - Automatisation le déploiement et la scalabilité des pipelines sur Kubernetes (Helm, Operators, ressources custom). - Gérer les dépendances entre pipelines (ex : déclenchement conditionnel, backfills). 2. MLOps & Industrialisation des Modèles - Packager et déployer des modèles ML. - Mettre en place des pipelines MLOps : - Entraînement (MLflow, Pipelines). - Testing (validation des données, tests de modèles avec Great Expectations). - Déploiement (, A/B testing). - Monitoring (drift des features/prédictions, logs avec ELK/Prometheus). - Optimisation des performances des modèles en production (latence, ressources GPU/CPU). 3. Infrastructure as Code (IaC) & CI/CD - Définition l’infrastructure en Terraform (modules réutilisables pour Kafka, Kubernetes, IBM Cloud). - Automatisation les déploiements avec Jenkins/ArgoCD (pipelines multi-environnements : dev/staging/prod). - Configuration les clusters Kubernetes (namespaces, RBAC, storage classes, autoscale HPA/VPA). - Sécurisation des accès (Vault pour les secrets) 4. Qualité des Données & Observabilité - Implémentation des tests automatisés : - Qualité des données (complétude, cohérence, schéma) - Validation des modèles (métriques, biais). - Monitorisation les pipelines et modèles : - Métriques techniques (latence, erreurs) et métiers (précision, recall). - Alertes proactives (ex : Dynatrace ou Grafana). 5. Collaboration & Amélioration Continue Participation aux rituels Agile (refinement, retro) et promouvoir les bonnes pratiques Data/MLOps. Control des équipes sur les outils (Airflow, Kafka) et les processus (CI/CD, testing). Assurance d´une veille technologique (ex : évolutions de Kubernetes Operators pour Kafka/ML, outils comme Metaflow). Collaboration avec les Product Owners pour prioriser les besoins métiers.