Mission freelance Data Engineer Senior / Lead – Monitoring & IA Agentique (F/H)
Paris
Craftman data
Partager cette offre
Voici la présentation de la nouvelle fiche de poste pour la diffusion ou le sourcing :
Appel d'Offres : Data Engineer Senior / Lead – Monitoring & IA Agentique (F/H)Description & Contexte de la missionAu sein de la squad Data Integration, la mission porte sur la construction et l'industrialisation de Data Connect Monitoring (DCM), un produit stratégique de supervision des services Data en environnement multi-cloud.
Le produit collecte des logs et métriques (pipelines, compute, usage, coûts), alimente des pipelines d’ingestion/transformation et expose une vision exploitable via API et interface web. L’ambition est d’évoluer vers une observabilité proactive enrichie par des workflows d'IA agentique (détection, analyse et assistance à la remédiation).
Missions principales :
Ingestion & Industrialisation : Concevoir les pipelines de collecte et de traitement de logs/métriques multi-cloud sur Databricks (PySpark, Delta Lake).
Modélisation Gold : Concevoir et faire évoluer le Golden Data Model dédié aux usages de monitoring, troubleshooting et pilotage.
Spec-Driven Development : Appliquer des pratiques rigoureuses de développement logiciel (spécifications, contrats de données, tests, validation, CI/CD).
Workflows IA Agentiques : Contribuer à la mise en place d'agents IA pour la détection automatisée d'anomalies et l'aide au diagnostic.
Exposition & Collaboration : Interfacer les données avec les équipes backend/frontend via API REST et s'assurer du respect des standards d'architecture et sécurité AWS.
Profil recherché
Expérience : Senior / Expérimenté en Data Engineering avec une solide pratique des produits data en production.
Compétences clés :
Maîtrise de Databricks (Spark, jobs, notebooks, Delta Lake, optimisation).
Solide expertise de l'environnement AWS (S3, IAM, sécurité, compute).
Expertise en modélisation analytique (architecture Medallion : Bronze / Silver / Gold).
Culture Software Engineering (Python, POO, tests automatisés, CI/CD, Git).
Appétence / Sensibilité aux problématiques IA / LLM / Workflows agentiques (MCP, workflows outillés).
Esprit produit, autonomie et capacité de cadrage.
Environnement de travail
Secteur : Product Engineering / Data Platform
Ecosystème : Multi-Cloud / Cloud AWS
Méthodologie : Agile / Spec-driven development / CI-CD
Localisation : Télétravail / Hybrid (À préciser selon le client)
Langages : Python, PySpark, SQL Avancé
Platform Data : Databricks (Delta Lake, Orchestration, Jobs, Monitoring)
Cloud Infrastructure : AWS (S3, Compute, IAM, Observabilité)
Data Engineering : Modélisation Medallion (Gold Data Model), Data Quality, Data Contracts
Software & DevOps : API REST, CI/CD, Tests automatisés, Git, Docker
Bonus / IA : Patterns IA Agentiques, MCP, LLM appliqués aux workflows Data
Découvrir Craftman data
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Senior / Lead – Monitoring & IA Agentique (F/H)
Craftman data