
Offre d'emploi Data Engineer Lead / Senior – Pipelines industrialisés & données pour l’IA – Vélizy
Vélizy-Villacoublay (78)
OCTOGONE
Partager cette offre
Notre client souhaite renforcer les fondations techniques de ses projets d'intelligence artificielle.
Les données proviennent de différents systèmes industriels et métiers et peuvent être fragmentées, hétérogènes ou sensibles.
Le consultant devra notamment :
Identifier et cartographier les différentes sources de données.
Construire des pipelines automatisés d'intégration et de transformation.
Garantir la qualité, la traçabilité et la gouvernance des données.
Préparer des jeux de données exploitables par des solutions IA.
Sécuriser les accès aux données sensibles.
Industrialiser les traitements pour garantir leur exploitation dans la durée.
L'enjeu principal est de passer de données brutes et dispersées à des données fiables, sécurisées et industrialisées pour les projets IA.
Votre missionVous interviendrez sur des données issues de différents systèmes industriels et métiers, parfois fragmentées, hétérogènes ou sensibles.
Votre objectif : rendre ces données fiables, accessibles, sécurisées, documentées et directement exploitables par des applications IA, notamment des assistants reposant sur le RAG.
Vous prendrez en charge la chaîne de traitement de bout en bout, depuis l’identification des sources jusqu’au déploiement et à la supervision des pipelines.
Vos principales responsabilitésAnalyser et cartographier les données : identifier les sources, les propriétaires, les formats, les volumes et les contraintes d’accès.
Concevoir et développer des pipelines ETL/ELT : automatiser l’ingestion et les transformations, intégrer les différentes sources et orchestrer les traitements.
Garantir la qualité et la traçabilité : mettre en place des contrôles qualité, la déduplication, les métadonnées et le suivi de l’origine et des transformations des données.
Préparer les données pour l’IA/RAG : traiter des documents techniques, gérer leur classification, leur découpage, leur préparation pour les embeddings et leurs droits d’accès.
Industrialiser les solutions : mettre en place les tests, le versionnement, la CI/CD, la supervision et les mécanismes de reprise.
Documenter et transférer les connaissances : produire une documentation technique et d’exploitation permettant la maintenance des solutions dans la durée.
Profil recherché
Vous disposez de 5 à 12 ans d’expérience, avec une solide pratique opérationnelle du Data Engineering. Vous êtes autonome et capable de concevoir, développer et industrialiser des solutions de bout en bout.
Compétences indispensables :
Maîtrise avancée de Python et SQL.
Expérience significative dans la construction de pipelines ETL/ELT.
Maîtrise de l’industrialisation : tests automatisés, Git, CI/CD et supervision.
Expérience en orchestration de pipelines et intégration de données via API.
Compétences solides en qualité, gouvernance, métadonnées et traçabilité des données.
Bonne prise en compte de la sécurité et des contrôles d’accès.
Compréhension des principes du RAG, du chunking et des embeddings.
Expériences appréciées :
Environnements industriels complexes et données issues d’ERP, MES ou PLM.
Traitement de documents techniques.
Préparation de corpus pour des projets d’IA générative ou de RAG.
Conteneurisation et déploiement de traitements de données.
La plateforme et les outils techniques exacts seront précisés lors des échanges.
Livrables attendusCartographie des sources et des contraintes d’accès.
Pipelines automatisés, testés, versionnés et supervisés.
Documentation des datasets, schémas et règles de gestion.
Contrôles qualité et mécanismes de traçabilité.
Datasets et corpus IA/RAG sécurisés et exploitables.
Documentation d’exploitation et transfert de connaissances.
Le cœur du poste est le Data Engineering, pas le développement de modèles de Machine Learning. Une expérience uniquement orientée BI, reporting ou Data Science ne suffit pas sans une solide pratique des pipelines et de leur industrialisation.
La mission implique la manipulation de données potentiellement sensibles. Les exigences d’accès, de confidentialité et d’éventuelle habilitation seront précisées avec le client.
Découvrir OCTOGONE
Postulez à cette offre !
Trouvez votre prochain job parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Lead / Senior – Pipelines industrialisés & données pour l’IA – Vélizy
OCTOGONE