Contractor job Ingénieur Data Senior — Plateforme Data On-Premise Open Source

Paris

Craftman data

GitLab CI

Kubernetes

OpenTelemetry

Prometheus

Published on 07/29/2026

Share this job

CONTEXTE
Client final : grand groupe média & audiovisuel français. Au sein de la Direction IT Transverse, l'équipe Services & Automatisation met en place les plateformes de services du groupe. Nous recherchons un Ingénieur Data expérimenté (5 ans et plus) pour construire un MVP de plateforme Data On-Premise reposant sur des briques Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Le MVP s'intègre au socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) ; projet mené avec l'équipe Data & IA.

OBJECTIFS DE LA PLATEFORME
- Gérer la transformation de données On-Premise et alimenter un datalake On-Premise
- Servir de plateforme d'ingestion pour la plateforme Big Data hébergée sur GCP
- Passer les traitements du mode batch au temps réel (streaming)
- Démontrer la faisabilité de la migration des flux ETL portés par un outil propriétaire (type OpenText/Genio) : quelques flux dans le MVP, migration complète hors scope

MISSIONS
1. Conception et développement du MVP
- Architecturer une plateforme On-Premise scalable et robuste, intégrée au socle existant
- Choisir, configurer et déployer les briques Open Source : Kafka (streaming), NiFi (ingestion et orchestration de flux), Spark (traitement distribué), Iceberg (tables analytiques), Trino (requêtage SQL distribué)
- Intégrer la plateforme avec Kubernetes, GitLab CI (pipelines de déploiement et tests) et Prometheus/OpenTelemetry (monitoring et observabilité)

2. Validation technique et faisabilité
- Transformer quelques flux ETL existants pour démontrer la valeur ajoutée
- Mettre en place des pipelines streaming (Kafka + Spark Structured Streaming)
- Alimenter le datalake On-Premise (Iceberg + Trino)
- Valider l'interopérabilité avec la plateforme Big Data GCP

3. Collaboration et transmission
- Travailler avec l'équipe Data & IA (besoins métiers/techniques) et les équipes DevOps/Infrastructure (intégration au socle)
- Documenter les choix techniques, architectures et bonnes pratiques
- Former et accompagner les équipes internes sur les nouveaux outils

Candidate profile

- Plus de 5 ans en ingénierie de la donnée, dont une expérience confirmée sur des plateformes Data On-Premise
- Maîtrise opérationnelle de Kafka, NiFi, Spark (dont Structured Streaming), Iceberg, Trino
- Solide expérience du déploiement d'applications data sur Kubernetes
- Culture de l'observabilité (Prometheus, OpenTelemetry)
- Connaissance de GCP et des architectures hybrides on-prem/cloud
- Expérience de migration de flux ETL depuis des outils propriétaires appréciée

Working environment

Discover Craftman data

20 - 99 employees

IT services

Réinventer l’avenir : l’innovation humaine au cœur de la technologie 🚀 Quelques chiffres clés 30+ clients accompagnés 25+ experts data & IA 2.6 M€ de chiffre d’affaires 2 centres d’expertise 100+ formations par an 15% du CA investi en R&D 🧠 Notre mission Placer l’humain au cœur de la donnée pour créer des solutions intelligentes, responsables et à impact, en alliant expertise technologique, innovation et agilité. 🧩 Nos domaines d'expertise Stratégie data & gouvernance Transformation & qualité de la donnée Ingénierie Big Data Science des données & IA DevOps & automatisation Formation & acculturation data 💡 Nos services Diagnostic de maturité Roadmap IA & data IA générative & éthique Automatisation intelligente Analyse prédictive Data visualisation & UX Gouvernance & qualité des données Architecture cloud & CI/CD 👥 Notre équipe 25+ experts data 10+ spécialistes en stratégie data 5 PhD R&D 5 formateurs certifiés 🧬 Notre méthodologie Customer-centric : solutions co-construites avec nos clients Approche Agile & itérative Expertise sur toute la chaîne de valeur data Autonomisation des équipes métiers 🔁 Cycle de vie de la donnée Collecte multi-source Qualité & préparation Visualisation & dataviz Analyse prédictive & IA Déploiement automatisé (CI/CD) 🎓 Craftmandata Académie Formations inter/intra-entreprise Distanciel ou présentiel Modules sur l’IA, Cloud, DataViz... Formation de "champions métiers" 🧪 Craftmandata Lab – L’innovation concrète 15% du CA dédié à la R&D Projets internes : IA de qualité de données Détection de fraude Classification automatique NLP sur verbatims clients Suivi de la mixité & égalité Calcul de bilan carbone numérique 🛠 Notre écosystème technologique Cloud & microservices Big Data & NoSQL Machine Learning & Deep Learning VueJS, Redis, API, ELT/ETL Outils low/no-code Datalake, Data Catalog, DataViz 🌍 Nos clients & secteurs Banque | Assurance | Industrie | Énergie | Retail | Télécom | Transport

Apply to this job!

Find your next career move from +9,000 jobs!

Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.

Ingénieur Data Senior — Plateforme Data On-Premise Open Source

Craftman data