Mission freelance Ingénieur Data Senior — Plateforme Data On-Premise Open Source

Paris

Craftman data

GitLab CI

Kubernetes

OpenTelemetry

Prometheus

Publiée le 07/29/2026

Partager cette offre

CONTEXTE
Client final : grand groupe média & audiovisuel français. Au sein de la Direction IT Transverse, l'équipe Services & Automatisation met en place les plateformes de services du groupe. Nous recherchons un Ingénieur Data expérimenté (5 ans et plus) pour construire un MVP de plateforme Data On-Premise reposant sur des briques Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Le MVP s'intègre au socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) ; projet mené avec l'équipe Data & IA.

OBJECTIFS DE LA PLATEFORME
- Gérer la transformation de données On-Premise et alimenter un datalake On-Premise
- Servir de plateforme d'ingestion pour la plateforme Big Data hébergée sur GCP
- Passer les traitements du mode batch au temps réel (streaming)
- Démontrer la faisabilité de la migration des flux ETL portés par un outil propriétaire (type OpenText/Genio) : quelques flux dans le MVP, migration complète hors scope

MISSIONS
1. Conception et développement du MVP
- Architecturer une plateforme On-Premise scalable et robuste, intégrée au socle existant
- Choisir, configurer et déployer les briques Open Source : Kafka (streaming), NiFi (ingestion et orchestration de flux), Spark (traitement distribué), Iceberg (tables analytiques), Trino (requêtage SQL distribué)
- Intégrer la plateforme avec Kubernetes, GitLab CI (pipelines de déploiement et tests) et Prometheus/OpenTelemetry (monitoring et observabilité)

2. Validation technique et faisabilité
- Transformer quelques flux ETL existants pour démontrer la valeur ajoutée
- Mettre en place des pipelines streaming (Kafka + Spark Structured Streaming)
- Alimenter le datalake On-Premise (Iceberg + Trino)
- Valider l'interopérabilité avec la plateforme Big Data GCP

3. Collaboration et transmission
- Travailler avec l'équipe Data & IA (besoins métiers/techniques) et les équipes DevOps/Infrastructure (intégration au socle)
- Documenter les choix techniques, architectures et bonnes pratiques
- Former et accompagner les équipes internes sur les nouveaux outils

Profil recherché

- Plus de 5 ans en ingénierie de la donnée, dont une expérience confirmée sur des plateformes Data On-Premise
- Maîtrise opérationnelle de Kafka, NiFi, Spark (dont Structured Streaming), Iceberg, Trino
- Solide expérience du déploiement d'applications data sur Kubernetes
- Culture de l'observabilité (Prometheus, OpenTelemetry)
- Connaissance de GCP et des architectures hybrides on-prem/cloud
- Expérience de migration de flux ETL depuis des outils propriétaires appréciée

Environnement de travail

Découvrir Craftman data

20 - 99 salariés

ESN

Réinventer l’avenir : l’innovation humaine au cœur de la technologie 🚀 Quelques chiffres clés 30+ clients accompagnés 25+ experts data & IA 2.6 M€ de chiffre d’affaires 2 centres d’expertise 100+ formations par an 15% du CA investi en R&D 🧠 Notre mission Placer l’humain au cœur de la donnée pour créer des solutions intelligentes, responsables et à impact, en alliant expertise technologique, innovation et agilité. 🧩 Nos domaines d'expertise Stratégie data & gouvernance Transformation & qualité de la donnée Ingénierie Big Data Science des données & IA DevOps & automatisation Formation & acculturation data 💡 Nos services Diagnostic de maturité Roadmap IA & data IA générative & éthique Automatisation intelligente Analyse prédictive Data visualisation & UX Gouvernance & qualité des données Architecture cloud & CI/CD 👥 Notre équipe 25+ experts data 10+ spécialistes en stratégie data 5 PhD R&D 5 formateurs certifiés 🧬 Notre méthodologie Customer-centric : solutions co-construites avec nos clients Approche Agile & itérative Expertise sur toute la chaîne de valeur data Autonomisation des équipes métiers 🔁 Cycle de vie de la donnée Collecte multi-source Qualité & préparation Visualisation & dataviz Analyse prédictive & IA Déploiement automatisé (CI/CD) 🎓 Craftmandata Académie Formations inter/intra-entreprise Distanciel ou présentiel Modules sur l’IA, Cloud, DataViz... Formation de "champions métiers" 🧪 Craftmandata Lab – L’innovation concrète 15% du CA dédié à la R&D Projets internes : IA de qualité de données Détection de fraude Classification automatique NLP sur verbatims clients Suivi de la mixité & égalité Calcul de bilan carbone numérique 🛠 Notre écosystème technologique Cloud & microservices Big Data & NoSQL Machine Learning & Deep Learning VueJS, Redis, API, ELT/ETL Outils low/no-code Datalake, Data Catalog, DataViz 🌍 Nos clients & secteurs Banque | Assurance | Industrie | Énergie | Retail | Télécom | Transport

Postulez à cette offre !

Trouvez votre prochaine mission parmi +10 000 offres !

Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.

Ingénieur Data Senior — Plateforme Data On-Premise Open Source

Craftman data

Profil recherché

Environnement de travail

Découvrir Craftman data

Trouvez votre prochaine mission parmi +10 000 offres !

Trouvez votre prochaine mission parmi +10 000 offres !