Find your next tech and IT Job or contract Apache Kafka

Your search returns 96 results.
Contractor

Contractor jobTech Lead MDM IDMC

Hexagone Digitale
Published on
Apache Kafka
API Management
Development

6 months
Tours, Centre-Val de Loire
CONTEXTE Le domaine C2DP – Référentiels est en charge des référentiels groupe (Référentiel Personnes, Référentiel géographique…) ainsi que des produits data personne et équipement hébergés au sein du DataHub. Le projet « Plateformisation – Mise en place du Référentiel Personnes RPG » consiste à réaliser les développements et paramétrages autour de la solution IDMC d'Informatica, en couvrant également les technologies API & Kafka. Le RPG, nouveau référentiel personne du groupe, est interfacé avec le CRM Salesforce et propage les informations clients à l'ensemble des systèmes contrats du SI. Le projet est conduit en mode agile : équipe Scrum au sein d'un train SAFe. RÔLE ET RESPONSABILITÉS PRINCIPALES Garant d'un haut niveau de performance des solutions opérées Participation aux travaux d'architecture et réception/analyse des besoins pour la conception générale Réalisation des estimations de charge en phase de cadrage et des études d'impacts Suivi des livraisons et orientation des tests de performance Réalisation des développements et tests unitaires Maintien en condition opérationnelle : intégrité, sécurité, cohérence applicative, montées de version, veille technologique Contribution à l'industrialisation du monitoring et à la qualité de service de la plateforme Expertise et support auprès de l'équipe de développement ; relations avec les éditeurs (Informatica…) LIVRABLES ATTENDUS Dossiers d'industrialisation / exploitation Estimations de charge (phase de cadrage) Études d'impacts Tests unitaires et résultats de tests de performance Rédaction de documentation technique liée aux développements IDMC / API / Kafka
View this job
Contractor

Contractor jobDéveloppeur Java Back-End Confirmé / Senior (H/F)

Freelance.com
Published on
Apache Kafka
API REST
DevSecOps

1 year
490-520 €
Ile-de-France, France
Dans le cadre de l'évolution d'un système d'information stratégique du secteur financier et assurantiel, nous recherchons un Développeur Java Back-End Confirmé/Senior pour intégrer une équipe Agile organisée à l'échelle SAFe. Vous participerez au développement et à l'évolution d'applications critiques à forte composante Data, au sein d'un environnement technique moderne orienté qualité, automatisation et DevSecOps. En tant que contributeur technique majeur de l'équipe, vous interviendrez sur l'ensemble du cycle de vie des applications, de la conception à l'exploitation en production. Vos missionsConcevoir, développer, tester et maintenir des applications Java robustes et performantes. Participer aux choix d'architecture et à la conception technique des solutions. Garantir la qualité, la maintenabilité et la sécurité du code produit. Mettre en œuvre et enrichir les stratégies de tests automatisés (unitaires, intégration, end-to-end). Participer à l'amélioration continue des pipelines CI/CD et des pratiques DevSecOps. Contribuer au traitement des incidents de production et à l'amélioration de la résilience des applications. Participer aux cérémonies Agile Scrum et SAFe. Accompagner les développeurs plus juniors à travers les revues de code et le partage de bonnes pratiques. Assurer une veille technologique active et proposer des améliorations techniques. Exploiter les outils d'IA générative pour optimiser la qualité et la productivité du développement.
View this job
Contractor

Contractor job267 - Data Engineer / Architecte Databricks (H/F)

Nicholson SAS
Published on
Apache Kafka
Azure DevOps
CI/CD

5 months
660 €
Paris, France
Date de démarrage : ASAP Date de fin : 31/10/2026 Localisation : Paris Tarif Journalier Moyen (TJM) Max : 660 € Descriptif de la MissionAu sein des équipes Data, vous interviendrez sur la conception, le développement, la gouvernance et l'optimisation de nos plateformes de données. Vos activités principales s'articuleront autour de quatre grands piliers : 1. Développement & Architecture DataConcevoir et développer des pipelines de données robustes et scalables sur Databricks (PySpark, Spark SQL, Delta Live Tables). Mettre en place des architectures Lakehouse basées sur Delta Lake. Industrialiser et orchestrer les workflows ETL/ELT à l'aide de Databricks Workflows. 2. Gestion et Administration de la Plateforme DatabricksAdministrer l'espace de travail (gestion des workspaces, configuration des clusters, gestion des permissions). Assurer l'optimisation des coûts (finops) via la configuration fine, l'autoscaling et le monitoring des clusters. Implémenter et faire respecter les bonnes pratiques de sécurité (Unity Catalog, gestion des accès, lineage de la donnée). 3. Gouvernance & Qualité des DonnéesMettre en place des mécanismes stricts de qualité et de validation des données (expectations, tests automatisés). Documenter rigoureusement les modèles et les flux sur la plateforme. Garantir la fiabilité, la cohérence et la fraîcheur des données mises à disposition. 4. Collaboration & SupportCollaborer étroitement avec les Data Analysts, Data Scientists et les équipes métiers. Accompagner et former les utilisateurs clés dans l'adoption et la prise en main de l'écosystème Databricks. Participer activement aux revues de code, à la standardisation et au partage des bonnes pratiques d'ingénierie. Compétences RequisesTechniques (Incontournables) :Développement : Excellente maîtrise de PySpark ou Spark SQL. Écosystème : Forte expérience pratique avec Databricks (pipelines, clusters, notebooks, Unity Catalog). Architecture : Solides connaissances des architectures Lakehouse, du data modeling, des concepts ETL/ELT et des stratégies d'ingestion (batch & streaming). Cloud : Connaissance approfondie d'au moins un des principaux fournisseurs cloud (Azure, AWS ou GCP). DevOps : Maîtrise de Git et des pratiques de CI/CD (Azure DevOps, GitHub Actions, etc.). Souhaitées (Un plus) :Connaissances en MLflow, orchestration de modèles et pratiques MLOps. Notions avancées en DataOps, cost optimization (FinOps) et outils de monitoring. Expérience dans l'exploitation d'APIs et l'ingestion de données en temps réel (ex: Kafka).
View this job
Contractor

Contractor jobConcepteur Développeur IDMC

Hexagone Digitale
Published on
Apache Kafka
API Management
Conception

6 months
290-360 €
Tours, Centre-Val de Loire
CONTEXTE Le domaine C2DP – Référentiels d'un grand groupe de protection sociale et d'assurance gère les référentiels centraux du groupe (personnes, géographique) ainsi que les produits data hébergés au sein du DataHub. Le projet RPG vise à mettre en place un nouveau référentiel personnes (clients & assurés) reposant sur la solution IDMC d'Informatica. Ce référentiel est interfacé avec le CRM Salesforce et propage les données clients vers l'ensemble des systèmes contrats du SI. Le périmètre technique couvre la solution IDMC (modules CAI & CDI), les API, Kafka et Kstream-Java. Le projet est conduit en mode agile, au sein d'une équipe Scrum intégrée à un train SAFe. RÔLE ET RESPONSABILITÉS PRINCIPALES Réalisation des analyses fonctionnelles et techniques dans le périmètre RPG Conception des solutions IDMC (modules CAI et CDI) Développement et paramétrage autour de la plateforme Informatica IDMC Implémentation et intégration des flux via API et Kafka / Kstream-Java Rédaction et exécution des tests unitaires Participation active aux cérémonies agile (Sprint, PI Planning…) Déplacements ponctuels à Paris pour réunions de travail et PI Planning LIVRABLES ATTENDUS Analyses fonctionnelles et techniques documentées Développements IDMC (CAI / CDI) livrés et testés Flux API et Kafka intégrés et validés Tests unitaires exécutés et résultats consignés
View this job
Contractor
Permanent

Job VacancyTech lead Java - ALMT

Digistrat consulting
Published on
Agile Scrum
Java

3 years
40k-80k €
450-640 €
Paris, France
🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Application back office généraliste (multiproduits) et local (nombreux sites & utilisateurs dans le monde). L'entité Interface est en charge d'interfacer ce système avec les autres systèmes (booking, paiements, référentiels...) Il s'agit de contribuer aux développements des interfaces. Le code est principalement en C et Java avec un peu de shell (ksh, awk). 💡Les livrables attendus sont : Discussion sur les solutions techniques avec les architectes Orienter les clients et l'équipe vers la solution technique la plus appropriée Pilotage et encadrement des équipes de dev Développement des pipelines streaming pour la production et consommation avec la librairie apache-kafka Accompagnement et coaching des membres de l'équipe sur les bonnes pratiques techniques Porter la démarche d'amélioration continue associée (clean code..) Participer aux développements et à l'implémentation des solutions, notamment sur les phases sensibles du développement (développement web service Rest) Identification des points bloquants et analyser les obstacles de manière proactive afin de remplir le Sprint (gestion des incidents) DevOps : développent de la chaine CI/CD jenkins Revue de code et vérification des métriques (Jenkins, Sonar) pour garantir la qualité de code Organisation des réunions avec l'ensemble des interlocuteurs des applications qui s'interfacent avec le domaine de la garantie Participation à la rédaction des Document Architecture Technique avec les architectes techniques Participation à la roadmap des livraisons à moyen et long terme et négocier, avec le BO Onboarding des nouveaux arrivants
View this job
Contractor

Contractor jobArchitecte Platform Senior

5COM Consulting
Published on
Apache Kafka
Argo CD
DevSecOps

3 years
700 €
Nanterre, Ile-de-France
Nous recherchons pour l'un de nos clients, acteur financier en temps réel à forte volumétrie, un Architecte Platform senior, en CDI ou freelance, basé à Nanterre. Le poste Le Platform Architect est responsable de la vision technique, de la cohérence des socles et de la conception des architectures transverses qui soutiennent l'ensemble des équipes delivery, exploitation et production. Il agit comme un chef d'orchestre technique garantissant que tous les composants fonctionnent de manière intégrée, fiable et conforme. Domaines couverts IAM et sécurité : Keycloak, OAuth2, Zero Trust, DevSecOps Kubernetes et GitOps : ArgoCD, Helm, Terraform Observabilité : Prometheus, Grafana, Loki, Instana Middlewares : Kafka, HAProxy, ActiveMQ, Redis Data stores : PostgreSQL, MongoDB CI/CD : GitHub Actions, Jenkins Infrastructure hybride on-premise et cloud privé IA et exploitation de la plateforme Un élément différenciant fort du poste : la capacité à intégrer l'IA dans l'exploitation de la plateforme (AIOps, détection d'anomalies, prédiction d'incidents, auto-remédiation). Il ne s'agit pas d'un profil data scientist, mais d'un architecte qui comprend l'IA et sait la mettre au service de la fiabilité et de la performance des systèmes critiques. Gouvernance et responsabilités Construction des roadmaps socles Pilotage de la gestion des risques d'obsolescence (OS, base de données, middleware, clusters, IAM) Participation aux comités d'architecture Garantie de la cohérence des designs proposés par les différentes équipes Accompagnement des projets métiers et challenge des architectures applicatives Intervention en expert niveau 3 sur les incidents complexes
View this job
Contractor
Permanent

Job Vacancy🚀 Opportunité – Expert Hadoop / Cloudera CDP / Ansible (H/F)

OMICRONE
Published on
Apache NiFi
Apache Spark
Big Data

1 year
40k-45k €
400-510 €
Ile-de-France, France
🚀 Opportunité – Expert Hadoop / Cloudera CDP / Ansible (H/F)Dans le cadre du renforcement d'une plateforme Big Data stratégique d'un grand groupe bancaire, nous recherchons un Expert Hadoop / Cloudera CDP pour intervenir sur des projets d'évolution, d'industrialisation et de maintien en conditions opérationnelles d'une infrastructure critique. Vos missionsAdministrer, maintenir et optimiser des clusters Hadoop (Cloudera CDP). Assurer la disponibilité, la performance et la sécurité de la plateforme Big Data. Automatiser les déploiements, patchs et configurations avec Ansible et Terraform. Participer aux montées de version des composants Hadoop. Intervenir sur des incidents complexes et contribuer aux task forces techniques. Déployer de nouvelles fonctionnalités d'infrastructure. Collaborer avec l'éditeur et les équipes techniques internes. Produire et maintenir la documentation technique. Environnement techniqueHadoop / Cloudera CDP 7.1.x Apache Kafka Apache NiFi Spark Ansible Terraform / Terragrunt Shell scripting GitHub / AWX Profil recherchéSolide expérience d'administration de plateformes Hadoop / Cloudera. Très bonne maîtrise d'Ansible et de l'automatisation d'infrastructure. Expérience sur Kafka, NiFi et Spark. Bonne connaissance des environnements Linux et des pratiques DevOps. Capacité à intervenir sur des problématiques techniques complexes et à accompagner les évolutions d'une plateforme Big Data. Informations complémentaires📍 Localisation : Île-de-France 🏢 Mission en présentiel 📅 Démarrage : ASAP ⏳ Mission longue durée (12 mois renouvelables) 📩 Si cette opportunité vous intéresse, n'hésitez pas à me contacter en message privé ou à envoyer votre CV.
View this job
Contractor
Permanent

Job VacancyExpert BMC Helix Discovery - Data Product

VISIAN
Published on
API
BMC Discovery
ITSM

1 year
Paris, France
ContexteDans le cadre du programme ITAM et la mise en place du Group Global Inventory ainsi que l'alimentation industrielle de la CMDB Group, le bénéficiaire renforce ses activités autour du produit BMC Helix Discovery. MissionsResponsable Discovery Data product : Développement des query API Discovery en regard des besoins production Construction des data sets dans l'outil de query engine Exposition du data product à la consommation opérationnelle Interfaçage au MCP pour alimenter l'IA Production MCO et optimisation des query et data sets DevOps Discovery : Configuration et paramétrage de BMC Discovery : configurer et paramétrer BMC Discovery pour collecter les données d'actifs informatiques, telles que les périphériques réseau, les logiciels, les matériels, etc. Intégration des données de BMC Discovery : intégrer les données de BMC Discovery dans le système de nettoyage des données pour enrichir les données existantes. Définition des règles de correspondance : définir des règles de correspondance pour associer les données de BMC Discovery avec les données existantes dans le système. Mise en place de la synchronisation des données : mettre en place la synchronisation des données entre BMC Discovery et le système de nettoyage des données. Gestion des erreurs et des exceptions : gérer les erreurs et les exceptions qui peuvent survenir lors de la collecte, de l'intégration et de la synchronisation des données. Outils & EnvironnementBMC Helix Discovery (mandatory) Starburst (Data product, MCP, AI) Spark / Pyspark ServiceNow ITSM (change, incident, problem, request) Jira / Confluence Nice to have : Tableau Server / Tableau Desktop / PowerBI / Dataikku Talend Real Time Big Data / ESB, ETL, EAI Talend Data Catalogue PostGreSQL / Apache Kafka / S3 storage Environnement techniqueL'expert utilisera BMC Discovery et d'autres outils pour collecter et intégrer les données, pour ensuite les exposer en data products afin d'alimenter des IA. DonnéesTravail avec des données d'actifs informatiques, notamment des informations sur les périphériques réseau, les logiciels, les matériels, etc. Système de nettoyage des donnéesL'expert doit comprendre le fonctionnement du système de nettoyage des données et comment les données de BMC Discovery peuvent être intégrées pour améliorer la qualité des données.
View this job
Contractor

Contractor jobDéveloppeur fullstack Java Data (H/F)

Insitoo Freelances
Published on
Angular
Data Engineering
Java

2 years
410-463 €
Lyon, Auvergne-Rhône-Alpes
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur fullstack Java Data (H/F) à Lyon, France. Contexte : Au sein du pôle, le département et le projet rassemble des briques applicatives et data essentielles à la supervision, la résilience, l'intelligence du réseau. En intégrant des outils de visualisation de crise, des capteurs IoT, des dataproducts, un socle devOps mutualisé, le projet incarne une approche unifiée et opérationnelle de la donnée réseau. Une application critique nécessitant un haut niveau de service et une nouvelle application avec une forte composante dataproduct (mise à disposition des données). Les missions attendues par le Développeur fullstack Java Data (H/F) : Activité principale o Participer à la conception ainsi qu'à la mise en œuvre des développements à partir des spécifications fonctionnelles, de manière robuste et performante o Participer à la couverture des tests, à la correction des anomalies fonctionnelles et/ou techniques o Participer aux revues de code o Participer aux différentes réunions/ateliers de l'équipe o Challenger le besoin vis-à-vis des bonnes pratiques et contraintes techniques Activité secondaire o Rédaction et actualisation de documents techniques o Support aux équipes fonctionnelles o Réalisation de tests croisés Stack technique de l'équipe Java, Spark 3, Spring 4 (Core, boot, data, batch), postgreSQL, kubernetes, apache kafka, airflow 2 & 3, typeScript, powerBI, Git, Maven, Jenkins, Linux, Windows, Hibernate, Angular, Sonar, Liquibase, ElasticSearch
View this job
Contractor
Permanent

Job VacancyCloudBuilder AWS Expert sur Maison Alfort ou Lille

EterniTech
Published on
Amazon Elastic Compute Cloud (EC2)
Amazon S3
Apache Kafka

3 months
Maisons-Alfort, Ile-de-France
Je cherche pour un de mes clients un CloudBuilder AWS Expert sur Maison Alfort ou Lille Mon client est une banque citoyenne qui accompagne les entreprises, de l'amorçage jusqu'à la cotation en bourse, du crédit aux fonds propres. Si nous sommes une structure historique, organisée et reconnue, nous avons l'esprit agile et rapide et les moyens de notre transformation. Nous sommes LA banque partenaire des entrepreneurs, présente à leurs côtés au cœur de nos 50 implantations. Présents à chaque étape de leur vie ; nous rejoindre c'est œuvrer pour leur compétitivité et une mission d'intérêt générale. Nous souhaitons transmuter pour devenir une FINTECH et offrir les meilleurs services digitaux à l'ensemble de nos clients, grâce à des plateformes digitales : plateformes d'octroi de prêt en ligne Notre challenge: Déployer toutes les solutions Tech d'aujourd'hui, de demain, et ainsi offrir à nos clients des outils adaptés et novateurs, tout en ayant une conscience Green IT afin de servir l'avenir de façon durable. h2. Périmètre du poste Vous interviendrez au sein de la Direction de la technologie de la DSI , direction qui fonctionne sur une logique SAFE à l'échelle. Plus précisément au sein du train Hyperloop dont la raison d'être principale est de bâtir une plateforme cloud hybride basée sur des patterns d'architecture natif, respectant les dernières normes en matière de sécurité, de résilience & d'ouverture. Cette plateforme se veut entièrement automatisée avec des produits innovants accessibles en mode self service à ces clients (métiers / agile teams / marque blanche...) *Vous serez rattaché à la team "Cloud Public",* vous serez en charge de l'accompagnement des projets sur la plateforme AWS sur toutes leurs phases Le CCOE est constitué d'une dizaine de collaborateurs avec 2 squads : • Squad « Socle » en charge de la construction, mise à disposition de services & maintien en conditions opérationnelles de la plateforme AWS • Squad « Shared Service Cloud » est en charge de l'accompagnement des projets sur la plateforme AWS sur toutes leurs phases Une landing zone est constitué des services de base pour l'ensemble des projets & services opérés sur la plateforme dont les plateformes digitales & data . Elle regroupe les services suivants : • Services d'organisation & d'habilitations • Services réseaux & d'interconnectivité (vpc / segmentation / tgw / direct connect...) • Services de sécurité (chiffrement / audit / remédiation / sauvegarde 3-2-1 / reverse...) • Services finops (dashboard / outillage spécialisé apptio / suivi green...) Plus de 200 accounts AWS à ce jour, soit environ 20% du parc applicatif du client, avec plusieurs domaines : • Domaine Digital • Ex : Banque en ligne, Matreso pour la consolidation des encours DSP2, PGE pour les prêts garantis d'état • Domaine Data • Ex : Plateforme Data de valorisation des données, Comptoir de données • Domaine Mutualisé • Ex : KYC pour les processus de conformité client • Domaine Web Objectif de cette mission : L'intervenant assurera le rôle de Cloud builder senior de la team Cloud Public en étroite collaboration avec le Product Owner, et les membres de l'équipe. *A ce titre, il devra :* • Construire et mettre en place les éléments / briques / services nécessaire aux environnements relatifs à la plateforme ou segment d'une plateforme AWS • S'assurer du maintien en conditions opérationnelles de la plateforme à l'état souhaité du client (patching / sécurité / réduction de dette technique) • Automatiser de bout en bout les constructions via Terraform • Intégrer les automatismes dans la chaine CI/CD (Logique GITOPS) • Tester le fonctionnement de l'ensemble (en lien avec l'application ou le socle cible) • Documenter les travaux • Transférer l'expertise à l'équipe Liste des technologies utilisées : Profil recherché{*}{{*}} • Profil Senior/expert, ayant minimum 5 ans d'expérience sur un environnement Cloud AWS (idéalement ayant déjà travaillé dans une équipe de landing zone/socle) • Profil orienté développement (Python / Go) • Maitrise opérationnelle sur outillage devops (Gitlab, Jenkins) et IaC (Terraform) • Bonne connaissance sur stack réseau & sécurité • Une expérience opérationnelle sur une landing zone AWS est un plus • une personne dotée d'un bon sens relationnel, esprit de synthèse avec une prise de recul et force de proposition Stack AWS • Services : CloudFront / EC2 / S3 / EKS / Kafka / APIGateway / RDS / Lambda • Sécurité : CertifcateManager / SecretsManager / KMS / HSM / GuardDuty / ... • Réseau : VPC / TransitGateway / ELB / NLB / ALB / Direct Connect • Data: S3 / Athena / Kinesis / DynamoDb / DocumentDb / ElasticSeardh • IAC / DevOps : Terraform / Packer / Conteneur (Docker, Podman,...) • Dev : Python / Rest / Swagger / Go • Usine logicielle : Jenkins / Gitlab • Observabilité : CloudWatch/ DataDog / ELK / Promotheus/ Grafana • Outils équipe : Office365 / Teams / Confluence Cloud (Jira / Confluent
View this job
Contractor

Contractor jobBusiness Analyst Power BI (H/F)

Insitoo Freelances
Published on
Microsoft Power BI
User story

2 years
450-525 €
Lyon, Auvergne-Rhône-Alpes
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Business Analyst Power BI (H/F) à Lyon, France. Contexte : Au sein du pôle, le département et le projet rassemble des briques applicatives et data essentielles à la supervision, la résilience, l'intelligence du réseau. En intégrant des outils de visualisation de crise, des capteurs IoT, des dataproducts, un socle devOps mutualisé, le projet incarne une approche unifiée et opérationnelle de la donnée réseau. Une application critique nécessitant un haut niveau de service et une nouvelle application avec une forte composante dataproduct (mise à disposition des données). Les missions attendues par le Business Analyst Power BI (H/F) : Activité principale o Prépare et anime des ateliers avec le métier et les SI partenaires o Conçoit et maquette des solutions o Rédige les expressions de besoins, les user-stories, les spécifications o Alimente, priorise et maintien du backlog produit o Suit des prérequis aux développement afin de répondre aux questions et de compléter, au besoin, les user-stories. o Modélisation du processus des données o Participe à la définition de la stratégie data o Conçoit les modèles de données nécessaires aux usages analytiques o Conçoit des tableaux de bord et rapports PowerBI o Construit des modèles sémantiques robustes o Documente les flux, référentiels et règles métier o Garantit la performance, la maintenabilité et l'évolutivité des modèles o Recette des livrables o Participe à la formation des utilisateurs Activité secondaire o Participe aux choix d'architecture technique o Accompagne les métiers dans l'adoption des solutions BI Stack technique de l'équipe PowerBI desktop et Service, SQL, Tableau, Java, Spark 3, Spring 4 (Core, boot, data, batch), postgreSQL, kubernetes, apache kafka, airflow 2 & 3, typeScript, powerBI, Git, Maven, Jenkins, Linux, Windows, Hibernate, Angular, Sonar, Liquibase, ElasticSearch
View this job
Permanent
Contractor

Job VacancyIngénieur Data Senior Spark (H/F)

Signe +
Published on

24 months
55k-60k €
393-600 €
Paris, France
Vous rejoindrez un grand groupe du secteur audiovisuel et médias pour concevoir et développer le MVP d'une plateforme Data On-Premise innovante. Ce projet stratégique vise à moderniser l'infrastructure data existante en intégrant une stack Open Source performante (Kafka, NiFi, Spark, Iceberg, Trino) et à faciliter la transition vers le traitement temps réel tout en validant l'interopérabilité avec les services cloud publics. Au sein de la Direction IT Transverse, vous piloterez l'architecture et la mise en œuvre d'une plateforme data scalable et robuste, intégrée au socle technique existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Vous travaillerez en collaboration étroite avec les équipes métiers et techniques du groupe pour transformer des flux ETL existants, démontrer la faisabilité de migration depuis les systèmes actuels, et établir les bonnes pratiques de la nouvelle plateforme. Ce rôle combine architecture data, ingénierie de plateforme et mentorat technique dans un environnement moderne et exigeant, avec un fort impact sur la modernisation de l'écosystème data du groupe. Responsabilités : - Architecturer une plateforme Data On-Premise scalable, robuste et intégrée à l'infrastructure existante (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) - Sélectionner, configurer et déployer les composants Open Source clés : Apache Kafka (streaming), Apache NiFi (ingestion et orchestration), Apache Spark (traitement distribué), Apache Iceberg (gestion de tables analytiques) et Trino (requêtage SQL distribué) - Implémenter des cas d'usage concrets en transformant des flux ETL existants et en mettant en place des pipelines de données en streaming (Kafka + Spark Structured Streaming) - Alimenter et optimiser un datalake On-Premise basé sur Iceberg, avec requêtage via Trino - Valider l'interopérabilité et les patterns d'intégration avec les services Big Data en environnement cloud public (GCP) - Collaborer avec l'équipe Data et IA pour aligner les besoins métiers et techniques, et avec les équipes DevOps/Infrastructure pour l'intégration du socle - Documenter les choix architecturaux, les décisions techniques et établir les bonnes pratiques de la plateforme - Former et accompagner les équipes internes sur les nouveaux outils, processus et méthodologies Télétravail : 2/3 jours par semaine Localisation : Paris / Rennes
View this job

Connecting Tech-Talent

Free-Work, THE platform for all IT professionals.

Free-workers
Resources
About
Recruiters area
2026 © Free-Work / AGSI SAS
Follow us