Find your next tech and IT Job or contract Apache Kafka

La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d'ingénieur, école d'informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Application back office généraliste (multiproduits) et local (nombreux sites & utilisateurs dans le monde). L'entité Interface est en charge d'interfacer ce système avec les autres systèmes (booking, paiements, référentiels...) Il s'agit de contribuer aux développements des interfaces. Le code est principalement en C et Java avec un peu de shell (ksh, awk). 💡Les livrables attendus sont : Discussion sur les solutions techniques avec les architectes Orienter les clients et l'équipe vers la solution technique la plus appropriée Pilotage et encadrement des équipes de dev Développement des pipelines streaming pour la production et consommation avec la librairie apache-kafka Accompagnement et coaching des membres de l'équipe sur les bonnes pratiques techniques Porter la démarche d'amélioration continue associée (clean code..) Participer aux développements et à l'implémentation des solutions, notamment sur les phases sensibles du développement (développement web service Rest) Identification des points bloquants et analyser les obstacles de manière proactive afin de remplir le Sprint (gestion des incidents) DevOps : développent de la chaine CI/CD jenkins Revue de code et vérification des métriques (Jenkins, Sonar) pour garantir la qualité de code Organisation des réunions avec l'ensemble des interlocuteurs des applications qui s'interfacent avec le domaine de la garantie Participation à la rédaction des Document Architecture Technique avec les architectes techniques Participation à la roadmap des livraisons à moyen et long terme et négocier, avec le BO Onboarding des nouveaux arrivants

Dans le cadre du développement des activités sur le marché secondaire EQD, nous recherchons nous recherchons un Développeur Java Senior / Référent Technique DevOps pour rejoindre une équipe d'environ 20 personnes composée de Business Analysts et de développeurs. Le consultant participera aux évolutions fonctionnelles et techniques de la plateforme tout en contribuant activement à la définition et à la mise en place des architectures applicatives et de production. Au-delà du développement, le rôle implique une forte dimension d'architecture, d'automatisation et d'amélioration continue des processus de livraison. Missions principales : • Développement et maintenance des applications Java • Participation aux phases de recette et de validation • Conception et évolution des architectures applicatives • Mise en place des bonnes pratiques d'architecture et de développement • Participation aux mises en production et au support niveau 3 • Conception et optimisation des chaînes CI/CD • Automatisation des déploiements et des tâches d'exploitation • Développement de scripts d'automatisation • Contribution aux projets DevOps et à l'amélioration continue des environnements • Gestion de la capacité des infrastructures et accompagnement des évolutions techniques • Collaboration étroite avec les équipes métiers, développement et production

CONTEXTE DE LA MISSION Le client est une co-entreprise spécialisée dans les paiements et la gestion de systèmes transactionnels temps réel à forte volumétrie, adossée à deux grands groupes bancaires français. La Direction Technique assure la continuité, la sécurité, la performance et l'innovation des services transactionnels, dans un environnement critique soumis à des exigences SLA strictes. Au sein de l'équipe Platform Engineering, le Platform Architect est responsable de la vision technique globale et de la cohérence des socles transverses qui supportent l'ensemble des équipes delivery, exploitation et production. Le périmètre couvre l'architecture end-to-end : IAM, Data, CI/CD, Kubernetes, réseaux, middleware, observabilité, sécurité et industrialisation — en environnement on-premise et cloud privé/hybride. Des interventions en heures non ouvrées (HNO) et des astreintes sont prévues conformément aux besoins opérationnels. RÔLE ET RESPONSABILITÉS PRINCIPALES Définir et maintenir les référentiels d'architecture plateforme (standards, patterns, technologies) et garantir la cohérence technique de bout en bout. Concevoir les socles techniques transverses : IAM, Data stores, Kafka, CI/CD, Kubernetes/Docker/ArgoCD, observabilité et middlewares. Définir et appliquer les standards de sécurité (Zero Trust, DevSecOps, gestion des certificats et secrets, durcissement SI). Piloter la gouvernance technique : roadmaps socles, gestion des obsolescences, participation aux comités d'architecture et arbitrages techniques. Challenger les architectures applicatives des tribes et contribuer aux dossiers d'architecture des projets métiers. Concevoir les modèles d'Infrastructure as Code (Terraform, Ansible, Helm) et normaliser les pratiques GitOps/CI/CD. Apporter un support expert de niveau N3 lors d'incidents complexes. Définir la vision long terme de la plateforme et construire les trajectoires d'évolution (cloud hybride, API management, IAM modernisé, AIOps). LIVRABLES ATTENDUS Référentiels d'architecture plateforme (standards, patterns, guidelines techniques) Roadmaps socles : patching, migrations, gestion des versions en fin de support Modèles d'Infrastructure as Code (Terraform, Ansible, Helm) Pipelines CI/CD génériques et patterns ArgoCD/GitOps normalisés Dossiers d'architecture pour les projets métiers Rapports de conformité, résultats d'audits et plans de remédiation Vision stratégique long terme et trajectoires d'évolution de la plateforme

Vous rejoindrez un grand groupe du secteur audiovisuel et médias pour concevoir et développer le MVP d'une plateforme Data On-Premise innovante. Ce projet stratégique vise à moderniser l'infrastructure data existante en intégrant une stack Open Source performante (Kafka, NiFi, Spark, Iceberg, Trino) et à faciliter la transition vers le traitement temps réel tout en validant l'interopérabilité avec les services cloud publics. Au sein de la Direction IT Transverse, vous piloterez l'architecture et la mise en œuvre d'une plateforme data scalable et robuste, intégrée au socle technique existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Vous travaillerez en collaboration étroite avec les équipes métiers et techniques du groupe pour transformer des flux ETL existants, démontrer la faisabilité de migration depuis les systèmes actuels, et établir les bonnes pratiques de la nouvelle plateforme. Ce rôle combine architecture data, ingénierie de plateforme et mentorat technique dans un environnement moderne et exigeant, avec un fort impact sur la modernisation de l'écosystème data du groupe. Responsabilités : - Architecturer une plateforme Data On-Premise scalable, robuste et intégrée à l'infrastructure existante (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) - Sélectionner, configurer et déployer les composants Open Source clés : Apache Kafka (streaming), Apache NiFi (ingestion et orchestration), Apache Spark (traitement distribué), Apache Iceberg (gestion de tables analytiques) et Trino (requêtage SQL distribué) - Implémenter des cas d'usage concrets en transformant des flux ETL existants et en mettant en place des pipelines de données en streaming (Kafka + Spark Structured Streaming) - Alimenter et optimiser un datalake On-Premise basé sur Iceberg, avec requêtage via Trino - Valider l'interopérabilité et les patterns d'intégration avec les services Big Data en environnement cloud public (GCP) - Collaborer avec l'équipe Data et IA pour aligner les besoins métiers et techniques, et avec les équipes DevOps/Infrastructure pour l'intégration du socle - Documenter les choix architecturaux, les décisions techniques et établir les bonnes pratiques de la plateforme - Former et accompagner les équipes internes sur les nouveaux outils, processus et méthodologies Télétravail : 2/3 jours par semaine Localisation : Paris / Rennes

Dans le cadre d'un projet stratégique pour un client (Telecom), nous recherchons un(e) Développeur(se) DevOps & Backend Java confirmé(e) afin d'intégrer l'équipe Développement Service Accès. Vous interviendrez sur une plateforme temps réel à forte volumétrie traitant plus de 300 messages/seconde sur environnement Google Cloud Platform (GCP), basée sur une architecture distribuée utilisant Kubernetes, Kafka et des microservices Java. L'objectif principal est de concevoir, industrialiser et maintenir une plateforme scalable capable d'accompagner la croissance du produit et l'intégration de nouveaux services. Missions principalesInfrastructure & Platform Engineering (50%)Concevoir, administrer et maintenir des clusters Google Kubernetes Engine (GKE) Exploiter et optimiser une plateforme Apache Kafka (partitioning, consumer groups, performance) Mettre en œuvre l'Infrastructure as Code avec Terraform, Helm et Ansible Déployer des solutions d'observabilité : métriques, monitoring, alerting Assurer la sécurité de la plateforme : Workload Identity Network Policies Gestion des secrets Concevoir et améliorer les pipelines CI/CD Développement Backend Java (30%)Développer des microservices haute performance en Java / Spring Boot Participer à la conception d'architectures distribuées Optimiser le traitement des flux temps réel via Kafka Garantir la qualité, la robustesse et la performance des applications Études techniques & amélioration continue (20%)Réaliser des benchmarks de performance et tests de charge (k6) Participer aux études de dimensionnement et capacity planning Rédiger la documentation d'architecture technique (ADR) Participer aux choix techniques et aux évolutions de la plateforme Compétences techniques attenduesIndispensables : GCP / Google Cloud Platform : confirmé Kubernetes : expert Google Kubernetes Engine (GKE) : confirmé Java : expert Apache Kafka : avancé Terraform : avancé Ansible : avancé PostgreSQL : confirmé Architecture microservices GCP Kubernetes / GKE Kafka Java 17+ Spring Boot Terraform Helm Ansible CI/CD PostgreSQL k6

Dans le cadre du développement de notre plateforme de data streaming dédiée au secteur de l'énergie, nous recherchons un Lead Developer Data Streaming. Contexte La plateforme assure la collecte et le traitement de données énergétiques issues d'équipements terrain : capteurs IoT, automates, systèmes de gestion technique de bâtiments. Elle constitue le socle de l'exploitation et de la valorisation de ces données en temps réel. Environnement technique - Java, Spring Boot, Spring Data - Apache Kafka, Kafka Streams - Idéalement : InfluxDB, Spring Cloud, Kafka Connect, Oracle Database, PL/SQL, AWS Lambda, SQS, SNS, Ansible, Docker, Spark Enjeux et missions En tant que Lead Developer Data Streaming, vous prendrez en charge le pilotage technique des sujets suivants : - Les problématiques de streaming : partitionnement Kafka, gestion du throughput, optimisation de la latence - La tolérance aux pannes et la reprise sur incident - La cohérence des données et la supervision de pipelines critiques - Des sujets avancés liés aux architectures event-driven et aux systèmes distribués - L'orientation technique de l'équipe sur ces sujets

Architecte IA / Data Senior Data Mesh, Lakehouse, Event Driven Architecture, ODS temps réel et virtualisation des données. La mission se déroule sur Nantes avec 2j de Télétravail. Prestation d''Architecte IA / Data Senior pour définir, structurer et faire évoluer une architecture Data cible nativement « IA Ready », capable de répondre aux enjeux de partage, d'exploitation et de valorisation des données dans un environnement complexe et en forte transformation. Le consultant contribue à la définition de l'architecture Data et technique de référence, en s'appuyant sur les principes Data Mesh, Lakehouse, Event Driven Architecture, ODS temps réel et virtualisation des données. Il assure la cohérence globale des choix d'architecture, leur interopérabilité avec les plateformes existantes, ainsi que leur alignement avec les exigences de gouvernance et de sécurité. Sur le volet architecture, il réalise les études de cadrage, produit les dossiers d'architecture, définit les modèles de données et accompagne la mise en œuvre des premiers cas d'usage. Il intervient également sur les problématiques de robustesse, de scalabilité, de résilience et de réversibilité des plateformes, tout en garantissant la prise en compte des contraintes de souveraineté, de sécurité et de conformité réglementaire. En parallèle, il joue un rôle de référent transverse auprès des équipes métiers, techniques et des partenaires, en apportant son expertise sur les architectures Data modernes et les usages IA associés. Il contribue aux arbitrages d'architecture, à la définition des trajectoires cibles et à l'accompagnement des projets, avec une forte attente sur sa capacité à fédérer les acteurs, structurer les décisions et construire une plateforme durable, évolutive et prête à accueillir les futurs usages d'intelligence artificielle. Environnement technique : Data Mesh, Lakehouse, Databricks, Apache Kafka, Change Data Capture (CDC), Azure Data Factory, Azure Event Hub, RAG (Retrieval-Augmented Generation), IAM/RBAC, API Management