Nous recherchons un Expert technique Kafka / Kafka Streams ou un Lead Developer Data Streaming pour intervenir dans le secteur de l'énergie sur une plateforme de traitement en temps réel de données issues d'équipements terrain, notamment des objets connectés, des automates et des systèmes de gestion technique du bâtiment. La mission s'inscrit dans un environnement à forte volumétrie, caractérisé par une ingestion massive de flux et des enjeux importants de performance, de scalabilité, de résilience et de cohérence des données. La plateforme contribue au pilotage en temps réel de systèmes énergétiques. Les principales responsabilités sont les suivantes : Concevoir et optimiser des architectures de streaming basées sur Kafka. Traiter les problématiques avancées liées aux architectures orientées événements et aux systèmes distribués. Développer et maintenir des pipelines de traitement en temps réel avec Java, Spring et Kafka Streams. Analyser et résoudre les problématiques de performance et de scalabilité. Gérer le partitionnement Kafka, le débit des traitements et l'optimisation de la latence. Assurer la tolérance aux pannes, la reprise sur incident et la cohérence des données. Superviser les pipelines critiques et garantir la fiabilité des traitements. Accompagner les équipes sur les sujets techniques et diffuser les bonnes pratiques. Contribuer à l'industrialisation des solutions à travers les chaînes CI/CD, le monitoring et l'observabilité. L'environnement technique principal comprend Java, Spring Boot, Spring Data, Kafka, Kafka Streams, CI/CD, monitoring et observabilité. Les technologies complémentaires appréciées sont InfluxDB, Spring Cloud, Kafka Connect, Oracle Database, PL/SQL, AWS Lambda, SQS, SNS, Ansible, Docker et Spark.
Dans le cadre d'une mission pour notre client, nous recherchons un Ingénieur Kafka Senior pour intervenir sur un environnement Core Banking critique, notamment autour des flux de paiements et de virements. L'objectif est de rejoindre un environnement technique complexe dans lequel Kafka occupe une place centrale et interagit avec plusieurs services et composants du SI. Nous recherchons donc quelqu'un qui maîtrise Kafka en profondeur, mais qui est également capable de prendre du recul sur l'architecture existante, comprendre les flux de bout en bout et faire le lien entre les problématiques techniques et les enjeux métier. Vos missions Au quotidien, vous serez notamment amené à : Intervenir en tant qu'expert Kafka sur un environnement complexe et critique. Analyser l'architecture et les flux existants autour de Kafka. Comprendre les dépendances et interactions entre Kafka et les différents services et composants de l'écosystème. Identifier et analyser les problématiques techniques liées aux différents flux. Échanger avec des interlocuteurs aussi bien techniques que fonctionnels afin de comprendre leurs besoins et contraintes. Formaliser de manière claire le fonctionnement de l'environnement et les interactions entre les différentes briques. Produire une documentation technique claire, structurée et exploitable. Présenter et expliquer les analyses et livrables lors des différentes restitutions.
Contexte de la mission Dans le cadre de l'évolution d'une plateforme Kafka critique au sein d'un environnement bancaire, nous recherchons un Consultant / Architecte Kafka Senior. La mission porte principalement sur la modernisation de la plateforme, avec une montée de version vers Kafka 8.x et une migration de ZooKeeper vers KRaft. Le consultant interviendra également sur des sujets d'architecture, de sécurité, d'audit et de gouvernance. La plateforme est actuellement déployée sur plusieurs environnements, notamment la production, la préproduction et le staging. Vos principales missions Vous interviendrez comme référent technique Kafka et aurez notamment pour responsabilités de : Auditer l'architecture et les configurations Kafka existantes Définir la version cible et construire la stratégie de migration vers Kafka 8.x Piloter la transition de ZooKeeper vers KRaft Revoir le dimensionnement du cluster et le nombre de nœuds nécessaires Coordonner les différentes parties prenantes impliquées dans la migration Préparer les procédures de bascule, de rolling restart et de rollback Analyser les impacts de la migration sur les applications clientes, notamment les environnements Java et Spring Étudier et mettre en œuvre les exigences de sécurité autour du chiffrement des données au repos et en transit Revoir les mécanismes de droits et d'accès, notamment les ACL et le RBAC Mettre en place une gouvernance claire autour des topics, des logs, du monitoring et du Schema Registry Accompagner les équipes de développement sur leurs problématiques Kafka Formaliser les bonnes pratiques et les procédures d'exploitation Participer à l'amélioration de l'observabilité, de la performance et du capacity planning de la plateforme
Nous recherchons un Expert Kafka / Confluent pour accompagner un acteur majeur dans la conception et le déploiement d'une plateforme d'échange de données d'entreprise. Vos missions Concevoir l'architecture et déployer les clusters Kafka / Confluent. Configurer et industrialiser les connecteurs Kafka Connect : JDBC, Debezium PostgreSQL, HDFS… Sécuriser les échanges et mettre en place la gestion des habilitations. Automatiser les déploiements et les opérations d'administration. Optimiser les performances et assurer la supervision de la plateforme. Accompagner les projets de réplication, d'intégration et de migration de flux vers Kafka. Rédiger la documentation technique et assurer le transfert de compétences aux équipes.
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Expert Kafka H/F à Bordeaux, France. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI client, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata. Parmis les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI Agirc-Arrco; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafrachissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage.
Hello, Pour le compte de l'un de mes clients dans le secteur de l'énergie, je suis à la recherche d'un Référent PoC/Kafka & Tech Lead Java sur Lyon Contexte : Mise en place d'un échange Kafka B2B sécurisé, dans les deux sens, entre le système d'information interne et des partenaires externes, via des zones DMZ. Le PoC doit trancher le choix du proxy Kafka et du relais, et fournir les preuves pour la revue de sécurité. Phase 1 : mission PoC (1 à 2 mois) • Prendre en main l'architecture B2B de flux Kafka. • Mettre en place le PoC (flux entrants et sortants), l'exécuter et corriger les écarts sur un environnement Lab simulé. • Installer le PoC sur un environnement interne de l'entreprise. • Comparer les proxys Kafka (Kroxylicious, Envoy, Conduktor Gateway) et le relais (composant maison ou MirrorMaker 2). • Produire les preuves pour la revue de sécurité (audit de configuration et pentest). Phase 2 : mission Tech Lead Java (si PoC réussi) • Industrialiser les composants validés (collecteur, relais, émetteur) en un projet Java maintenable. • Décider ce qui reste développé et ce qui est remplacé par un standard. • Structurer le projet : modules Maven, intégration continue, tests, publication d'une image conteneur. • Fixer les règles de version : client Kafka, Protobuf, dépréciations, compatibilité des contrats de messages. • Intégrer la sécurité : secrets et certificats, revue de code, correction des points d'audit et de pentest. • Mettre en place la supervision, le runbook d'exploitation et le plan de reprise. • Encadrer une petite équipe de type TinyTeam : backlog, estimation, revues de code. Assurer la passation à l'exploitation.
Je suis à la recherche pour un de nos clients d'un Expert Kafka / Kafka Confluent / IBM / Kafka Strimzi. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette première étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de ce socle seront produites par les différents socles techniques du SI du Client, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID (Datastage) + Teradata. Parmi les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'écosyteme SI Client ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Installation et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafraîchissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka.
Contexte du poste : Rejoignez une grande entreprise du secteur technologique, spécialisée dans les solutions cloud et IT pour des secteurs d'activité à haut degré d'exigence, pour une mission stratégique d'envergure au cœur de l'innovation digitale bancaire. Dans un contexte de modernisation de l'infrastructure technologique chez un de nos clients bancaires, nous recherchons un Consultant Kafka de niveau senior. La mission est rattachée au Département Infrastructure et Systèmes du client et vise à piloter une transition majeure de leur plateforme Apache Kafka, déployée sur trois environnements critiques : Production, Préproduction et Staging. Cette montée en puissance s'inscrit dans le cadre d'une évolution vers une architecture plus moderne. La mission est essentielle pour maintenir et faire évoluer de manière sécurisée cette infrastructure centrale. Missions : - Piloter la montée de version majeure vers Kafka 8.X, incluant la transition de ZooKeeper vers Kraft. - Renforcer les mesures de sécurité avec la mise en œuvre du chiffrement des données, aussi bien au repos qu'en transit. - Structurer et renforcer la gouvernance technique de la solution Kafka, en prenant en main les configurations et pratiques existantes. - Réaliser un audit complet de l'infrastructure actuelle pour aligner les configurations avec les standards internes. - Faciliter les échanges entre les équipes techniques et métiers pour harmoniser les pratiques de développement et d'exploitation. - Élaborer des livrables techniques détaillés, y compris des rapports d'audit, des plans de migration, et des documents de sécurité.
Contexte Pour le compte de l'un de nos clients, nous recherchons un Expert technique / Tech Lead Kafka Senior pour structurer et consolider un socle technique exigeant. La mission s'inscrit dans un contexte d'industrialisation et de forte sécurisation des environnements de données. Vous intégrerez un écosystème technique complexe où vous piloterez la mise en place d'infrastructures robustes tout en encadrant une équipe de développement. Votre rôle sera central pour faire le pont entre les enjeux de développement, d'architecture, de cybersécurité et de maintien en conditions opérationnelles (RUN). Vos missions Structurer et industrialiser les composants techniques développés en Java. Mettre en place l'outillage complet et configurer la chaîne d'intégration continue. Définir et faire appliquer les règles de versionning et de compatibilité. Intégrer les exigences strictes de sécurité (TLS, proxy, filtrage IP, cloisonnement réseau) aux déploiements Kafka. Encadrer et accompagner techniquement une petite équipe de développeurs. Préparer la documentation d'exploitation et assurer une passation fluide aux équipes de RUN. Dialoguer techniquement et fonctionnellement avec les équipes architecture, cybersécurité et exploitation. Environnement technique Kafka (KRaft, Connect, MirrorMaker 2), Java 21, Maven, Protobuf, JUnit, Docker, Docker Compose, HAProxy L4, Prometheus, OpenSSL, Shell, (Kubernetes, OpenShift, Strimzi).
Dans le cadre d'un projet stratégique, nous recherchons un Développeur Java Senior / Expert pour participer à la conception, au développement et à l'hébergement de plusieurs composants d'une plateforme de gestion, notamment son composant de règlement. Vous interviendrez sur des systèmes distribués exigeants, avec des enjeux importants de performance, de disponibilité, de résilience et de montée en charge, au sein d'une équipe internationale. Missions principalesParticiper à la conception et au développement des composants de la plateforme, notamment du composant de règlement. Définir et implémenter les tests unitaires des modules sous votre responsabilité. Garantir la qualité du code et respecter les standards de développement du projet. Analyser les indicateurs de qualité et les rapports d'analyse de code via SonarQube. Veiller au respect des exigences non fonctionnelles : performance, scalabilité, intégrité et résilience. Concevoir et réaliser des prototypes techniques. Participer aux revues de code et contribuer à l'amélioration continue des pratiques de développement. Collaborer avec les équipes projet dans un environnement international. Rédiger la documentation technique en anglais. Environnement techniqueJava 17+ Apache Kafka et Kafka Connect Spring Bases de données relationnelles et/ou NoSQL Architectures distribuées SonarQube Méthodologies Agile (SAFe) et DevOps Atouts supplémentairesExpérience sur des plateformes de paiement ou de règlement. Une expérience dans un projet de dématérialisation monétaire serait appréciée. Conditions de la missionMission longue durée de 12 mois. Temps plein. Présence sur site à Paris 3 jours par semaine.
Notre client est un grand groupe français, leader de son marché. Sa DSI développe en interne les logiciels qui pilotent ses opérations terrain : applications mobiles pour les techniciens planification et dispatch des interventions ticketing supervision des incidents data visualisation Ces outils sont en production et utilisés chaque jour par plusieurs centaines d'utilisateurs. Leur performance a un impact direct sur le terrain : quand ils ralentissent, des interventions ne se font pas. C'est dans ce cadre que l'équipe Go recherche son référent technique.
Notre client recherche un Développeur Full Stack confirmé pour intervenir sur une plateforme applicative stratégique au sein d'une équipe Agile. Vous intégrerez une équipe produit internationale qui conçoit et développe une suite d'applications destinées à faciliter les parcours de réparation et à optimiser les opérations réalisées en atelier et en magasin. Dans un contexte de montée en charge et de déploiement à l'international, vous contribuerez à la conception, au développement et à l'évolution des applications, en veillant à leur performance, leur robustesse, leur sécurité et leur évolutivité. Vos principales responsabilités seront les suivantes : Développement Full Stack Concevoir et développer des interfaces utilisateur modernes et performantes avec React.js. Développer et maintenir des services back-end robustes et scalables avec Java et Spring Boot. Concevoir et mettre en œuvre des architectures événementielles avec Apache Kafka : gestion des topics, producteurs, consommateurs et flux asynchrones. Concevoir, documenter et exposer des API REST à destination des applications front-end et des partenaires internes ou externes. Assurer la maintenance et l'évolution de la documentation technique. Qualité, Cloud et DevOps Participer à la mise en place et à l'amélioration des pipelines CI/CD avec GitHub Actions. Assurer le déploiement et l'exploitation des applications sur des infrastructures cloud, notamment GCP Cloud Run. Concevoir et optimiser les configurations Docker et les déploiements de microservices sous Kubernetes. Participer aux revues de code et garantir le respect des bonnes pratiques en matière de qualité, performance et sécurité. Développer et maintenir les tests automatisés : tests unitaires, d'intégration et fonctionnels. Mettre en place et optimiser les dispositifs d'observabilité et de monitoring avec OpenTelemetry, Datadog ou des solutions équivalentes. Exploiter les outils d'intelligence artificielle générative tout au long du cycle de développement afin d'améliorer la productivité, la couverture de tests et la qualité du code. Collaboration et amélioration continue Collaborer étroitement avec les équipes produit pour comprendre les besoins utilisateurs et proposer des solutions techniques adaptées. Participer à la définition des architectures et aux choix techniques. Contribuer à l'amélioration continue des pratiques de développement, des processus Agile et de l'automatisation. Partager votre expertise technique et accompagner la montée en compétences de l'équipe.
Notre client recherche un Développeur Full Stack confirmé pour intervenir sur une plateforme applicative stratégique au sein d'une équipe Agile. La mission est à dominante Back-End (Java, Spring Boot, Kafka), avec une contribution au Front-End (React), dans un environnement moderne axé sur la qualité logicielle, les architectures distribuées et l'amélioration continue. Missions : Développement Back-End Concevoir, développer et maintenir des APIs REST robustes avec Java et Spring Boot. Implémenter et faire évoluer des flux événementiels Kafka pour traiter les statuts de livraison en temps réel. Assurer l'intégration de nouveaux partenaires transporteurs et la fiabilité des échanges de données. Concevoir des solutions performantes, évolutives et maintenables. Contribution Front-End Participer au développement de nouvelles fonctionnalités sur une interface React existante. Faire évoluer les composants UI et respecter les standards de développement de l'équipe. Collaborer avec les développeurs Front-End pour améliorer progressivement la qualité et l'ergonomie de l'application. Qualité logicielle et pratiques de développement Appliquer les principes du Clean Code et du Software Craftsmanship. Concevoir et maintenir des tests unitaires, d'intégration et end-to-end. Participer aux revues de code, au développement en binôme et à l'amélioration continue. Utiliser les outils d'IA générative pour accélérer le développement et renforcer la qualité du code et des tests. DevOps et observabilité Participer au déploiement des microservices sur Kubernetes. Contribuer à l'automatisation des pipelines CI/CD avec GitHub Actions. Superviser les applications et les flux de données via Datadog. Participer à l'amélioration de la fiabilité et de l'observabilité de la plateforme.
Dans le cadre d'un projet stratégique autour des échanges de données et de la sécurisation des flux applicatifs, nous recherchons un(e) Tech Lead spécialisé(e) en Kafka et Java. Vous contribuerez à la conception d'une solution fiable et sécurisée, capable de fonctionner dans des infrastructures exigeantes, où la maîtrise des accès et des communications est essentielle. Vous interviendrez dans un environnement technique stimulant, avec un rôle central dans les choix d'architecture, la validation des solutions et l'accompagnement de l'équipe de développement. Vos missionsÉtudier et valider une solution technique : concevoir et réaliser un prototype afin de tester plusieurs approches de circulation des données et d'en évaluer les performances, la sécurité et la fiabilité. Orienter les choix d'architecture : comparer différentes solutions de transfert et de réplication des messages, puis formuler des recommandations argumentées. Piloter les développements : apporter votre expertise technique à une équipe projet et contribuer à la conception d'un composant logiciel robuste et évolutif. Garantir la sécurité des échanges : mettre en œuvre les mécanismes d'authentification, de chiffrement et de contrôle des accès, en collaboration avec les équipes spécialisées. Fiabiliser les traitements : anticiper les interruptions de service, gérer les reprises après incident et limiter les risques de perte ou de duplication des messages. Industrialiser la solution : structurer le code, mettre en place les tests automatisés et contribuer à l'intégration continue. Assurer la transmission des connaissances : produire une documentation technique claire, formaliser les procédures d'exploitation et accompagner les futurs mainteneurs.
Pour le compte de notre client, acteur international évoluant dans un environnement digital à fort trafic, nous recherchons un(e) Expert(e) Java spécialisé(e) en CIAM (Customer Identity and Access Management). Vous intégrerez une équipe technique d'une dizaine de collaborateurs, en charge de concevoir, développer et maintenir une plateforme d'authentification sécurisée et performante, utilisée à l'échelle internationale dans plus de 80 pays. Dans le cadre d'un projet stratégique de modernisation du système d'authentification, vous interviendrez notamment sur une migration d'architecture de Spring Security 5 vers Spring Security 7. Vos principales missions : Développement Java & CIAM : Concevoir et développer les composants clés de la plateforme d'authentification (moteurs d'authentification, gestion des jetons et intégrations protocolaires). Architecture Event-Driven : Mettre en œuvre des architectures résilientes basées sur Kafka, notamment les patterns CDC et Outbox. Qualité & Testing : Garantir la fiabilité des développements grâce à des tests automatisés (Playwright) et des tests de charge (Gatling / Blazemeter). Tracking & A/B Testing : Déployer des dispositifs d'expérimentation via Statsig et intégrer le tracking comportemental avec Amplitude. Architecture & Performance : Participer à la modernisation de l'architecture, à la migration vers Spring Security 7 et à la réduction de la dette technique. Infrastructure & Observabilité : Déployer et opérer les services sur Kubernetes avec Helm et assurer leur supervision via Datadog. Collaboration Produit : Travailler avec les équipes Produit afin de transformer les besoins métier en solutions techniques performantes, mesurables et scalables.
