Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka

Je suis à la recherche pour un de nos clients d'un Expert Kafka / Kafka Confluent / IBM / Kafka Strimzi. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette première étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de ce socle seront produites par les différents socles techniques du SI du Client, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID (Datastage) + Teradata. Parmi les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'écosyteme SI Client ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Installation et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafraîchissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka.

Dans le cadre d'une mission pour notre client, nous recherchons un Ingénieur Kafka Senior pour intervenir sur un environnement Core Banking critique, notamment autour des flux de paiements et de virements. L'objectif est de rejoindre un environnement technique complexe dans lequel Kafka occupe une place centrale et interagit avec plusieurs services et composants du SI. Nous recherchons donc quelqu'un qui maîtrise Kafka en profondeur, mais qui est également capable de prendre du recul sur l'architecture existante, comprendre les flux de bout en bout et faire le lien entre les problématiques techniques et les enjeux métier. Vos missions Au quotidien, vous serez notamment amené à : Intervenir en tant qu'expert Kafka sur un environnement complexe et critique. Analyser l'architecture et les flux existants autour de Kafka. Comprendre les dépendances et interactions entre Kafka et les différents services et composants de l'écosystème. Identifier et analyser les problématiques techniques liées aux différents flux. Échanger avec des interlocuteurs aussi bien techniques que fonctionnels afin de comprendre leurs besoins et contraintes. Formaliser de manière claire le fonctionnement de l'environnement et les interactions entre les différentes briques. Produire une documentation technique claire, structurée et exploitable. Présenter et expliquer les analyses et livrables lors des différentes restitutions.

Nous recherchons un Expert Kafka / Confluent pour accompagner un acteur majeur dans la conception et le déploiement d'une plateforme d'échange de données d'entreprise. Vos missions Concevoir l'architecture et déployer les clusters Kafka / Confluent. Configurer et industrialiser les connecteurs Kafka Connect : JDBC, Debezium PostgreSQL, HDFS… Sécuriser les échanges et mettre en place la gestion des habilitations. Automatiser les déploiements et les opérations d'administration. Optimiser les performances et assurer la supervision de la plateforme. Accompagner les projets de réplication, d'intégration et de migration de flux vers Kafka. Rédiger la documentation technique et assurer le transfert de compétences aux équipes.

Contexte Dans le cadre d'un projet de mise en œuvre d'un socle d'échange de données basé sur la technologie open source Apache Kafka, s'appuyant sur la distribution Confluent, nous recherchons un expert Kafka afin de renforcer l'équipe projet. MISSIONS Pour renforcer l'équipe projet, nous recherchons une expertise technique Kafka dans le cadre de la mise en oeuvre d'un nouveau socle Kafka Confluent. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata. Parmis les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafrachissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka. Profil recherché : Nous recherchons un expert Kafka / Confluent capable de participer à l'ensemble des phases du projet et d'accompagner l'équipe sur les sujets suivants : - Architecture Kafka et Confluent ; - Installation et administration de plateformes Kafka ; - Sécurisation des échanges ; - Performance et tuning ; - Mise en œuvre de connecteurs Kafka Connect ; - Industrialisation et automatisation des déploiements ; - Supervision et exploitation ; - Accompagnement des équipes projet et transfert de compétences. - Rédaction de dossiers d'architecture, de normes et bonnes pratiques, de dossiers d'exploitation, ...; L'expert intégrera l'équipe projet pour contribuer à la conception, à la mise en œuvre et à l'industrialisation du futur socle d'échange de données de l'entreprise. Environnement technique - technologique Environnement Socle Kafka : - Distribution Kafka Confluent et Strimzy - Langages de scripting et de developpement : Shell, Python, Json, - Systeme d'exploitation : Linux Redhat Autres environnements techniques: - Base de données : PostgreSQL - Hadoop : Cloudera - Data Streaming : IBM Infosphere CdC - Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware - Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, Competences Techniques Distribution "Kafka Confluent / IBM" : composant du cluster kafka (Broker, Kraft, Cwork) , Scema registry, Connecteurs (JDBC, Debezium PgSQL, HDFS, ...) Distribution Autres : "Kafka Strimzi", connecteurs propriétaires (exemple : "Datastage") ou outillage complémentaire Langages de scripting et de developpement : Shell, Python, Json Infrastructure et Système d'exploitation : Linux, Kubernetes, Ansible Outils connexes : ETL Datastage, Power-BI, SAS, Teradata, PostgreSQL, Data streaming, Hadoop Savoir Faire et savoir-être Capacités rédactionnelles : documentation technique, cahier des charges, communication et compte-rendu Communication et Capacités relationnelles(sens de l'écoute et du dialogue, conduite de réunion, négociation) Autonomie Capacité à travailler en équipe Esprit d'analyse et de synthèse

Nous recherchons un Développeur Backend Node.js freelance pour rejoindre une équipe produit en charge d'applications digitales à forte audience. Vous participerez à la conception et au développement de services critiques, d'API et de middlewares permettant de faire le lien entre différentes plateformes et applications. L'un des points forts de la mission sera notamment le développement d'un nouveau BFF. Au sein d'une équipe agile composée de développeurs, d'un Tech Lead, d'un Product Owner et d'un QA, vous contribuerez à la construction de solutions robustes, performantes et évolutives. Vos principales missions : Concevoir et développer des API et services backend en Node.js Participer à l'évolution d'architectures middleware et BFF Développer de nouvelles fonctionnalités dans le respect des standards de qualité de l'équipe Rédiger les documentations techniques et les tests unitaires associés Corriger les anomalies et optimiser les performances des applications Participer aux revues de code et aux choix d'architecture Collaborer avec les équipes produit et techniques dans un environnement agile Une mission longue durée offrant stabilité, visibilité et de véritables enjeux techniques.

Tech lead Kafka La mission consiste à : mettre en place un POC – 1 à 2 mois Se positionner en tant que Tech Lead d'une des feature Teams Livrables Phase 1 - PoC exécuté, avec les résultats des tests entrants et sortants. - Comparatif des proxys et du relais. - Rapport de PoC exploitable par l'équipe sécurité. - Passation : documentation et formation d'un successeur. Phase 2 - Projet Java structuré, avec intégration continue opérationnelle. - Règles de version et de montée de version documentées. - Documentation d'architecture et d'exploitation. - Backlog priorisé et équipe en capacité de maintenir le composant.

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Expert Kafka H/F à Bordeaux, France. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI client, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata. Parmis les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI Agirc-Arrco; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafrachissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage.

La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l'essor de nos infrastructures et l'évolution des technologies associées, ou encore l'automatisation accrue sur nos socles et applications, génèrent une quantité massive de Logs, devenues très hétérogènes, dispersées et silotées de par l'organisation de [entreprise anonymisée] et de ses Clients (équipes applicatives et socles multiples et dispersées). Prenant en compte ce cadre, vos missions seront plus spécifiquement : - Maîtriser l'ensemble des techniques et technologies composant la chaine de collecte à la mise à disposition des Logs - Accompagner les besoins et les cas d'usage dès la phase d'étude jusqu'à l'implémentation comprenant la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation - Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d'automatiser les pipelines d'ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …) - Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données - Accompagner les besoins d'analyse de données des utilisateurs, notamment pour les besoins de sécurité (détection d'événement de sécurité) et de suivi opérationnel En adéquation avec l'équipe DATA et l'équipe LOG Management Contexte technique - Kafka - Scripting Python/SQL/Java - Suite Elastic (ElasticSearch/Kibana) - ETL (LogStash/Apache flink) - Agent de collecte (Elastic ou autre Open-Source) - OpenTelemetry (Cadre normatif et collecteur) Attendus Pour réaliser la mission, vous serez à même de : - Participer à la conception des solutions techniques et fonctionnelles - Gérer les données de l'entreprise (flux : collecte, traitement, stockage et leur cycle de vie) - Rédiger les documents fonctionnels et techniques, d'exploitation, en veillant au respect des normes existantes - Mettre en œuvre en respectant les principes Agile/DevOps (CI/CD) - Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes - Être en relation avec les équipes opérationnelles de l'entreprise pour prise en compte des besoins et flux de données - Développer les cas d'usage de Dashboard / ML / IA dans la solution, remontés par les utilisateurs

Vos missions : • Concevoir et optimiser des architectures de streaming basées sur Kafka. • Développer et maintenir des pipelines temps réel (Java / Spring / Kafka Streams). • Traiter les problématiques de performance et de scalabilité. • Garantir la fiabilité des traitements. • Accompagner les équipes sur les sujets techniques et les bonnes pratiques. • Contribuer à l'industrialisation (CI/CD, monitoring, observabilité). • Participer à la définition et à l'évolution des standards techniques autour de l'écosystème Kafka. • Assurer une veille technologique continue et proposer des axes d'amélioration pour renforcer la performance, la résilience et la sécurité de la plateforme. Référence de l'offre : hy4rjeulja

Dans le cadre de l'équipe Data Analytic, création et maintenance d'architectures Big Data pour les besoins internes de l'entreprise. Renforcement de l'équipe support via une mission de DATA ENGINEERING sur KAFKA. Les principales technologies utilisées : • Kafka • Open Search • Elastic Stack (Elasticsearch / Logstash / Kibana / Beats) Approche basée sur l'automation, avec l'utilisation courante des technologies suivantes : • Ansible • Git/Bitbucket • Développement Python et REST APIs Périmètre d'intervention : Mise en œuvre de l'expertise sur Kafka.

Le contexte Dans le cadre de la construction et de l'industrialisation d'un socle d'échange de données d'entreprise reposant sur Apache Kafka et Confluent, nous recherchons un(e) Expert(e) Kafka / Confluent afin d'accompagner l'un de nos clients sur des enjeux d'architecture, d'intégration et de streaming de données. Quelques éléments pour mieux comprendre l'environnement : Secteur d'activité : 🏦 Retraite complémentaire et protection sociale Organisation : Équipe projet de la DSI, en collaboration avec les équipes techniques et d'exploitation. Enjeux : Concevoir et mettre en œuvre une plateforme Kafka / Confluent, industrialiser les échanges de données et les connecteurs, garantir la sécurité, les performances et l'exploitabilité du socle, puis accompagner son extension à de nouveaux usages. Ce que tu feras concrètement Dans le cadre de cette mission, tu seras notamment amené(e) à : ➞ Concevoir, installer, configurer et administrer un cluster Kafka / Confluent, ainsi que les outils nécessaires à son administration et à son exploitation. ➞ Définir les standards et les bonnes pratiques de la plateforme, notamment en matière de sécurité, de gestion des habilitations et d'optimisation des performances. ➞ Installer, configurer et industrialiser les connecteurs Kafka nécessaires aux échanges de données, notamment avec PostgreSQL, HDFS, DataStage et Teradata. ➞ Automatiser les déploiements, la gestion des configurations, les déclarations de producteurs et de consommateurs ainsi que les opérations récurrentes à l'aide de scripts Shell et Python. ➞ Mettre en place la supervision, le monitoring, les tableaux de bord, les procédures d'exploitation et la documentation technique, puis contribuer à l'extension du socle à de nouveaux cas d'usage. Ton environnement Technologies : Apache Kafka, Confluent, Kafka Connect, Schema Registry, Debezium, PostgreSQL, Hadoop / HDFS, DataStage, Teradata. Outils : Linux Red Hat, Kubernetes, Ansible, Shell, Python, JSON, Prometheus, Grafana. Méthodologies : Industrialisation, automatisation des déploiements, supervision et exploitation de plateformes techniques.

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Architect confirmé, spécialiste Kafka. Vous renforcez une équipe support Data Analytics qui conçoit et maintient des architectures Big Data pour les besoins internes de l'entreprise. L'approche est résolument tournée vers l'automatisation, dans un environnement anglophone. Vos missions : - Apporter votre expertise Kafka sur les plateformes de l'équipe. - Assurer le support et le maintien en conditions opérationnelles des plateformes Kafka. - Automatiser le déploiement et l'exploitation avec Ansible, Git/Bitbucket et Python. - Développer des services et des intégrations via des APIs REST. - Participer aux développements de l'équipe Data Analytics autour d'OpenSearch et de la Elastic Stack (Elasticsearch, Logstash, Kibana, Beats). - Contribuer à un projet de mise à disposition de topics Kafka en libre-service (Topic As a Service). Vous rejoignez Ingéniance en CDI cadre et intégrez une communauté d'experts de la donnée, de la banque et de la finance de marché. Ref : O-FYMOP

Dans le cadre du développement et de l'évolution de plusieurs produits digitaux à dimension e-commerce et services, nous recherchons un Développeur Full Stack Expert, avec une forte prédominance Backend. Vos principales missions seront : Concevoir et développer des fonctionnalités Backend en Java / Spring, à partir de Java 11 Concevoir, développer et maintenir des API Intégrer et exploiter Kafka dans les échanges entre applications Développer et optimiser des requêtes SQL Intervenir ponctuellement sur BigQuery Participer au développement Full Stack, avec une maîtrise des problématiques Web SSR / SPA Garantir la qualité du code à travers les tests unitaires, Sonar et les code reviews Utiliser des outils d'IA appliqués au développement pour accompagner la revue de code et les activités de développement Challenger les résultats proposés par les outils d'IA et conserver une approche critique sur leur utilisation Participer aux différentes étapes du développement dans un fonctionnement Agile Le poste s'adresse à un profil expérimenté, capable d'être autonome techniquement et d'intervenir sur des sujets Backend tout en conservant une véritable culture Full Stack.

Notre client, un organisme de protection sociale (retraite complémentaire), construit son socle Kafka d'entreprise sur la distribution Confluent. Ce socle portera les échanges, la réplication et l'intégration de données de tout le SI. Il doit aussi remplacer progressivement IBM CDC, les extractions batch et le socle WebMethods. Vous rejoignez l'équipe projet pour concevoir, construire et industrialiser ce socle. La mission est basée à Gradignan, près de Bordeaux. Un profil basé à Paris ou à Lyon est envisageable s'il est très autonome et peut se déplacer régulièrement sur site. MissionsConcevoir l'architecture Kafka / Confluent et la faire évoluer d'un socle pilote vers une plateforme cible capacitive et multi-cas d'usage Installer, configurer et administrer les clusters Kafka : brokers en mode KRaft, Schema Registry, workers Kafka Connect, sur RedHat et Kubernetes (Confluent / Strimzi) Mettre en œuvre et industrialiser les connecteurs Kafka Connect : JDBC, Debezium PostgreSQL, HDFS, Datastage, Teradata. Cela couvre la déclaration des producteurs et consommateurs, la gestion des configurations et des souscriptions, l'initialisation des données et l'évolution des schémas Remplacer les flux CDC et batch existants par des flux temps réel, et mettre en place la réplication PostgreSQL via Kafka Sécuriser les échanges et intégrer la gestion des habilitations à l'écosystème SI existant Tuner et optimiser les performances de la plateforme Automatiser le déploiement et les opérations récurrentes avec Ansible, Shell, Python et des pipelines CI/CD Mettre en place l'exploitation du socle : supervision Prometheus / Grafana, tableaux de bord, procédures d'arrêt et de relance, traitement des incidents, demandes et changements Rédiger les dossiers d'architecture, d'administration et d'exploitation, ainsi que les normes et bonnes pratiques Former les équipes et assurer le transfert de compétences

Contexte du poste : Rejoignez une grande entreprise du secteur technologique, spécialisée dans les solutions cloud et IT pour des secteurs d'activité à haut degré d'exigence, pour une mission stratégique d'envergure au cœur de l'innovation digitale bancaire. Dans un contexte de modernisation de l'infrastructure technologique chez un de nos clients bancaires, nous recherchons un Consultant Kafka de niveau senior. La mission est rattachée au Département Infrastructure et Systèmes du client et vise à piloter une transition majeure de leur plateforme Apache Kafka, déployée sur trois environnements critiques : Production, Préproduction et Staging. Cette montée en puissance s'inscrit dans le cadre d'une évolution vers une architecture plus moderne. La mission est essentielle pour maintenir et faire évoluer de manière sécurisée cette infrastructure centrale. Missions : - Piloter la montée de version majeure vers Kafka 8.X, incluant la transition de ZooKeeper vers Kraft. - Renforcer les mesures de sécurité avec la mise en œuvre du chiffrement des données, aussi bien au repos qu'en transit. - Structurer et renforcer la gouvernance technique de la solution Kafka, en prenant en main les configurations et pratiques existantes. - Réaliser un audit complet de l'infrastructure actuelle pour aligner les configurations avec les standards internes. - Faciliter les échanges entre les équipes techniques et métiers pour harmoniser les pratiques de développement et d'exploitation. - Élaborer des livrables techniques détaillés, y compris des rapports d'audit, des plans de migration, et des documents de sécurité.

Hello, Pour le compte de l'un de mes clients dans le secteur de l'énergie, je suis à la recherche d'un Référent PoC/Kafka & Tech Lead Java sur Lyon Contexte : Mise en place d'un échange Kafka B2B sécurisé, dans les deux sens, entre le système d'information interne et des partenaires externes, via des zones DMZ. Le PoC doit trancher le choix du proxy Kafka et du relais, et fournir les preuves pour la revue de sécurité. Phase 1 : mission PoC (1 à 2 mois) • Prendre en main l'architecture B2B de flux Kafka. • Mettre en place le PoC (flux entrants et sortants), l'exécuter et corriger les écarts sur un environnement Lab simulé. • Installer le PoC sur un environnement interne de l'entreprise. • Comparer les proxys Kafka (Kroxylicious, Envoy, Conduktor Gateway) et le relais (composant maison ou MirrorMaker 2). • Produire les preuves pour la revue de sécurité (audit de configuration et pentest). Phase 2 : mission Tech Lead Java (si PoC réussi) • Industrialiser les composants validés (collecteur, relais, émetteur) en un projet Java maintenable. • Décider ce qui reste développé et ce qui est remplacé par un standard. • Structurer le projet : modules Maven, intégration continue, tests, publication d'une image conteneur. • Fixer les règles de version : client Kafka, Protobuf, dépréciations, compatibilité des contrats de messages. • Intégrer la sécurité : secrets et certificats, revue de code, correction des points d'audit et de pentest. • Mettre en place la supervision, le runbook d'exploitation et le plan de reprise. • Encadrer une petite équipe de type TinyTeam : backlog, estimation, revues de code. Assurer la passation à l'exploitation.