Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka

Vous intervenez sur une migration stratégique d'ElasticSearch vers OpenSearch, dans un environnement à forte volumétrie où la continuité de service est non négociable. Au-delà de la migration elle-même, vous évoluez dans un écosystème data complexe, avec des flux Kafka en interaction directe avec la stack de logs. Concrètement, vous : Pilotez et sécurisez la migration ElasticSearch → OpenSearch , de l'analyse des impacts jusqu'à la bascule Travaillez l' architecture des données , l'indexation et les stratégies de performance Garantissez la continuité de service tout au long de la transition Opérez sur les flux de données et mécanismes de streaming Kafka en lien avec la stack d'ingestion Adressez les enjeux de volumétrie, performance et exploitation des logs à l'échelle

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 💡 Contexte /Objectifs : 💡Objectif global : Expert kafka 💡Description détaillée Le contexte de la mission : Dans le cadre de l'équipe Data Analytic , nous créons et maintenons des architectures Big Data pour les besoins internes de l’entreprise. Pour renforcer notre équipe support, nous proposons une mission de DATA ENGINEERING sur KAFKA 💡Principales technologies utilisées : • Kafka => IMPERATIF • Open Search • Elastic Stack (Elasticsearch / Logstash / Kibana / Beats) L'équipe mettant en avant une approche d'automation, les technologies suivantes sont notamment couramment utilisées • Ansible • Git/Bitbucket • Développement Python et REST APIs

Contexte de la mission Afin de soutenir la modernisation de ses infrastructures d'échange de données en temps réel, une entité spécialisée recherche un.e expert.e senior. La mission est centrée sur la conception, l'optimisation, la sécurisation et la gouvernance globale d'une architecture orientée événements reposant sur la solution Kafka Confluent, dans un objectif de haute disponibilité et de forte scalabilité. Objectifs et missions principales Les activités principales associées à ce poste s'articulent autour des axes suivants : Conception de l'architecture technique et déploiement des clusters Kafka Confluent. Gestion, administration avancée et maintien en conditions opérationnelles (MCO) de l'ensemble de la plateforme (topics, partitions, brokers). Implémentation et configuration des composants de l'écosystème (Schema Registry, Confluent Connect, ksqlDB). Définition et mise en œuvre des politiques de sécurité de la plateforme (RBAC, chiffrement TLS, authentification SASL/Kerberos, gestion des ACLs). Optimisation des performances (tuning des producteurs/consommateurs, gestion de la rétention, stratégies de re-balancing) et résolution des incidents complexes. Accompagnement technique des équipes de développement pour l'intégration des flux de streaming de données. Livrables attendus Les livrables à fournir au cours de la mission comprennent : les dossiers d'architecture technique (DAT) et les guides de préconisations pour les infrastructures de streaming. les scripts d'automatisation des configurations et des déploiements (Infrastructure as Code). les matrices de sécurité, politiques de gouvernance des schémas et configurations d'accès. les plans de secours, procédures opérationnelles d'exploitation et de gestion des sauvegardes/restaurations. les tableaux de bord de supervision et rapports de métriques de performance.

Contexte Dans le cadre de la mise en place d'une plateforme SIEM basée sur Elastic Security, nous recherchons un Expert Kafka senior pour accompagner les équipes sur les phases de conception, d'architecture et de déploiement. L'objectif est de construire une architecture robuste et scalable permettant la collecte, le transport et le traitement de volumes importants d'événements de sécurité en temps réel. Missions Concevoir l'architecture Kafka intégrée à la plateforme Elastic SIEM. Définir les bonnes pratiques d'implémentation, de sécurité et d'exploitation. Accompagner les équipes sur le design de la chaîne de collecte et d'ingestion des logs. Mettre en place les clusters Kafka (haute disponibilité, réplication, résilience). Optimiser les performances, la scalabilité et la fiabilité des flux. Participer au déploiement et à la mise en production de la solution. Assurer le transfert de compétences vers les équipes internes. Produire la documentation d'architecture et d'exploitation. Être force de proposition sur les choix techniques et les évolutions de la plateforme. Compétences requisesExpertise Kafka Maîtrise avancée d'Apache Kafka. Architecture distribuée et haute disponibilité. Gestion des topics, partitions, réplication et retention. Kafka Connect. Kafka Streams. Monitoring et troubleshooting Kafka. Sécurisation des échanges (TLS, SASL, ACL). Environnements SIEM & Observabilité Expérience de projets SIEM à grande échelle. Bonne connaissance d'Elastic Stack : Elasticsearch Logstash Kibana Elastic Security Beats / Elastic Agent Compréhension des problématiques de collecte et corrélation de logs de sécurité. Infrastructure Linux Docker / Kubernetes (apprécié) Réseaux TCP/IP Automatisation (Ansible, Terraform ou équivalent) Profil recherché Expert Kafka confirmé avec plusieurs projets de déploiement en production. Forte expérience d'architecture et d'intégration de plateformes de données ou de cybersécurité. Capacité à intervenir en autonomie sur les sujets de design et de mise en œuvre. Excellentes capacités de communication avec des équipes techniques et métiers. Expérience dans des environnements à forts volumes de logs ou SOC appréciée. Livrables attendus Architecture cible Kafka / Elastic. Dossier de conception technique. Documentation d'exploitation. Procédures d'administration et de supervision. Accompagnement des équipes jusqu'à la mise en production.

Dans le cadre du renforcement d'une équipe de développement composée d'une douzaine de collaborateurs, nous recherchons un Développeur Java Spring Boot pour intervenir sur la conception, le développement et l'évolution d'API métier. Le consultant participera aux phases de conception, développement, intégration et maintenance des services exposés par la plateforme. Il contribuera également au traitement des incidents, aux analyses demandées par les utilisateurs et à l'évolution des récits dans Jira. Une attention particulière sera portée à la sécurité applicative, à la qualité du code et au respect des bonnes pratiques de développement. Le poste nécessite une bonne compréhension des problématiques API, des architectures modernes et des enjeux de sécurisation des applications. Compétences techniques attendues Développement Java Spring Boot API REST Easy Rest Postman Outils GitLab Jira ServiceNow SonarQube API Management API Manager Base de données MySQL Sécurité Applicative OWASP Top 10 CVE / CWE XSS Injections SQL / HTML / CSS / Code CSRF HTTPS / TLS Authentification et contrôle d'accès Validation des entrées / sorties Gestion des erreurs Contrôle d'intégrité des applications Outils de sécurité SonarQube Checkmarx JFrog Xray OWASP Dependency Check

Vous intervenez en tant qu’expert technique sur une plateforme de data streaming dédiée à la collecte et au traitement de données énergétiques issues d’équipements terrain (capteurs IoT, automates, systèmes de gestion technique de bâtiments). L’objectif de la plateforme est de permettre le pilotage intelligent de systèmes de chauffage et de climatisation, en exploitant des flux de données en temps réel afin d’optimiser la consommation énergétique tout en garantissant le confort des occupants. Vous évoluez dans un contexte à forte volumétrie de données , avec ingestion massive de flux issus de centaines de milliers d’équipements, nécessitant des traitements fiables, performants et scalables. Vous contribuez directement à la conception et à l’optimisation de pipelines de streaming critiques, avec des enjeux de latence, de throughput, de résilience et de cohérence des données. En tant qu’expert Kafka / Kafka Streams, vous êtes un référent technique clé sur les problématiques de streaming et intervenez sur des sujets avancés liés aux architectures event-driven et aux systèmes distribués.

Analyser les besoins fonctionnels et les spécifications. Participer aux cérémonies Agile (Daily, Refinement, Sprint Planning, Rétrospective). Rédiger et exécuter les cas de tests fonctionnels. Valider les flux de données entre microservices. Contrôler les échanges via Kafka et analyser les messages produits/consommés. Réaliser des tests d'intégration et de bout en bout. Vérifier la cohérence des données en base via SQL. Analyser les logs applicatifs et identifier les anomalies. Collaborer étroitement avec les équipes Produit, Développement et Architecture. Participer à la qualification, au suivi et à la priorisation des anomalies.

Secteur d'activite : services numeriques pour grand groupe international (secteur informatique et technologies) Contexte et environnement : Au sein d'une equipe applicative, vous intervenez sur la gestion et le maintien en conditions operationnelles d'un patrimoine d'applications metier en environnement UNIX/Linux. Missions principales : - Receptionner, installer et configurer les livrables applicatifs en environnement UNIX/Linux, en suivant les documentations associees - Effectuer les tests de recette applicative - Analyser les dossiers d'architecture solution et technique - Apporter une expertise fonctionnelle et technique sur les patrimoines applicatifs geres - Suivre les phases de recette et participer a l'analyse des anomalies detectees lors des phases avales et en production, avant retransmission au prestataire en charge du developpement - Rediger les cahiers des charges pour les tests de performance et le recueil des actions necessaires a la preparation des mises en production - Maintenir a jour la documentation du patrimoine applicatif Environnement technique : UML, Java, SQL, Kibana, Kafka, Tuxedo, scripting Shell sous UNIX/Linux Type de projet et methode de travail : Mission d'assistance technique au sein d'une equipe en charge du suivi et de la maintenance applicative, en interaction avec des prestataires externes en tierce maintenance applicative ou en prestation forfaitaire Livrables attendus : - Cahiers des charges pour les tests de performance - Documentation du patrimoine applicatif a jour - Rapports d'analyse d'anomalies en phases de recette et de production

Votre rôle sera de : La mission a pour objectif le développement de Micro Services ayant pour fonction de collecter , transformer et alimenter le comptoir de données. Architecture évènementielle (Message Broker KAFKA Confluent), hébergée dans le cloud AWS. Activités : Développement , mise en place des TDD et BDD, déploiement Compétences et qualités attendues : Langage : Java Framework : Spring Boot. BDD : MongoDB , Message Broker : Kafka CI/CD : Docker, Kubernetes, GitLab, Jenkins, Artifactory, Sonar Test : JUnit, TestContainers, Gatling Cloud : AWS, Confluent Pattern & Architecture : Event Driven Architecture, Microsevice Architecture

Contexte de la mission Au cœur de notre transformation technologique, nous accélérons le décommissionnement de notre stack legacy développée en PHP qui met à disposition les services nécessaires à la seconde vie. Nous recherchons un Chef de Projet Technique pour piloter ce décommissionnement de bout en bout. L'objectif est double : permettre au Product Manager de se concentrer sur la valeur produit, et orchestrer le transfert de responsabilité de certaines fonctionnalités (gestion de stock, de prix, etc.) vers les équipes produits adéquates, tout en finalisant l'intégration des composants cibles chez nous sur notre stack Java. Objectifs et livrables Responsabilités Vous prenez la responsabilité globale du cycle de vie de ce projet de migration. Vos missions s'articuleront autour des axes suivants : Cadrage et planification du projet : Auditer et cerner précisément le périmètre de la stack PHP actuelle. Cartographier les adhérences et planifier la feuille de route globale de décommissionnement. Pilotage et suivi de l'exécution : Piloter la migration au quotidien, suivre l'avancement des développements Java et s'assurer du respect des jalons et des livrables. Gestion des risques, des périmètres et des alertes : Identifier de manière proactive les risques techniques (coupures de flux, régressions, capacitif), gérer les changements de périmètre et résoudre efficacement les points de blocage. Accompagnement et conduite du changement : Accompagner la transition technologique et organiser le transfert de responsabilité des fonctionnalités concernées vers les bonnes équipes produit cibles. Gouvernance et alignement des parties prenantes : Structurer et animer les comités de projet (Coproj) et comités de pilotage (Copil) pour acter les décisions clés. Assurer une communication transparente et régulière sur l'avancement auprès du management et des équipes transverses. Clôture et finalisation du projet : Assurer l'extinction définitive et sécurisée de la stack PHP, documenter les nouveaux flux et valider le transfert complet de compétences.

Principales missions : - Conception et mise en œuvre des architectures de production pour les nouveaux projets - Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour sur l'intégralité de la plateforme - Design et implémentation de scripts pour les besoins du DEV, en support des ingénieurs OPS affectés aux projets Agiles - Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning) ; - Pilotage de la mise à niveau des infrastructures et gestion des impacts - Mise en oeuvre des bonnes pratiques DevOps et intégration continue Installation, configuration et divers paramétrages - Alimentation du backlog des Services de production ( CI/CD, Continuous Operation, Time2fix,...) en complément des informations collectées auprès des Ingénieurs OPS Expérience dans l’environnement de la prestation : 1 an d'experience minimum en tant qu'ingénieur Devops Expérience globale : - 5 ans d'expérience dans les environnements de production ( technologies, processus) / 'o Connaissance des Infrastructures/ serveurs / OS/Base De Donnée /Flux/firewall - Compétences en infrastructure Cloud (IaaS, PaaS) privé ou public - Expérience sur les containers - Capacité à scripter - Connaissance de l'Infra as code - Compétence sur les déploiements en production - Bonnes capacités en développement logiciel - Maîtrise de l’ordonnancement (Schedulers) - Connaissance des pratiques Agile et DevOps - Connaissance de l'intégration Continue (Continuous Integration) : Outil de gestion de versions, Référentiel du code source (GitLab, Bit bucket,..), référentiel binaires (Nexus, Artifactory…), orchestration (Jenkins, …). - Connaissance de la Livraison Continue (Continuous Delivery) : gestion de configuration d’environnement, déploiement, Infrastucture as code (Ansible, Puppet, Chef) - Connaissance des processus et Outils du Time2fix et Time2repair - 2 ans dans le codage/scripting.

Développement et maintenance d'un SI industriel de gestion de flux et de stocks en environnement de production (périmètres Préparation, Assemblage, Rechapage). Le consultant intervient sur la solution standard de gestion de flux, en lien avec les analystes fonctionnels : analyse, spécification technique, codage, tests, packaging et mise en service. Principales activités Analyse fonctionnelle et rédaction de spécifications techniques Codage C# / .NET – lecture et modification de code C Publication d'événements métier dans Kafka Tests unitaires / E2E en environnement industriel Packaging, delivery, mise en service sur site ou à distance Support N3, documentation, accompagnement technique

Dans le cadre du développement de nos activités, nous recherchons actuellement un.e Développeur Java Senior / API / Kafka pour intervenir chez l’un de nos clients dans le secteur bancaire. 💻🏦 Vous intégrerez la tribu Communication Client, en charge du socle digital permettant la gestion des communications omnicanales. Cette plateforme stratégique pilote notamment les échanges via SMS, emails, notifications et messagerie sécurisée, avec des enjeux forts de performance, de disponibilité et de fiabilité. La mission s’inscrit dans un programme de modernisation du SI visant à faire évoluer et réécrire plusieurs API selon les nouveaux standards de développement du groupe, dans une architecture orientée microservices et événements. 🎯 Votre rôle En tant que Développeur Java Senior, vous participerez activement à la transformation du socle digital de communication client. Vous interviendrez sur l'ensemble du cycle de vie des applications, depuis la conception technique jusqu'à la mise en production, en passant par le développement, les tests et le maintien en conditions opérationnelles. Votre expertise contribuera à garantir la robustesse, la scalabilité et la qualité des services utilisés quotidiennement par les réseaux bancaires. Vos missions : ⚙️ Développement backend & modernisation des API Vous participerez à l’évolution du socle digital en contribuant à : Réécrire les API existantes conformément aux nouveaux standards de développement Concevoir et développer des applications backend en Java / Spring Boot Développer et maintenir des microservices exposant des API REST Participer aux maintenances correctives et évolutives Garantir la qualité du code en appliquant les principes de clean code et les bonnes pratiques de développement Réaliser les tests unitaires et contribuer à la qualité globale des livrables Produire et maintenir la documentation technique 📡 Architecture événementielle & Kafka Vous contribuerez également aux évolutions de l’architecture événementielle : Participer à la mise en œuvre et à la configuration des composants Kafka Intervenir sur la gestion des topics, Schema Registry et ACL Contribuer aux échanges asynchrones entre applications Participer aux réflexions autour de l’architecture événementielle et de son évolution Accompagner les équipes dans l’intégration des flux Kafka au sein des applications 🚀 DevOps, déploiement & exploitation Vous accompagnerez les équipes dans l’industrialisation et l’exploitation des services : Participer aux déploiements des applications dans les différents environnements Contribuer aux mises en production avec les équipes expertes Intervenir sur les environnements Kubernetes Participer à l’amélioration continue des chaînes CI/CD Assurer le suivi de la stabilité des applications en production Participer à l’analyse et à la résolution des incidents 🤝 Collaboration Agile Au sein d’une équipe pluridisciplinaire, vous serez amené.e à : Participer aux cérémonies Agile Collaborer avec les équipes de développement, d’architecture et d’exploitation Contribuer aux choix techniques et aux bonnes pratiques de développement Accompagner les autres membres de l’équipe sur les sujets techniques complexes 🧭 Environnement fonctionnel & technique 🏦 Domaine fonctionnel Communication Client Notifications multicanales SMS Emailing Messagerie sécurisée Parcours de communication bancaire Échanges clients à fort volume 🛠 Technologies & outils Java Spring Boot Architecture microservices API REST Kafka Architecture événementielle Kubernetes Helm Charts Git GitLab CI CI/CD JUnit Mockito Clean Code

Dans le cadre de la modernisation et de l'évolution d'un système d'information stratégique à forte visibilité, nous recherchons un Développeur Sénior Java / Angular pour rejoindre une équipe agile organisée à l'échelle (SAFe). Vous interviendrez sur des applications critiques en participant activement à leur transformation technique, à la réduction de la dette applicative et à l'amélioration continue des pratiques de développement. Au sein d'une équipe pluridisciplinaire, vous serez un acteur majeur des choix techniques et contribuerez à l'ensemble du cycle de vie des applications selon les principes DevSecOps et "You Build It, You Run It". Vos principales responsabilités Participer à la modernisation d'applications existantes et à la réduction de la dette technique. Contribuer à la migration et à l'évolution des socles techniques Java. Concevoir, développer, tester, déployer et maintenir des applications robustes jusqu'en production. Participer à la conception technique des solutions backend et frontend en collaboration avec les référents techniques. Garantir la qualité, la maintenabilité et la sécurité du code produit. Mettre en œuvre et enrichir les stratégies de tests automatisés (unitaires, intégration, E2E). Participer à l'amélioration continue des pipelines CI/CD et des pratiques DevSecOps. Intégrer les exigences d'architecture, de sécurité, de performance et de résilience dans les développements. Contribuer à l'analyse et à la résolution d'incidents de production. Participer aux rituels Agile/Scrum et aux cérémonies SAFe. Accompagner les développeurs plus juniors à travers le partage de bonnes pratiques et les revues de code. Assurer une veille technologique active et proposer des améliorations techniques innovantes. Exploiter au quotidien les outils d'IA générative afin d'améliorer la qualité et la productivité des développements.

La mission consiste à : Gestion des évolutions Déploiement et validation des changements applicatifs, d’infrastructure et de sécurité sur les environnements de test (Staging/UAT) puis en production. Automatisation & outillage Conception des scripts et des solutions d’automatisation des interventions récurrentes. Mise en place des outils facilitant le support et l’évolution de l’application. Monitoring Mettre en place ou améliorer le monitoring applicatif sous Dynatrace (définition de métriques, alertes, dashboards). Documentation Rédaction et maintenance de la documentation fonctionnelle et technique (procédures d’exploitation, run-books, guides d’incident). Support technique Assurer le support quotidien au sein d’une organisation répartie sur Mumbai, Paris, portugal & UK. Gestion des incidents (Service Mgt - ITIL) Élaboration, suivie et mise en œuvre des plans d’action préventifs pour éviter la réapparition des dysfonctionnements. Communiquer quotidiennement sur l'état de la production applicative. Opérations exceptionnelles Intervention lors des tests de reprise (DRP/PRA), des mises en production majeures et des migrations d’infrastructure planifiées le week-end. Points forts à mettre en avant dans la réponse : Communication et Service management (Incident, problèmes et changements) + Jira pour les actions de support de production. Notions du chainage CI/CD via un pipeline DevOps complet. Notions en Python et scripting Bash Notions sql et BD Experience dans un envirobnnement big data Approche orientée automatisation visant à réduire les interventions manuelles et à optimiser le coût de support.

Notre client recherche un/une Tech Lead Cloud & DevSecOps – Industrialisation et Mise en Production (H/F) Description de la mission : Dans le cadre de l'accompagnement de projets innovants, nous recherchons un(e) Tech Lead pour intervenir sur l'industrialisation et la mise en production de solutions issues de phases d'expérimentation (POC, MVP, prototypes). L'objectif est de transformer ces initiatives en solutions robustes, sécurisées, industrialisées et exploitables à grande échelle, en s'appuyant sur les standards d'architecture, de sécurité et d'exploitation de la DSI. Missions principales : Accompagner les équipes projets dans le passage des solutions de l'expérimentation à la production. Définir et mettre en œuvre les architectures techniques cibles. Piloter les chantiers d'industrialisation et de mise en conformité des applications. Mettre en place et optimiser les chaînes CI/CD et les pratiques DevSecOps. Garantir la qualité, la sécurité, la performance et la scalabilité des solutions. Participer aux choix technologiques et aux arbitrages d'architecture. Accompagner les équipes de développement et les parties prenantes techniques. Assurer l'intégration des solutions avec les plateformes cloud, les services partagés et les infrastructures existantes. Contribuer à la définition des bonnes pratiques et standards techniques.