Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka

ContexteLe Bénéficiaire souhaite une prestation d'accompagnement dans l'objectif d'assurance d'un service d'ingénierie cybersécurité. Dans le cadre du déploiement du SOC ITG et de la collecte des logs sécurité de ses entités métiers, le bénéficiaire souhaite une prestation en ingénierie Data Collect et Data Transformation autour des solutions techniques Elastic Search et Elastic Beats, afin d'enrichissement d'un "puit de donnée sécurité" pour permission de la corrélation d'événements, et la mise en place d'alerting sur des paterns de sécurité. MissionsMise en place et définition des mécanismes de collecte Définition des patterns d'architectures de la collecte Définition et mise à jour de l'architecture de l'infrastructure (schéma, point réseau (flux, routage)) Déploiement de ces dispositifs sur le socle d'infrastructure Groupe, et sur les entités opérées dans les filiales ou à l'étranger Définition et mise en œuvre d'une stratégie de collecte uniforme et standardisée via Ansible Mise en place de pipelines d'enrichissement de la donnée Maintien en condition opérationnelle de la plateforme de collecte et des agents de collecte Mise en place de processus d'onboarding de nouvelles sources de logs ou d'assets en lien avec les responsables des systèmes monitorés Mise en place et évolution d'un système de monitoring de l'infrastructure et alerting sur la collecte des logs Création et évolution de dashboards avec Kibana Réponse aux audits réglementaires et internes Support et conseil aux entités utilisatrices des services Maintien et contrôle de la donnée collectée (exhaustivité et qualité) Outils & EnvironnementTechnologies/produits composants l'infrastructure : Kibana, Ansible, ElasticSearch, ElasticBeats, Logstash, Kafka, KSTREAM DevOps : Gitlab, Jenkins, Ansible Administration des systèmes (Linux et Windows) Développement en Python, Java Logstash Connaissance / Maîtrise Data Connaissance / Maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise Java, Python Expertise ETL, Bash Expertise couche d'accès et d'échange (Kafka) Expertise Python Expertise Elastic Stack (+ développement Logstash) Maîtrise des outils de dev/devops (Git, Ansible, Artifactory, Jira, Java) Bonne connaissance système RHEL/CentOS Docker

Dans le cadre du renforcement de ses équipes techniques, notre client recherche un Software Development Engineer Fullstack Senior pour intervenir sur des applications stratégiques dédiées aux opérations en magasin et à la gestion du balisage produit, papier et électronique. Au sein d'une équipe produit évoluant dans un environnement international, vous contribuerez au développement et à l'évolution de solutions à forte disponibilité, utilisées quotidiennement dans un réseau de magasins à grande échelle. Vous participerez aux évolutions majeures du produit, avec un rôle central dans les choix d'architecture, la qualité du code, la performance et la fiabilité des applications en production. Vos missionsConception technique : analyser les besoins métier et concevoir des architectures robustes et évolutives (architecture hexagonale, Event-Driven). Développement Fullstack : concevoir et faire évoluer les applications en Java, Spring Boot et Vue.js, dans le respect des bonnes pratiques (Clean Code, TDD, BDD). Qualité et performance : participer aux Code Reviews, automatiser les tests, optimiser les performances et réduire la dette technique. Production et observabilité : garantir la fiabilité des applications, suivre les métriques et traces, et contribuer à la résolution des incidents (OpenTelemetry, Datadog, Grafana). Amélioration continue : contribuer aux choix techniques, exploiter les outils d'assistance au développement par IA et partager les bonnes pratiques avec l'équipe. Environnement techniqueBackend : Java 25, Spring Boot 4, Kotlin Frontend : Vue.js, TypeScript Bases de données et messaging : PostgreSQL, Valkey, Kafka, RabbitMQ Cloud et infrastructure : GCP, Azure, KEDA Architecture : Architecture hexagonale, Event-Driven Architecture, Clean Architecture Qualité et tests : TDD, BDD, Cucumber, Gatling, Code Reviews Observabilité : OpenTelemetry (OTel), Datadog, Grafana Pratiques : CI/CD, automatisation des tests, assistance au développement par IA

Contexte de la missionDans le cadre de l'évolution d'une application stratégique de facturation B2B et de la préparation aux exigences réglementaires liées à la facturation électronique, nous recherchons un Développeur Back-End Java 21 expérimenté. Vous intégrerez une équipe technique en charge d'un produit en production, avec pour objectifs d'accélérer la livraison de nouvelles fonctionnalités, de renforcer la qualité et la sécurité applicatives, d'intégrer des usages d'intelligence artificielle dans le cycle de développement et d'optimiser les coûts d'exploitation. La mission s'inscrit dans un environnement exigeant, marqué par des délais de livraison contraints, des enjeux de continuité de service et une forte attention portée à la performance et à la conformité. Missions principales1. Développement Back-End et architectureConcevoir, développer et déployer de nouvelles fonctionnalités en Java 21. Participer au cadrage technique et aux choix d'architecture logicielle. Développer et maintenir des applications et services s'appuyant sur Kafka et MongoDB. Garantir la robustesse, la sécurité, la performance et la maintenabilité du code. Assurer la continuité de service et sécuriser les mises en production. Contribuer à l'amélioration continue de l'architecture existante. 2. Qualité logicielle et industrialisationConcevoir et maintenir des tests automatisés. Identifier et réduire la dette technique. Participer aux revues de code et diffuser les bonnes pratiques de développement. Améliorer les processus d'intégration et de déploiement continus. Documenter les solutions techniques et contribuer à la montée en compétences de l'équipe. 3. Intégration de l'intelligence artificielleIdentifier les cas d'usage pertinents de l'IA dans le cycle de développement. Concevoir et intégrer des agents et des compétences IA (agents/skills) dans les pratiques d'ingénierie. Industrialiser les usages de l'IA pour améliorer la productivité et fiabiliser les développements. Contribuer à la réduction du time-to-market et à l'amélioration de la qualité des livrables. 4. Optimisation FinOpsAnalyser les coûts d'exploitation de la solution existante. Identifier et prioriser les leviers d'optimisation des ressources et de l'architecture. Proposer des évolutions techniques permettant d'améliorer le rapport coût/performance. Mettre en œuvre des actions d'optimisation sans dégrader la disponibilité, la sécurité ni la qualité de service. Formaliser un plan d'optimisation FinOps assorti de recommandations priorisées. Compétences techniques requises Compétences indispensables Java 21 : expertise confirmée. Apache Kafka : expertise confirmée. Architecture logicielle : niveau confirmé. Développement Back-End et conception de solutions robustes et évolutives. Compétences importantes Tests automatisés et assurance qualité logicielle. Gestion et réduction de la dette technique. Sécurisation des applications et des mises en production. Maîtrise de MongoDB. Compétences appréciées Intégration de l'intelligence artificielle dans le cycle de développement. Mise en œuvre d'agents IA et de skills. Connaissances des pratiques FinOps et de l'optimisation des coûts d'infrastructure. Expérience des environnements de production à fortes exigences de disponibilité et de conformité. Pratique des méthodes d'intégration et de déploiement continus (CI/CD).

Bonjour a tous, L'un de mes client recherche un Developpeur Pas de sous traitant merci! Vos missionsDévelopper des fonctionnalités front et back, de la conception à la mise en production Concevoir et faire évoluer des microservices dans une architecture event-driven Contribuer à la création et à la maintenance de librairies internes partagées Participer aux revues de code et à l'amélioration continue de la qualité Travailler en méthodologie agile avec l'équipe produit Compétences indispensablesFront-end Angular 20 et versions supérieures NgXs (gestion d'état) Tailwind CSS v4 Création de librairies Angular internes MSAL Angular (authentification SSO) SignalR (notifications push) Back-end .NET 10 et versions supérieures, .NET Aspire Architecture microservices et event-driven CQRS avec MediatR, FluentValidation Entity Framework avec plusieurs bases : SQL Server, PostgreSQL, MySQL, MongoDB Kafka Workers avec Quartz Outils et méthodes Git Méthodologie agile Compétences appréciéesReact (fortement apprécié) Docker et Kubernetes (connaissance) YARP (API Gateway) Handlebars (génération de templates d'emails) Observabilité : OpenTelemetry, NLog, Serilog Refit et Polly (clients HTTP et résilience)

La prestation est responsable, entre autres, de la gestion des demandes, des incidents et des problèmes opérés par les différents pôles techniques du domaine exploitation. En cas d'incident ou d'événement affectant les ressources informatiques de son périmètre, le pilote d'exploitation alerte et informe les différentes parties prenantes, dans le respect des normes et procédures qui lui sont fournies. Les activités réalisées peuvent être notamment (liste non exhaustive) : · Maintien des conditions générales de production : o Assurer la disponibilité des ressources physiques et logiques ; o Réceptionner, planifier et suivre l'exécution des demandes de travaux ; o Diagnostiquer les incidents en cas de problème constaté sur le réseau, le stockage ou les systèmes, ou en cas d'alerte d'un bénéficiaire du service ; o Lancer les outils ou les commandes de reprise (reprise manuelle, reconfiguration des ressources, recopie des fichiers, opérations de sauvegarde, opérations de restauration…) selon les procédures en vigueur ; o Mettre en œuvre une démarche qualité (mise en œuvre de référentiels de bonnes pratiques, implantation de démarches fondées sur l'amélioration continue) ; o Contribuer à la définition des politiques d'installation et de mise en production ; · Gestion des travaux (demandes) : o Réceptionner et répondre aux demandes ; o Catégoriser, hiérarchiser et consigner tous les travaux ; o Planifier et modifier le cas échéant la programmation ; o Assurer leur suivi et les relances éventuelles ; o Surveiller la progression des travaux planifiés ; o Réaliser un retour d'expérience sur la planification et l'exécution des travaux ; · Gestion des crises : o Appliquer et développer les procédures de gestion de crise ; o Identifier les situations de crise et proposer le passage en mode crise ; o Identifier l'ensemble des ressources et des interlocuteurs adéquats afin de mener à bien la coordination, l'investigation et la communication ; o Coordonner les différents interlocuteurs et répartir les tâches ; o Produire un REX sur chaque crise ; o Émettre périodiquement les rapports de suivi de cette activité ; o Proposer des plans d'amélioration ; · Gestion des incidents et des problèmes : o Qualifier, investiguer et participer à la résolution des incidents ; o Coordonner la résolution des incidents avec les domaines applicatifs et les experts techniques ; o Assurer et contribuer à la communication associée en interne, vers les partenaires et vers les domaines applicatifs ; o Produire ou faire produire le REX ; o Assurer le suivi des incidents afin d'assurer les engagements de service ;

Dans le cadre d'un projet Data / Big Data, nous recherchons un Data Engineer confirmé / senior spécialisé en Python et Spark/PySpark, pour intervenir sur une plateforme Cloudera CDP. 🎯 Contexte de la missionVous interviendrez sur des sujets de développement Data Engineering, avec la conception et l'évolution de pipelines de données en environnement Big Data, notamment sur des traitements batch et streaming. 🛠️ MissionsDévelopper des pipelines et traitements Data en Python / Spark / PySpark Concevoir et maintenir des traitements Spark Streaming Participer au développement et à l'intégration de flux de données Intervenir sur une plateforme Cloudera CDP 7.1.9 Travailler avec les différents composants de l'écosystème Big Data Participer aux évolutions et à l'industrialisation des traitements Data Collaborer avec les équipes Data / Back / Infrastructure 💻 Environnement techniqueIndispensables : ⭐ Python ⭐ Apache Spark ⭐ PySpark Expérience significative en Data Engineering Environnement fortement apprécié : Cloudera CDP 7.1.9 Kafka NiFi Kubernetes / K8s Hive Ozone Iceberg Data Virtualization Spark Streaming

Résumé Le poste d'expert Open Search et Kafka vise à auditer, améliorer et optimiser une plateforme technique complexe, en fournissant des recommandations claires et en accompagnant les équipes techniques dans leur mise en œuvre. Responsabilités :Effectuer un audit de l'architecture existante. Analyser les choix techniques réalisés et identifier des axes d'amélioration. Apporter une expertise sur l'optimisation de la plateforme OpenSearch (performance, résilience, maintenabilité). Fournir une expertise sur les environnements Kafka (administration des clusters, optimisation des flux, gestion des performances et évolutions). Fournir une expertise sur Logstash (compatible OpenSearch) (pipelines, parsing, optimisation). Contribuer à la migration d'ELK vers OpenSearch (index, mappings, pipelines). Industrialiser les processus via Ansible / AWX. Documenter les processus et accompagner les équipes. Must Haves :Expertise confirmée sur OpenSearch (architecture, optimisation des performances, gestion de clusters). Expertise confirmée de Kafka : Administration et exploitation de clusters, optimisation des performances et des flux, capacité à accompagner les évolutions d'architecture. Bonne expertise sur Logstash (compatible OpenSearch) (conception et optimisation des pipelines). Expérience dans des contextes de migration ELK vers OpenSearch. Maîtrise d'Ansible / AWX.

Notre client dans le secteur Transport et logistique recherche un/une Run Owner H/F Description de la mission : Le client recherche un Run Owner qui sera responsable du Business Activity Monitoring (BAM), c'est-à-dire de la supervision des processus métier en production. Il vérifiera que les activités métier se déroulent correctement : traitement des commandes, paiements, échanges de messages ou mise à jour des dossiers. Il s'appuiera sur Dynatrace SaaS et Kafka pour détecter les anomalies et suivre les indicateurs métier. Les missions : Assurer le Business Activity Monitoring (BAM) et la supervision des processus métier. Définir et suivre les indicateurs métier : volumes, délais, statuts, rejets ou traitements bloqués. Superviser les flux applicatifs et les événements transitant par Kafka. Utiliser Dynatrace SaaS pour analyser les alertes, parcours et anomalies. Identifier les écarts entre le fonctionnement technique et le résultat attendu côté métier. Coordonner les équipes techniques et fonctionnelles en cas d'incident. Piloter les incidents jusqu'à leur résolution et suivre les actions correctives. Contribuer à la création des dashboards, alertes et règles de supervision BAM. Produire des reportings sur la qualité et la performance des processus métier. Le profil rechercher est confirmé à senior, avec une expérience en Run et surtout en BAM de production applicative, supervision ou exploitation. Une bonne compréhension des processus métier est indispensable. Le consultant doit connaître les principes d'observabilité avec Dynatrace et comprendre les flux Kafka : topics, messages, producteurs, consommateurs et retards de consommation. Compétences / Qualités indispensables : dynatrace, kafka, business activity monitoring Informations concernant le télétravail : Libre

Contexte Pour un client du secteur bancaire, nous recherchons un Architecte Solution expérimenté dans les paiements et l'écosystème SWIFT, pour concevoir et faire évoluer les solutions de paiement de son système d'information. Vos missions Concevoir et designer des solutions d'architecture sur le périmètre des paiements : SWIFT, SEPA, ISO 20022, paiements instantanés (RTP) Définir les architectures solution et logicielles en respectant l'urbanisme du SI Cartographier le SI et formaliser les architectures avec TOGAF, ArchiMate et Archi Concevoir des architectures orientées messages et événements (MQ, Kafka) et des architectures Cloud Travailler avec les équipes métier, IT et les partenaires, en français et en anglais

Contexte de la mission Nexius Finance recherche pour le compte de son client bancaire un(e) Ingénieur Support Applicatif pour intervenir sur la maintenance et les évolutions d'applications critiques, dans un environnement fortement réglementé. Vous serez chargé(e) de prendre en compte les recommandations d'audit, les exigences réglementaires et les demandes des équipes Conformité afin de les traduire en évolutions concrètes du système d'information. Vous interviendrez sur l'ensemble du cycle de traitement, de l'analyse du besoin jusqu'à la mise en production. Vos principales missions Analyser les recommandations d'audit, les écarts de conformité et les demandes d'évolution du SI. Évaluer les impacts fonctionnels et techniques, identifier les risques et prioriser les actions. Recueillir les besoins auprès des équipes métiers, Risques, Conformité, Audit et IT. Rédiger les spécifications fonctionnelles et techniques et coordonner leur mise en œuvre avec les équipes de développement. Investiguer les incidents et anomalies à l'aide de requêtes SQL/PL-SQL, de logs et d'outils de supervision. Réaliser des analyses d'impact sur les applications, les flux et les données. Participer aux tests fonctionnels et de non-régression, sécuriser les mises en production et assurer le suivi post-déploiement. Contribuer aux plans de remédiation, à la traçabilité des actions et à l'amélioration continue. Formation supérieure en informatique, Bac+4/5 ou équivalent. Expérience significative en support applicatif, maintenance évolutive, analyse fonctionnelle ou coordination IT. Une expérience en environnement bancaire est fortement appréciée. Bonne compréhension des enjeux de conformité, d'audit, de contrôle interne et de réglementation. Maîtrise de SQL pour l'investigation et l'analyse des données. Capacité à rédiger des spécifications, suivre les développements et piloter les tests jusqu'à la mise en production. Anglais professionnel, notamment pour la rédaction documentaire et les échanges techniques. Qualités attendues : autonomie, rigueur, esprit d'analyse, réactivité, excellentes capacités rédactionnelles et aptitude à gérer des sujets prioritaires dans des délais contraints. Objectif de la mission : garantir la mise en œuvre rapide et sécurisée des évolutions du SI nécessaires à la conformité réglementaire, à la maîtrise des risques et au renforcement de la fiabilité des applications bancaires.

L'entreprise Idemys, cabinet tech indépendant basé à Paris, recrute pour l'un de ses clients, une grande banque en ligne française, un(e) Ingénieur(e) Études pour son équipe Paiements & Services, au sein de la DSI. Le poste Rattaché(e) au responsable des applications Paiements et Services, vous êtes l'expert(e) fonctionnel(le) d'un périmètre au cœur du quotidien des clients : virements instantanés et virements hors zone SEPA ; Verification of Payee et vérification IBAN ; mobilité bancaire ; gestion des litiges ; cycle de vie des cartes bancaires ; transactions d'une marketplace. Vos missions Accompagner les métiers dans l'expression de leurs besoins, puis mener le cadrage, les études de faisabilité et les analyses détaillées. Rédiger les spécifications fonctionnelles détaillées en anglais pour les équipes de développement. Superviser les développements externalisés : challenger les solutions et les charges, contrôler les délais, la qualité et la conformité des livrables. Piloter les tests IT, la recette end-to-end et la phase VSR. Préparer et suivre les mises en production. Assurer le suivi et la résolution des incidents sur le périmètre. Établir et suivre les aspects budgétaires des travaux confiés. Sur les projets que vous pilotez : animer les comités, coordonner les acteurs, organiser la formation des utilisateurs et participer à la négociation avec les sous-traitants.

Dans le cadre d'un projet Data stratégique, nous recherchons un Tech Lead Data Engineer pour accompagner la conception, le développement et l'industrialisation de solutions Data dans un environnement technique exigeant. 🎯 Vos missions Concevoir et faire évoluer des architectures Data robustes et scalables Piloter techniquement les développements et accompagner les Data Engineers Concevoir et industrialiser des pipelines de données Intervenir sur des architectures Data temps réel / streaming avec Kafka Développer et maintenir des solutions sur Palantir Foundry Garantir la qualité, la performance et la fiabilité des traitements Data Participer aux choix d'architecture et aux bonnes pratiques de développement Assurer la revue de code et accompagner la montée en compétences de l'équipe Collaborer avec les équipes Data, Architecture, DevOps et métiers 🛠️ Environnement technique Indispensables : Kafka Palantir Foundry Solide expertise en Data Engineering Conception de pipelines Data Architecture Data / traitement distribué Python et/ou SQL Expérience en environnement de production Atouts : Kafka Streams / Confluent Spark / PySpark APIs / microservices CI/CD, Git, Docker, Kubernetes Cloud Expérience en lead technique ou en accompagnement d'équipe 👤 Profil recherché De formation supérieure en informatique ou Data, vous disposez d'au moins 7 ans d'expérience en Data Engineering, dont une expérience significative en lead technique. Vous êtes à l'aise dans des environnements complexes et avez une forte capacité à challenger les choix techniques, concevoir des solutions robustes et accompagner les équipes dans leur mise en œuvre. Une expérience concrète sur Palantir Foundry et Kafka est indispensable.

Pour un client du secteur bancaire, nous recherchons un Architecte Solution expérimenté dans les paiements et l'écosystème SWIFT, pour concevoir et faire évoluer les solutions de paiement de son système d'information. Vos missions Concevoir et designer des solutions d'architecture sur le périmètre des paiements : SWIFT, SEPA, ISO 20022, paiements instantanés (RTP) Définir les architectures solution et logicielles en respectant l'urbanisme du SI Cartographier le SI et formaliser les architectures avec TOGAF, ArchiMate et Archi Concevoir des architectures orientées messages et événements (MQ, Kafka) et des architectures Cloud Travailler avec les équipes métier, IT et les partenaires, en français et en anglais

Développeur Back expérimenté (JAVA 17, Spring Boot, Kafka...) - Lille et environs Nous recherchons un ingénieur développeur expérimenté, curieux et passionné par le software craftsmanship, prêt à s'investir dans la compréhension approfondie du périmètre fonctionnel de nos produits, au-delà de la seule dimension technique. Vous interviendrez au cœur de notre plateforme de commerce omnicanal, garantissant l'interaction fluide des périmètres vente, paiement et encaissement pour le web, les magasins et les parcours cross-canal. La mission couvre l'ensemble du cycle de vie des produits. Compétences attendues: Expérience confirmée en développement logiciel, avec appétence pour toucher à l'ensemble de la chaîne de valeur. Capacité à évoluer dans des environnements complexes et en constante évolution. Intérêt marqué pour les problématiques métier et volonté de comprendre les besoins en profondeur. Sensibilité aux principes DevOps et à la qualité logicielle. Goût du travail en équipe, partage de bonnes pratiques et collaboration internationale. Maîtrise de l'anglais indispensable pour interagir dans un contexte global. Goals and deliverables Mission de développeur fullstack -LILLE ET ENVIRONS Expected skillsSkillsSkill level Spring Boot Expert KAFKA Confirmed java 17 Expert DOCKER mongo db Confirmed LanguagesLanguage level Anglais Fluent Français Bilingual

ATTENTION, PRESENCE SUR SITE CLIENT DE 50% DU TEMPS PAR SEMAINE NON NEGOCIABLE Nous recherchons un Ingénieur Système spécialisé en cybersécurité pour rejoindre une équipe projet chargée de l'intégration et de l'évolution d'une solution SIEM / Log Analytics destinée au Security Operations Center (SOC) et à l'équipe SecOps. En collaboration avec l'architecte et le chef de projet, vous interviendrez sur l'intégration des données de journalisation et sur l'évolution de la plateforme basée sur la stack Elasticsearch, Kibana, Logstash et Kafka. Vous assurerez notamment l'onboarding des logs issus de différents systèmes et applications, la configuration et l'optimisation de la plateforme Elastic Security ainsi que la création de tableaux de bord et de rapports répondant aux besoins des équipes SecOps, infrastructure et applicatives. Vous participerez également à l'intégration de flux de Threat Intelligence, aux mises à niveau de la plateforme SIEM, à la surveillance des journaux et alertes de sécurité ainsi qu'à la production de la documentation, des procédures et des différents livrables techniques nécessaires au projet.