Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka

Dans le cadre d’un programme d’industrialisation data, nous recherchons un DataOps Kafka pour fiabiliser, automatiser et exploiter des plateformes de streaming en production. Vous analyserez les pipelines existants, identifierez les points de fragilité et proposerez des améliorations en matière de résilience, de monitoring et de gouvernance des flux. Vous guiderez la mise en place de pratiques DataOps autour de Kafka : automatisation des créations de topics, gestion des schémas, versioning, tests de compatibilité et mise en place de contrôles qualité sur les événements. Vous serez responsable de l’intégration de Kafka dans les chaînes CI/CD, de la mise en place de mécanismes d’observabilité (métriques, alerting, tracing) et de la gestion proactive des incidents. Vous travaillerez main dans la main avec les équipes Data Engineering, DevOps et SRE pour optimiser les performances, la disponibilité et la traçabilité des flux. Vous participerez également à l’amélioration continue des pratiques d’exploitation et à la diffusion d’une culture DataOps autour du streaming.

Au sein de la DSI d’un grand groupe industriel international, vous intégrez une équipe Data & Streaming en charge de la conception et de l’exploitation de la plateforme de streaming de données temps réel. L’environnement technique est centré sur Apache Kafka (Confluent Platform) déployé sur Microsoft Azure. Missions principales: - Concevoir, développer et maintenir les pipelines de streaming de données basés sur Apache Kafka (Confluent Platform) sous Azure - Assurer la mise en place et l’administration des clusters Kafka : topics, partitions, consumers, connecteurs (Kafka Connect) - Développer des applications de traitement en temps réel avec Kafka Streams ou ksqlDB - Implémenter et gérer les schémas de données via le Schema Registry (Avro, Protobuf, JSON Schema) - Participer à la mise en place de patterns d’intégration événementielle (Event-Driven Architecture) - Monitorer les performances et la fiabilité des flux Kafka (Confluent Control Center, Grafana, Azure Monitor) - Collaborer avec les équipes Data Engineering, DevOps et Architecture dans un contexte Agile - Rédiger la documentation technique en anglais

Dans le cadre de l’évolution de son système d’information nous recherchons un profil disposant de compétences avérées en matière d'expertise Kafka / Elastic pour développer, industrialiser et automatiser la plateforme Kafka / Elastic. ∗ Assister et conseiller dans le choix et l’utilisation des méthode ∗ Informer sur les évolutions ∗ Former aux nouvelles technologies et systèmes ∗ Participer aux études et développement & conduite d’études ponctuelles ∗ Gérer des normes, méthodes, outils et référentiels ∗ Mettre en place les normes, méthodes et outils et en vérifier l'application ∗ Certifier des composants et applications développées

Dans le cadre d’un programme de structuration des usages Fast Data, nous recherchons un Expert Kafka pour accompagner les équipes projets et promouvoir les bonnes pratiques autour du streaming événementiel. Vous interviendrez sur l’accompagnement des équipes applicatives dans l’adoption de Kafka, depuis la conception des flux jusqu’à la mise en production, en adressant des problématiques variées (design des topics, schémas, sécurité, performance). Vous participerez à la mise en place de mécanismes avancés tels que l’authentification OAuth pour les clients Confluent Cloud et à la définition de stratégies de gouvernance des flux. Vous contribuerez à la livraison de plans de continuité d’activité et de reprise après sinistre garantissant l’intégrité des données. Vous animerez une communauté technique autour du Fast Data, en partageant les retours d’expérience, en organisant des sessions de présentation et en contribuant à la montée en compétence collective sur les technologies de streaming.

Contexte de la mission Dans le cadre du développement de produits digitaux liés aux fonctions Ressources Humaines , nous recherchons un Développeur Java afin de renforcer une équipe technique en charge du développement et de la maintenance de plusieurs solutions internes. Vous interviendrez au sein d’un environnement agile composé de plusieurs équipes produit (gestion administrative, recrutement, développement des talents, sécurité et diversité) et d’une squad technique transverse responsable de la réalisation des développements. Dans un contexte d’évolution rapide et d’intégration de nouvelles solutions SaaS, vous participerez au développement de nouvelles fonctionnalités et à l’intégration de plusieurs produits au sein de l’écosystème existant. Vos missions Participer au développement et à l’évolution des produits digitaux du domaine RH. Concevoir et développer des services backend en Java / Spring Boot . Contribuer à l’intégration de nouvelles solutions SaaS au sein du système d’information. Mettre en place et maintenir les mécanismes de gestion des accès (ACL) et des droits utilisateurs. Développer et maintenir les API et services applicatifs . Participer à la qualité du code via des tests unitaires et bonnes pratiques de développement. Contribuer aux rituels agiles et à la collaboration avec les équipes produit. Assurer le maintien et l’amélioration continue des solutions existantes. Compétences techniques requises Java / Spring Boot (expert – impératif). PostgreSQL (confirmé – impératif). Kafka (confirmé – important). Git / GitHub (confirmé – important). Environnement technique Java, Spring Boot JUnit, MapStruct, Flyway, Lombok PostgreSQL, MongoDB Kafka Git / GitHub Datadog Linux Méthodologie Agile / Scrum Compétences appréciées React / TypeScript Python / Django

Contexte de la mission Améliorer l'industrialisation, la sécurisation et la supervision des plateformes d'échanges : KAFKA, APIGEE, Bucket GCP, SFTP. Travailler sur la résilience d'APIGEE/KAFKA/SFTP ainsi que les sujets de migration KAFKA (Move 2Paris) et sur les sujets autour de l'IA avec APIGEE (MCP Server), autre plateforme Google Kafka. Un nouveau périmètre à intégrer dans l'équipe Scripts, code Terraform pour ci/cd, Procédures explicatives Astreintes et Intervention à prevoir Objectifs et livrables lCoud Provider Public (idéalement GCP) Scripting (Shell, Python) Terraform, Git , Argo, Kubernetes, Ansible KAFKA, APIGEE, Bucket GCP, SFTP, Cloudflare

Assistance et Conseil : Fournir un accompagnement et des recommandations pour le choix ainsi que l'utilisation des méthodes et services, notamment dans le cadre des Maintenances en Condition Opérationnelle (MCOs). Veille et information : Assurer une communication régulière sur les évolutions pertinentes dans le domaine. Participation aux études : Contribuer aux activités de recherche, développement, ainsi qu’à la conduite d’études ponctuelles pour répondre aux besoins spécifiques. Gestion des normes et outils : Superviser la gestion des référentiels, méthodes, normes et outils utilisés, en veillant à leur cohérence et à leur mise à jour. Mise en œuvre et vérification : Définir et déployer les normes, méthodes et outils, puis en assurer le suivi et la conformité lors de leur application. Dossiers d'expertise : Maintenir et actualiser les référentiels liés à notre domaine d'expertise. Mettre à jour les Dossiers d'Architecture pour refléter les évolutions techniques et fonctionnelles. Assurer la mise à jour régulière de l’outil JIRA, en intégrant les nouvelles informations et ajustements nécessaires. Produire et veiller à la qualité des livrables techniques liés aux projets et études.

Expérience Expérience approfondie dans l'optimisation et l'industrialisation de plateformes d'échange telles que KAFKA, APIGEE, Bucket GCP et SFTP, avec un souci constant de sécurisation et de supervision. Capacité à anticiper et intervenir rapidement pour renforcer la résilience de solutions telles qu'APIGEE, KAFKA et SFTP, garantissant leur disponibilité et leur performance optimale. Participation active à des projets de migration, notamment la transition de KAFKA dans le cadre du projet Move 2Paris, afin d'assurer une continuité de service et une modernisation des infrastructures. Implication dans des initiatives liées à l'intelligence artificielle, en utilisant APIGEE (notamment le MCP Server) et d'autres plateformes Google Kafka pour le développement et l'intégration de solutions innovantes. Expérience confirmée en gestion d'incidents et en astreinte, garantissant une prise en charge efficace et rapide des problématiques techniques sur ces plateformes critiques.

Dans le cadre du développement et de l'industrialisation d'une plateforme de streaming de données, nous recherchons pour notre client, un(e) Expert Kafka capable d'accompagner les équipes techniques dans la mise en place, l'automatisation et l'optimisation de la plateforme. Le consultant interviendra au sein d'une squad en collaboration étroite avec les équipes internes afin d'améliorer les pratiques d'exploitation, d'industrialisation et de supervision de l'environnement. A ce titre, vos principales missions seront les suivantes : -Accompagner les équipes dans le choix et l'utilisation des solutions techniques -Participer à l'industrialisation et l'automatisation de la plateforme Kafka -Contribuer aux études techniques et développements -Définir et faire appliquer les normes, méthodes et outils -Assurer une veille technologique et informer sur les évolutions Livrables attendus -Production de dossiers d'expertise -Mise à jour des dossiers d'architecture -Mise à jour des éléments de suivi dans JIRA -Production de livrables techniques et référentiels d'expertise

🌟 Quel sera ton poste ? 🌟 📍Lieu : Niort 🏠 Télétravail : 3J et 2 jours présentiels 📝Contrat : CDI ou Freelance 👉 Contexte client : Dans le cadre de l’évolution de son système d’information, le client souhaite renforcer sa plateforme de streaming en s’appuyant sur une expertise Kafka . La mission consiste à développer, industrialiser et automatiser la plateforme Kafka, et idéalement son écosystème Elastic , en collaboration étroite avec les équipes internes , dans un environnement technique moderne et structuré. Tu auras pour missions de : Contribuer à l’ évolution et à l’industrialisation de la plateforme Kafka Automatiser les déploiements et l’exploitation via des pratiques Infrastructure as Code Participer à la supervision et à l’observabilité des solutions Travailler en collaboration avec la squad interne , dans un cadre Agile

Au sein de la Direction des Etudes, vous rejoindrez une équipe à forte expertise delivery de WebServices/APIs java, EventHub avec Kafka et socle CICD (Jenkins / Sonarqube...) au service des équipes de développement et des partenaires externes. Technophile doté(e) d’une grande capacité d’adaptation à des nouvelles technologies, vous possédez idéalement une connaissance des logiciels Cloud AWS, API, Kafka, CICD, Java, UNIX. Vous avez acquis une expertise technique en étude et développement dans différentes technologies et êtes en capacité développer le socle d'évènement Kafka et notre socle d'intégration et déploiement continu. Kafka - Confirmé - Impératif Cloud AWS (cloudformation, packer…) - Confirmé - Impératif Ansible - Confirmé - Impératif Java/J2EE, API Swagger - Confirmé - Important

Vous accompagnerez les équipes sur les plateformes Confluent Cloud Kakfa SaaS, Kakfa Connect GCP & OnPremise. Vos missions consisteront à contribuer: Administration Kafka et Mise en oeuvre du socle autour de Kafka Faire évoluer et maintenir la plateforme technologique autour Confluent KAFKA Mise en place et Support aux équipes de développements sur les configurations & bonnes pratiques Confluent Kafka (topics..) Participer à l’administration et les optimisations des flux Assurer la conformité avec les standards réseaux de sécurité Participer à la mise en oeuvre du plan DRP (Disaster Recovery Plan) Contribuer à la migration vers une architecture PSC unifiée Mettre en place et améliorer les solutions de monitoring de la plateforme Confluent Cloud (métriques, alertes, dashboards) Participer à la Supervision des flux Kafka Participer à la surveillance des machines On-Premise participant à l'écosystème Kafka Participer à la Configuration et l’optimisation de la remontée des logs et traces dans Dynatrace Contribuer à Garantir la conformité des accès selon les standards de sécurité Contribuer à Superviser les mécanismes d'authentification (Service Accounts, API Keys, OIDC) Contribuer à l'audit et à la gouvernance des ressources Confluent Mettre en oeuvre les bonnes pratiques de sécurité réseau Participer aux revues de sécurité périodiques Automatisation & IaC Développer des modules Terraform pour la gestion de la plateforme Automatiser les tâches récurrentes Optimiser les processus de déploiement et de rollback

Vous rejoindrez notre équipe en charge de l’administration et du maintien en condition opérationnel de la plateforme MongoDB Atlas ainsi qu’à la mise en production et à l’industrialisation des projets. Vos missions consisteront à contribuer: Accompagner les équipes projet dans la mise en place des bases Gérer les installations, montées de version, paramétrage et optimisation des bases Amélioration des performances (tuning des requêtes SQL, configuration des services) Assurer le support en interne en cas de bug ou d’anomalies Assurer la relation avec les fournisseurs externes (MongoDB) Gérer les configurations Private Service Connect (PSC) pour les clusters Confluent Cloud Assurer la conformité avec les standards réseaux de sécurité Participer à la mise en oeuvre du plan DRP (Disaster Recovery Plan) Contribuer à la migration vers une architecture PSC unifiée Assurer le monitoring et Observabilité Mettre en place et améliorer les solutions de monitoring de la plateforme Superviser les clusters et les noeuds sur MongoDB Atlas Assurer la surveillance des services (Sharding, Archive Online, …) Configurer et optimiser la remontée des logs et traces dans Dynatrace Développer des tableaux de bord pertinents pour le suivi opérationnel Mettre en place des alertes proactives sur les métriques critiques Garantir la conformité des accès selon les standards de sécurité Contribuer à l'audit et à la gouvernance des ressources MongoDB Atlas Mettre en oeuvre les bonnes pratiques de sécurité réseau Participer aux revues de sécurité périodiques (interface avec KMS Google et FortaniX, gestion des rôles, cryptage, interface avec notre solution SoC ) Maintenir et enrichir les pipelines CI/CD pour le déploiement de l'infrastructure Contribuer au développement des modules Terraform pour la gestion de la plateforme Automatiser les tâches opérationnelles récurrentes Optimiser les processus de déploiement

Dévelopeur C#.Net, Openshift, Kafka, SQL, API, Angular Dans le cadre de notre plan stratégique et de la transformation de notre architecture Pre Trade, mission de Développeur C#. Cette équipe a pour ambition de repenser nos processus et notre architecture, en collaborant étroitement avec les métiers pour répondre à leurs exigences en matière de robustesse, de performance et de scalabilité. Le consultant travaillera en étroite collaboration avec d'autres membres de l'équipe ainsi qu'avec les parties prenantes, y compris les architectes et les utilisateurs finaux. Objectifs et livrables Compétences techniques/fonctionnelles • C# et architecture applicative: Maîtrise du langage C# pour le développement d’applications robustes, avec une forte orientation objet, structures de données et modèles de conception. • SQL: Expérience avec les bases de données relationnelles, écriture et optimisation de requêtes, gestion des performances et des index. • API et intégration: Connaissance des principes RESTful et capacité à consommer/créer des services web pour faciliter la communication entre applications et systèmes. • Angular: Développement d’interfaces front-end réactives et robustes. • Kafka: Compréhension des principes de streaming et expérience avec l’intégration de données via Apache Kafka (producteurs, consommateurs, topics, schémas, gestion des offsets). • OpenShift: Connaissance des environnements containerisés et orchestrés sur OpenShift (déploiement, scaling, pipelines CI/CD, sécurité et gestion des projets). • Systèmes financiers: Développement d’applications C# pour des plateformes financières (trading, tenue de positions), en tenant compte des contraintes de résilience et de performance. • Produits financiers: Compréhension des instruments (actions, obligations, dérivés, etc.) et des marchés, avec capacité à développer des solutions logicielles adaptées. • Tendances du marché: Veille technologique dans les services financiers et intégration des innovations pertinentes dans les projets. Compétences analytiques • Analyse des besoins: Recueil et analyse des besoins techniques des utilisateurs et parties prenantes, en veillant à l’alignement avec les objectifs du projet. • Gestion des exigences: Rédaction de spécifications techniques claires et détaillées, avec traçabilité tout au long du cycle de vie du produit. • Évaluation des solutions: Analyse et évaluation des solutions proposées pour assurer leur adéquation avec les besoins métier et les contraintes techniques. Compétences demandées Compétences Niveau de compétence OPENSHIFT Avancé API Confirmé SQL Confirmé KAFKA Avancé ANGULAR Confirmé C# Expert Langues Niveau de langue Anglais Courant

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Streaming / Real-Time pour concevoir, optimiser et industrialiser des plateformes de traitement de données en temps réel. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines événementiels, optimisation des traitements stream, passage vers des architectures plus scalables et résilientes) et guiderez leur mise en œuvre avec Kafka, Flink, Spark Streaming ou équivalents. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation en temps réel, de l’amélioration des performances et de l’intégration de mécanismes de tolérance aux pannes et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de streaming et d’event-driven architecture. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.

Descriptif du poste Le bénéficiaire sollicite l'appui d'un expert en infrastructure et sécurité afin d'accompagner le suivi des projets et l'intégration des évolutions du moteur Instant Payments. L'objectif principal est d'assurer la résilience du système tout en garantissant la conformité aux standards d'architecture et de sécurité. Missions Contribution au design et à l'évolution de l'architecture du moteur de paiements instantanés en environnement cloud basé sur les micro-services, notamment sur les aspects infrastructures, sécurité, monitoring et cloud Participation à la rédaction des dossiers d'architectures et des différents supports techniques Participation à la définition et au design de la nouvelle architecture du moteur de paiements Participation aux ateliers/travaux de migration du moteur SCT existant Point de contact avec les différentes intervenants infrastructures et de sécurités Interaction avec des équipes internationales et participer aux projets transverses infrastructures Supervision et amélioration de la résilience du moteur (performance, disponibilité) Mise en œuvre des demandes d'amélioration ou de renforcement de la sécurité Mise en place des solutions de haute disponibilité (HA) au niveau du moteur et des CSM (STET, EBA, TIPS) Sécurisation des échanges (SSL/TLS/MTLS, PGP/GPG) Gestion des ouvertures de flux et la segmentation réseau (firewall, reverse proxy, Illumio) Intervention en conception, sécurisation et amélioration continue Contribution à la mise en place des systèmes d'alerting et des dashboards de résilience