Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Vos missions : • Concevoir et optimiser des architectures de streaming basées sur Kafka. • Développer et maintenir des pipelines temps réel (Java / Spring / Kafka Streams). • Traiter les problématiques de performance et de scalabilité. • Garantir la fiabilité des traitements. • Accompagner les équipes sur les sujets techniques et les bonnes pratiques. • Contribuer à l'industrialisation (CI/CD, monitoring, observabilité). • Participer à la définition et à l'évolution des standards techniques autour de l'écosystème Kafka. • Assurer une veille technologique continue et proposer des axes d'amélioration pour renforcer la performance, la résilience et la sécurité de la plateforme. Référence de l'offre : hy4rjeulja

Je suis à la recherche pour un de nos clients d'un Expert Kafka / Kafka Confluent / IBM / Kafka Strimzi. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette première étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de ce socle seront produites par les différents socles techniques du SI du Client, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID (Datastage) + Teradata. Parmi les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'écosyteme SI Client ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Installation et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafraîchissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka.

Contexte Dans le cadre d'un projet de mise en œuvre d'un socle d'échange de données basé sur la technologie open source Apache Kafka, s'appuyant sur la distribution Confluent, nous recherchons un expert Kafka afin de renforcer l'équipe projet. MISSIONS Pour renforcer l'équipe projet, nous recherchons une expertise technique Kafka dans le cadre de la mise en oeuvre d'un nouveau socle Kafka Confluent. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata. Parmis les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafrachissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka. Profil recherché : Nous recherchons un expert Kafka / Confluent capable de participer à l'ensemble des phases du projet et d'accompagner l'équipe sur les sujets suivants : - Architecture Kafka et Confluent ; - Installation et administration de plateformes Kafka ; - Sécurisation des échanges ; - Performance et tuning ; - Mise en œuvre de connecteurs Kafka Connect ; - Industrialisation et automatisation des déploiements ; - Supervision et exploitation ; - Accompagnement des équipes projet et transfert de compétences. - Rédaction de dossiers d'architecture, de normes et bonnes pratiques, de dossiers d'exploitation, ...; L'expert intégrera l'équipe projet pour contribuer à la conception, à la mise en œuvre et à l'industrialisation du futur socle d'échange de données de l'entreprise. Environnement technique - technologique Environnement Socle Kafka : - Distribution Kafka Confluent et Strimzy - Langages de scripting et de developpement : Shell, Python, Json, - Systeme d'exploitation : Linux Redhat Autres environnements techniques: - Base de données : PostgreSQL - Hadoop : Cloudera - Data Streaming : IBM Infosphere CdC - Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware - Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, Competences Techniques Distribution "Kafka Confluent / IBM" : composant du cluster kafka (Broker, Kraft, Cwork) , Scema registry, Connecteurs (JDBC, Debezium PgSQL, HDFS, ...) Distribution Autres : "Kafka Strimzi", connecteurs propriétaires (exemple : "Datastage") ou outillage complémentaire Langages de scripting et de developpement : Shell, Python, Json Infrastructure et Système d'exploitation : Linux, Kubernetes, Ansible Outils connexes : ETL Datastage, Power-BI, SAS, Teradata, PostgreSQL, Data streaming, Hadoop Savoir Faire et savoir-être Capacités rédactionnelles : documentation technique, cahier des charges, communication et compte-rendu Communication et Capacités relationnelles(sens de l'écoute et du dialogue, conduite de réunion, négociation) Autonomie Capacité à travailler en équipe Esprit d'analyse et de synthèse

Contexte : Dans le cadre du développement et de l'évolution de la Group Data Platform, nous recherchons un Tech Lead Data Engineering spécialisé dans les architectures temps réel, disposant d'au moins 10 ans d'expérience. Le consultant interviendra au sein de l'équipe Group Data Delivery afin de concevoir, développer et opérer des produits de données temps réel, depuis l'ingestion et le traitement des flux jusqu'à leur exposition via des API à destination de consommateurs internes et externes. Il devra apporter une expertise technique avancée sur Apache Flink, Apache Kafka, les architectures événementielles, les microservices et les technologies AWS, tout en assurant le leadership technique, la qualité des développements et la fiabilité des solutions mises en production. Missions principales Concevoir et développer des produits de données temps réel de bout en bout à l'aide d'Apache Flink, Apache Kafka et des architectures événementielles. Construire et maintenir des pipelines de données résilients pour l'ingestion, le traitement, la transformation et la distribution des données en temps réel et en batch. Concevoir et développer des API REST, des interfaces OpenAPI, des microservices et des interfaces de streaming. Déployer et exploiter des solutions sur AWS, notamment avec MSK, Kinesis, Managed Service for Apache Flink, Lambda, API Gateway, ECS, EKS, S3 et IAM. Mettre en place des contrôles de qualité des données, des modèles de données, des mécanismes de validation et une gouvernance des schémas. Définir et industrialiser les pipelines CI/CD avec GitLab CI, GitHub Actions ou des outils équivalents. Garantir l'observabilité des solutions grâce à CloudWatch, OpenTelemetry, Prometheus, Grafana, aux logs structurés, aux métriques et au tracing. Assurer le maintien en conditions opérationnelles des services : supervision, gestion des incidents, analyse des causes racines et optimisation des performances. Veiller au respect des SLA et à la disponibilité, la sécurité et la fiabilité des services en production. Appliquer les bonnes pratiques de sécurité : OAuth2/OIDC, chiffrement des données, gestion des secrets, contrôle réseau et principe du moindre privilège. Rédiger la documentation technique : dossiers d'architecture, spécifications API, procédures d'exploitation et documentation de déploiement. Piloter les choix techniques, animer les échanges d'architecture et réaliser les revues de code et de conception. Définir et promouvoir les standards d'ingénierie, accompagner les développeurs moins expérimentés et assurer le transfert de connaissances. Garantir la livraison de produits de données robustes, évolutifs, sécurisés et prêts pour la production. Expertise technique : Apache Flink et PyFlink. Apache Kafka et Amazon MSK. Architectures événementielles (Event-Driven Architecture). Data Engineering et systèmes temps réel. Architecture microservices. Conception et développement d'API REST et OpenAPI. Java, Python, Scala et SQL. Modélisation des données et gestion des schémas (Avro, Schema Registry). Amazon Web Services (AWS) : Lambda, Kinesis, Managed Flink, ECS, EKS, S3, API Gateway et IAM. DevOps, qualité et exploitation : Mise en place de pipelines CI/CD (GitLab CI, GitHub Actions). Tests automatisés et contrôle de la qualité des développements. Observabilité : CloudWatch, OpenTelemetry, Prometheus et Grafana. Gestion des SLA et support de production. Sécurisation des applications et des flux de données : OAuth2/OIDC, chiffrement et gestion des accès selon le principe du moindre privilège. Leadership et compétences transverses : Leadership technique et conception d'architectures. Revues de code et définition des standards d'ingénierie. Capacité à résoudre des problématiques techniques complexes. Mentorat et accompagnement des équipes. Communication avec les parties prenantes techniques et métiers. Excellente maîtrise de l'anglais, niveau bilingue.

Nous recherchons un Développeur Backend Node.js freelance pour rejoindre une équipe produit en charge d'applications digitales à forte audience. Vous participerez à la conception et au développement de services critiques, d'API et de middlewares permettant de faire le lien entre différentes plateformes et applications. L'un des points forts de la mission sera notamment le développement d'un nouveau BFF. Au sein d'une équipe agile composée de développeurs, d'un Tech Lead, d'un Product Owner et d'un QA, vous contribuerez à la construction de solutions robustes, performantes et évolutives. Vos principales missions : Concevoir et développer des API et services backend en Node.js Participer à l'évolution d'architectures middleware et BFF Développer de nouvelles fonctionnalités dans le respect des standards de qualité de l'équipe Rédiger les documentations techniques et les tests unitaires associés Corriger les anomalies et optimiser les performances des applications Participer aux revues de code et aux choix d'architecture Collaborer avec les équipes produit et techniques dans un environnement agile Une mission longue durée offrant stabilité, visibilité et de véritables enjeux techniques.

Dans le cadre d'une mission pour notre client, nous recherchons un Ingénieur Kafka Senior pour intervenir sur un environnement Core Banking critique, notamment autour des flux de paiements et de virements. L'objectif est de rejoindre un environnement technique complexe dans lequel Kafka occupe une place centrale et interagit avec plusieurs services et composants du SI. Nous recherchons donc quelqu'un qui maîtrise Kafka en profondeur, mais qui est également capable de prendre du recul sur l'architecture existante, comprendre les flux de bout en bout et faire le lien entre les problématiques techniques et les enjeux métier. Vos missions Au quotidien, vous serez notamment amené à : Intervenir en tant qu'expert Kafka sur un environnement complexe et critique. Analyser l'architecture et les flux existants autour de Kafka. Comprendre les dépendances et interactions entre Kafka et les différents services et composants de l'écosystème. Identifier et analyser les problématiques techniques liées aux différents flux. Échanger avec des interlocuteurs aussi bien techniques que fonctionnels afin de comprendre leurs besoins et contraintes. Formaliser de manière claire le fonctionnement de l'environnement et les interactions entre les différentes briques. Produire une documentation technique claire, structurée et exploitable. Présenter et expliquer les analyses et livrables lors des différentes restitutions.

Dans le cadre d'un projet stratégique de transformation et d'intégration de systèmes d'information, nous recherchons un Développeur ETL expérimenté sur Pentaho ou Apache Hop pour renforcer une équipe technique. Vos missions Analyser les besoins et rédiger les spécifications fonctionnelles et techniques. Concevoir, développer et maintenir des flux ETL sous Pentaho / Apache Hop. Réaliser les développements SQL / PL/SQL et les tests unitaires. Effectuer des analyses de données et des extractions spécifiques. Participer à l'industrialisation, au déploiement et à la mise en production des applications. Assurer la fiabilité et l'optimisation des traitements.

Nous recherchons un(e) Consultant(e) DevOps confirmé(e) capable d'intégrer le développement, l'assurance qualité et d'orchestrer les problématiques de scalabilité, d'automatisation et d'industrialisation. Votre devise : "réduire les interventions humaines pour améliorer la qualité et accélérer les livraisons" Vos missions seront : • Accompagner l'intégration et le déploiement continue des solutions (CI/CD) • Améliorer les processus, les automatiser et favoriser la qualité • Orchestrer et résoudre des problématiques de scalabilité, d'automatisation et d'industrialisation • Piloter, organiser et automatiser tous les tests afin de garantir le bon fonctionnement des solutions • Vous inscrire dans une démarche d'amélioration continue et d'agilité Référence de l'offre : ok6hkbl274

Notre client dans le secteur Banque et finance recherche un/une Ingénieur OPS Kafka & Automatisation x2 H/F Description de la mission : Contexte : Dans le cadre de l'équipe Analytics, la création et la maintenance d'architectures analytiques sont réalisées pour les besoins internes de l'entreprise. Les principales technologies supportées sont Kafka et OpenSearch. L'approche est centrée sur l'automation avec l'utilisation des technologies suivantes : REST APIs, Ansible, Git / Gitlab / Bitbucket, Rundeck / JIRA / Artifactory, Développement Python, Kubernetes / Robin. L'objectif de la mission est le renforcement opérationnel de l'équipe Analytics via l'expertise OPS Kafka et l'automation. Responsabilités (Key Responsibilities) : L'assurance du support et de l'implémentation significative sur les technologies mentionnées (avec une priorité forte sur Kafka). La résolution d'incidents. L'investigation sous Linux (Ubuntu/RedHat) pour le diagnostic et la remédiation efficaces. La participation à l'automation (Ansible/Python). Compétences / Qualités indispensables : Kafka, Opensearch, Automation Compétences / Qualités qui seraient un + : APIs REST, Ansible, Git, Artifactory, PythonInformations concernant le télétravail : Oui — 3 jours/semaine

Nous recherchons un expert DBA Apache Cassandra disposant également de compétences SQL, dans le cadre du remplacement d'un consultant. L'objectif est de reprendre rapidement un périmètre existant et d'en assurer la continuité opérationnelle, en garantissant ainsi la stabilité du service pendant la transition. Périmètre d'intervention envisagé : Reprendre l'administration des bases Cassandra et assurer le suivi de l'existant Superviser les bases, diagnostiquer les incidents et contribuer à leur résolution Participer à l'amélioration de la stabilité et des performances Intervenir sur les sujets SQL associés au périmètre.

Nous recherchons un Expert Kafka / Confluent pour accompagner un acteur majeur dans la conception et le déploiement d'une plateforme d'échange de données d'entreprise. Vos missions Concevoir l'architecture et déployer les clusters Kafka / Confluent. Configurer et industrialiser les connecteurs Kafka Connect : JDBC, Debezium PostgreSQL, HDFS… Sécuriser les échanges et mettre en place la gestion des habilitations. Automatiser les déploiements et les opérations d'administration. Optimiser les performances et assurer la supervision de la plateforme. Accompagner les projets de réplication, d'intégration et de migration de flux vers Kafka. Rédiger la documentation technique et assurer le transfert de compétences aux équipes.

Contexte de la mission Dans le cadre du renforcement de ses équipes techniques, notre client recherche un Développeur WebMethods / Kafka confirmé pour intervenir sur des projets d'intégration de données et d'automatisation des processus métiers. Le consultant participera à la conception, au développement et à la maintenance des flux d'intégration, en s'appuyant principalement sur les technologies WebMethods et Kafka. Missions principales Concevoir, développer et maintenir des flux d'intégration avec Software AG WebMethods. Développer et faire évoluer des interfaces entre les différentes applications du système d'information. Mettre en œuvre et gérer les échanges de données avec Apache Kafka. Participer à l'automatisation des processus et des traitements métiers. Assurer la fiabilité, la performance et la disponibilité des flux de données. Analyser et résoudre les incidents liés aux interfaces et aux échanges interapplicatifs. Participer aux phases de tests, de validation et de mise en production. Rédiger et maintenir la documentation technique. Collaborer avec les équipes techniques et fonctionnelles.

Contexte de la mission Dans le cadre de l'évolution d'une plateforme Kafka critique au sein d'un environnement bancaire, nous recherchons un Consultant / Architecte Kafka Senior. La mission porte principalement sur la modernisation de la plateforme, avec une montée de version vers Kafka 8.x et une migration de ZooKeeper vers KRaft. Le consultant interviendra également sur des sujets d'architecture, de sécurité, d'audit et de gouvernance. La plateforme est actuellement déployée sur plusieurs environnements, notamment la production, la préproduction et le staging. Vos principales missions Vous interviendrez comme référent technique Kafka et aurez notamment pour responsabilités de : Auditer l'architecture et les configurations Kafka existantes Définir la version cible et construire la stratégie de migration vers Kafka 8.x Piloter la transition de ZooKeeper vers KRaft Revoir le dimensionnement du cluster et le nombre de nœuds nécessaires Coordonner les différentes parties prenantes impliquées dans la migration Préparer les procédures de bascule, de rolling restart et de rollback Analyser les impacts de la migration sur les applications clientes, notamment les environnements Java et Spring Étudier et mettre en œuvre les exigences de sécurité autour du chiffrement des données au repos et en transit Revoir les mécanismes de droits et d'accès, notamment les ACL et le RBAC Mettre en place une gouvernance claire autour des topics, des logs, du monitoring et du Schema Registry Accompagner les équipes de développement sur leurs problématiques Kafka Formaliser les bonnes pratiques et les procédures d'exploitation Participer à l'amélioration de l'observabilité, de la performance et du capacity planning de la plateforme

Durée prévisionnelle : environ 20 jours Contexte Dans le cadre d'une étude visant à évaluer l'adoption d'Apache NiFi comme solution d'intégration et de traitement de flux de données, nous recherchons un Expert Apache NiFi pour accompagner la réalisation d'un Proof of Concept (POC). L'objectif est d'évaluer, sur un périmètre maîtrisé et représentatif des besoins métiers, les capacités techniques et fonctionnelles de la solution afin d'éclairer les décisions d'architecture et son éventuelle industrialisation. Missions Participer au cadrage du POC Apache NiFi et à la définition des cas d'usage à évaluer Concevoir, installer et configurer un environnement Apache NiFi adapté au POC Développer et tester des flux d'intégration et de traitement de données représentatifs Évaluer les capacités de collecte, transformation, routage et orchestration des flux Analyser les performances, la fiabilité, la sécurité et les possibilités de montée en charge Étudier les capacités d'intégration avec les systèmes et sources de données existants Identifier les contraintes techniques, limites et points de vigilance de la solution Documenter les résultats, formuler des recommandations et présenter les conclusions du POC Contribuer à la définition des conditions nécessaires à une éventuelle industrialisation

Vous interviendrez dans le cadre d'un programme de modernisation du SI qui aura pour objectif de: Exposer les API's du SI, Orchestrer les échanges inter- applicatifs, Gérer les événements métiers, Standardiser les modèles de données, Mutualiser les intégrations à l'international, Garantir la traçabilité et la supervision des échanges. Vos missions consisteront à contribuer: Assurer le développement des composants, Concevoir les flux Java Camel en respectant les patterns transposables dans la Solution dans Webmethods Tester les flux avec le mock Revue de code Participation aux cérémonies Agile Scrum

Tech lead Kafka La mission consiste à : mettre en place un POC – 1 à 2 mois Se positionner en tant que Tech Lead d'une des feature Teams Livrables Phase 1 - PoC exécuté, avec les résultats des tests entrants et sortants. - Comparatif des proxys et du relais. - Rapport de PoC exploitable par l'équipe sécurité. - Passation : documentation et formation d'un successeur. Phase 2 - Projet Java structuré, avec intégration continue opérationnelle. - Règles de version et de montée de version documentées. - Documentation d'architecture et d'exploitation. - Backlog priorisé et équipe en capacité de maintenir le composant.