Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka à Paris

Notre client, acteur majeur du secteur des télécommunications, recherche un profil Développeur JAVA Fullstack pour intervenir sur les applications dans le cadre de la roadmap projet. Mission Cadrage technique des évolutions sur la plateforme de vente Évaluation des charges (en jours de développement) pour chaque évolution/projet Développement des évolutions à partir des JIRA spécifiés Réalisation des tests unitaires Déploiement des applicatifs sur les environnements IPP1 et/ou IPP2 Correction des anomalies remontées par les équipes de recette

Je suis à la recherche pour un de nos clients d'un Chef de projet Data Gouvernance. Bonne maîtrise technique et fonctionnelle des solutions modernes d’intégration de données. Il devra s’assurer de la bonne application des lignes directrices d’implémentation. Il devra assurer le déroulé projet dans le respect des engagements et des livrables, participer à l’élaboration des choix techniques ou d’architecture, orienter les développements pour garantir l’adéquation entre le besoin fonctionnel et les bonnes pratiques du marché en termes d’intégration et de gestion des pivots. Environnement technique basé sur GCP et articulé autour de Kafka

Vous interviendrez au sein de notre équipe en tant qu'ingénieur intégrateur de données autour des solutions modernes. Vos missions consisteront à contribuer à/au (x): Mise en place d'un DATA HUB ainsi qu'au développement, Mise en place des intégrations de données, Assurer le maintien des usecases existants de la Data Plateform: Ingestions, transformation, exposition, Assurer la migration vers le Data Hub, Apporter une expertise et un support technique pour définir et développer les intégrations de données des applications, Pour mener à bien ce projet, vous devrez justifier de: Expertise technique en matière d'intégration de données autour de solutions modernes, Avoir déjà travaillé sur des projets de mise en place de DATA HUB, Etre en capacité de s'appuyer sur le travail fourni par les : data architectes, des centres d’expertise Kafka et API Capacité à offrir des solutions adéquates sur les environnements Cloud GCP. Contexte International: ANGLAIS Lu parlé et écrit, Bonne capacité relationnelle et rédactionnelle Compétences techniques obligatoires : Kafka (KSQLDB, Kafka Stream, Flink) et GCP

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 🤝Description détaillée Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un Développeur c# backend ayant pratiqué les méthodes TDD et BDD. Au sein du département informatique en charge des développements pour le bénéfice de l’ALM Treasury, nous proposons une mission de développement .Net pour contribuer au développement autour de la nouvelle plateforme orientée services (SOA) ayant comme socle Kafka et Cassandra.

Je recherche pour un de mes clients un Data Engineer Python x GCP : Missions principales : • Participer aux analyses, études d’impacts et cadrage techniques • Concevoir des solutions en respectant les bonnes pratiques d’architecture data et développement • Réaliser le développement de nouveaux data products et assurer la maintenance évolutive et corrective des data products existants • Rédiger la documentation technique des data products • Assurer un support aux testeurs • Reporter de ton activité à ta Squad et travailler dans une démarche d’efficacité collective Compétences techniques : • Langages de programmation : Python, Scripts Shell • Modélisation des données : Modèle Physique des Données (MPD), requêtes SQL. • Services de streaming data : Kafka • Services d’ingestion des données : Kafka Connect, SFTP • Services de stockage : GCP BigQuery, Cloud Storage, Kafka, Sharepoint • Processing : Scripts Python, GCP Dataflow, Data Build Tool (DBT) • Restitution : Looker (Dashboards, Explores de données), Fichiers de reporting (CSV, Excel) • Outils de collaboration et de CI/CD : GitLab, Flamingo • Utilisation de plateformes pour le développement et le déploiement : Docker, Kubernetes, Kustomize, Helm, Terraform • Testing : Tests avec DBT, Tests de non-régression, collaboration avec la QA. • Manipulation des formats de fichiers : CSV, JSON, Avro, XM

Notre client, Banque de Finance et d'Investissement, recherche un Développeur / Coordinateur Full Stack Java 5H/F) en finance de marché. Nous recherchons un Développeur Full Stack Senior Java avec des capacités de coordination pour une mission engageante au sein d'une équipe internationale. Vous serez responsable de l'architecture, de la conception et de la livraison de solutions de microservices et de reporting robustes, évolutives et à faible latence. Ce poste joue un rôle clé dans la coordination et la continuité d'exécution entre les régions d'Asie et des Amériques. Responsabilités principales : - Migrer des applications console C/C++ vers Java ou Python. - Analyser et optimiser les pipelines ETL existants pour la performance et la maintenabilité. - Concevoir et implémenter des services de reporting basés sur des microservices, incluant l'extraction et l'enrichissement de données provenant de sources externes (Oracle, PostgreSQL, systèmes de messagerie tels que Kafka, MQ, Pub-Sub, Solace, SFTP, NAS). - Effectuer des transformations complexes de données et des enrichissements. - Publier des données en aval via messagerie en temps réel (Kafka, Pub-Sub, Solace, MQ), SFTP, NAS ou bases de données (Oracle, PostgreSQL). - Développer et maintenir des pipelines CI/CD utilisant Maven, Gradle, Jenkins, Docker, Kubernetes et Ansible. - Assurer la qualité du code, l'évolutivité et la résilience de la charge de travail. - Collaborer avec les analystes métier, les chefs de projets, les architectes et les équipes de support à l'échelle mondiale. - Veiller à la conformité avec les contrôles internes et les exigences réglementaires externes. - Se coordonner à travers les régions pour améliorer l'exécution et la satisfaction des utilisateurs.

Compétences humaines : Autonomie, Adaptabilité, Bonne communication / Pédagogue Force de proposition, Sait challenger les besoins Compétences techniques : Langage : Spark - spark streaming et batch (requis), Kafka (requis) SQL (requis) java (apprécié) shell (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Apprécié : Outil de Data Visualisation : Microstrategy étant un plus (ou connaissance Power Bi, Tableau) Expérimenté (4 à 7 ans) PARIS 12 - ON SITE 3J/SEM

Compétences techniques : Framework Big Data & Langage : Spark - spark streaming et batch (requis), SQL (requis) Kafka (apprécié) java (apprécié) scala (apprécié) shell (apprécié) Ecosystème Big Data : Stack Hadoop Cloudera (fortement apprécié) Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Apprécié : Outil de Data Visualisation : Microstrategy étant un plus (ou connaissance Power Bi, Tableau) Compétences humaines : Requis : Autonomie, Adaptabilité, Bonne communication / Pédagogue / Vulgarisation Data pour des équipes métiers Force de proposition, Sait challenger les besoins et comprend le sens métier des travaux menés 5 à 10 ans d'exp. Paris 12ème 3 jours sur site

🧭 Contexte du poste Dans le cadre d’un projet stratégique au sein d’un acteur majeur des marchés d’investissement , vous rejoignez une équipe d’ingénierie logicielle chargée de concevoir des applications back-end à haute performance pour la gestion de données de marché, l’analyse en temps réel et le traitement d’opérations financières complexes. Vous interviendrez sur une refonte technologique d’applications critiques , en lien avec des problématiques de scalabilité, de résilience et de faible latence, dans un environnement cloud-native et DevOps . 🚀 Vos missions Concevoir, développer et optimiser des services backend en Java / Spring Boot , dans une logique de performance et de résilience. Développer des systèmes distribués pour le traitement en temps réel de données de marché et d’analyses financières. Exploiter les services cloud (GCP, AWS ou Azure) : serverless, messaging, stockage, monitoring, etc. Participer aux décisions d’architecture, à la mise en œuvre CI/CD, à l’automatisation et à l’observabilité des systèmes. Collaborer avec des équipes pluridisciplinaires (Dev, Ops, Data, Finance). Assurer le support applicatif niveau 3 et contribuer à l’amélioration continue. Accompagner les profils plus juniors et diffuser les bonnes pratiques.

Contexte client Notre client, une scale-up SaaS spécialisée dans la data marketing (CDP – Customer Data Platform), traite plus d'1 milliard d’événements par jour pour des clients grands comptes. Dans le cadre d’un projet de densification de son infrastructure, il a migré vers Kubernetes et Apache Pulsar (34 000 topics) pour remplacer Kafka. Objectif de la mission Mener un audit technique et animer des ateliers pratiques afin de : Valider les choix d’architecture Kubernetes/Pulsar Anticiper les risques liés à la volumétrie (scaling, mémoire, monitoring) Partager les bonnes pratiques de mise en production Attente forte sur les aspects concrets : pas de théorie, 80 % d’ateliers, 20 % de restitution

Le domaine d’intervention du Tech Lead Data Engineering comprend les études, l’architecture du SI Big Data, le choix des solutions et outils, le pilotage technique du Build et du Run. Comme référent technique Big Data, vous assurez le lead technique de l’équipe de développeurs, avec en responsabilité, la conception et la mise en œuvre des solutions XXXX Big Data, ainsi que le pilotage technique de projets. Sous la responsabilité du responsable du SI Big Data, vous piloterez techniquement les activités de Data Engineering : · étude et prise en compte des besoins de traitement de la data, · gestion des priorités et de la cohérence des besoins, · choix des outils et solutions · conception et mise en œuvre des architectures de données évolutives et performantes, sécurisées et résilientes · direction et encadrement technique d’une équipe de data ingénieurs composée d’intervenants externes : suivi, support, adoption des bonnes pratiques de développement sécurisé · suivi de la qualité, de la sécurité des données et des traitements, de la performance opérationnelle des traitements · participation et support au delivery nécessitant l’expertise technique et data · veille technologique pour rester à l’état de l’art en matière de traitement massif des données, et d’utilisation de l’IA pour l’automatisation, la prédiction, la génération de data et de code. · support des équipes Data Science et R&D sur le cycle de déploiement/optimisation et industrialisation des solutions d’IA · conception et mise en place d'API pour l'intégration des solutions Big Data avec d'autres systèmes, · développement et intégration de modèles d'IA générative pour des applications spécifiques, · assurer la maintenance et l'évolution des API et des modèles d'IA générative. FORMATION / EXPERIENCE : Bac+5 avec une expérience avérée en tant que Tech Lead Data Engineering COMPETENCES REQUISES / QUALITES REQUISES Savoir Faire : Maîtrise des technologies du Big Data telles que Hadoop, Spark, Hive/Impala, Kafka Excellentes compétences en programmation, maitrisant des langages tels que : Python, Scala ou Java, Capacité à résoudre des problématiques complexes avec un esprit de synthèse et une pensée analytique Bonne expérience dans la conception et la mise en œuvre de pipelines de données fiables et scalables, en utilisant des frameworks tels que Spark, Oozie, Airflow … Bonnes compétences en mathématiques et statistiques Connaissances monétiques Savoir Être : Aptitudes à la communication, tant écrite qu'orale, formalisation et partage des concepts techniques complexes de manière claire et concise Esprit critique et capacité d’analyse pour remettre en question et améliorer les solutions existantes. Travail en équipe, réactivité et esprit d’initiative INFORMATIONS COMPLEMENTAIRES : Anglais Début de mission : ASAP Durée de la mission : minimum 1 an

Conduite : SCADA Local, Passerelle de communication Maintenance : Management System Local & distant (Configuration & Mise à jour) Cybersécurité : IAM, Sauvegarde / restauration, Sondes réseau NIDS, Syslog… Compétences Requises Techniques Compétences obligatoires : o Architecture logicielle, C++, Linux, Virtualisation VM & Conteneurs, SGBD, Systèmes de messageries applicatives (Kafka, RabbitM…), API REST, gRPC o Annuaires LDAP, Sondes NIDS, Syslog, Stockage SAN & S3 o Outils de modélisation : UML, Archimate o Gestion de version : Git, SVN Compétences facultatives : Java, QT Widget & QML Connaissance des métiers de l’électricité (Systèmes de Contrôle-Commande de Postes électriques) Norme IEC 61850, IEC 60870-5-104 Transversales • Analyse et résolution de problèmes : Capacité à identifier les défis techniques complexes et à proposer des solutions innovantes et efficaces. Gestion de projet : Avec l’aide du chef de projet, vous participerez à la planification, la coordination et le suivi de projets techniques. Communication : Excellentes compétences écrites et orales. Capacité à communiquer avec des interlocuteurs variés (techniques et non techniques) et à vulgariser des concepts complexes.

PROPULSE IT recherche un Lead Data Ingénieur ayant près de 10 ans d'expérience pour un de ses clients En tant que Lead Data Engineer, vous travaillerez au sein de l'équipe digitale « data et performance », en charge principalement de l'infrastructure data, et du traitement, de l'intégration et de la transformation de la donnée digitale d'Hermès (hermes.com). Vous serez aussi garant·e de sa qualité et sa sécurité et le respect de la vie privée liée à cette donnée. Vous serez rattaché·e au Data Manager et vous animez et pilotez une équipe de 2 Data Engineer au quotidien. Vous travaillerez principalement sur le Cloud de Google (GCP), mais aussi en partie sur le Cloud Amazon (AWS). Le respect de la vie privée étant au cœur de de votre travail, vous devrez être conscient des problématiques liées à la GDPR. Des connaissances sur les problématiques liées à l'e-Commerce sont un plus. Principales Activités : Industrialisation de l'infrastructure de la Data Platform sous GCP - Vous avez pour principale mission d'accompagner l'équipe Data et Performance dans l'industrialisation de sa plateforme data via : - Mise en place d'environnements dédiés et cloisonnés (Dev / Preprod / Production) - L'automatisation du déploiement et la maintenance des environnements via des outils d'infrastructure as code (Terraform) sous GCP - Mise en place de solutions d'observabilités (monitoring, alerting) au sein de GCP Manipulation/Transformation de données (en batch et stream) - Vous accompagnerez aussi l'équipe Data dans ses activités de transformation de données via : - Maintenance pipelines de données en python (batch et stream) - Des pipelines de transformation en SQL/SQLX dans l'outil DataForm (similaire à DBT) - Mise en place et maintenance d'un outil de data quality (ex : great expectations en python) - Aider au développement des workers dans les Cloud AWS pour récupérer la donnée depuis Kafka et l'envoyer vers PubSub dans GCP. - La connaissance de l'outil DataFlow (Apache Beam) est un plus. Collaboration avec les équipes du pole, centrée sur la donnée de qualité - Standardisation de la base de code de l'équipe (linting, CI/CD, divers tests - Maintien et réalisation de schémas d'architectures et documentation des processus internes - Collaboration avec les autres équipes du pôle Data : data analysts, SEO/SEA et emailing - Aider à la mise en place de bonnes pratiques : - Anonymisation et archivage de la donnée dans le respect du RGPD et de la politique interne du traitement de données - Sécurité de l'infra, de la data et du code

CONTEXTE Expérience : 4 ans et plus Métiers Fonctions : Etudes & Développement, Développeur Fullstack Spécialités technologiques : Fullstack MISSIONS Pour un client dans le secteur du transport, nous sommes actuellement à la recherche d'un développeur Full Stack à dominante Back NodeJS/NestJS et Front ReactJS. Vous interviendrez sur une application qui permet d’authentifier les utilisateurs pour la consommation des services proposés qui répondent à plusieurs enjeux : • Connexion et sécurité • Expérience Client au niveau du marché • Confidentialité, confiance numérique • Simplicité d’usage interne Les principales technologies utilisées par l'application sont NodeJS et React JS, mais pour sa gestion d’identité et d’accès l'application a fait le choix d’utiliser le logiciel KeyCloak. Principales activités - Analyser, concevoir et développer les parties de son périmètre. - Participer à la mise en place des bonnes pratiques, à la définition du cadre et des règles de développement avec l’équipe. - S’assurer de la qualité de son code grâce à des outils d’analyse de code automatique - S’assurer de la bonne application des règles dans GIT et Gitflow - Partie prenante dans la mise en place des différents tests liés à la technologie (unitaires, techniques, fonctionnels, performance, sécurité) - Maintien de la documentation - Interagir avec les PO/Scum/Lead Dev/Tech Lead/Architecte pour comprendre et apporter des solutions - Assurer la maintenance des produits livrés (demandes d’évolution, anomalies) - Veille technologique - Utilisation des outils du projet (Jira, Teams, Confluence…) Expertise souhaitée - Expertise Back JS : 5 ans dont au moins 2 ans en NestJS - Expertise Front JS : 5 ans dont au moins 2 ans en ReactJS - Expériences en développement d’UX accessibles - Sensibilité usage (UX), Mobile First, responsive - Connaissance des technologies front-End en HTML5/CSS3 (SASS) - Grande sensibilité à la performance côté client, la maintenabilité et à la qualité du produit final. - Culture DevOps : familier avec les outils de déploiement continu tels que Jenkins, à l’aise avec l’utilisation de Docker. - Etre familier de la programmation fonctionnelle, des solutions micro-services et des architectures et formats de données associés (API REST, JSON, etc). - Etre familier avec l’utilisation et modélisation de bases de données relationnelles et NoSQL (couchbase serait un +) - Etre familier des architectures intégrées par les services (API Management, Echanges Asynchrones, …). - Être familier des architectures applicatives web scalables/clusterisables/stateless. - Connaissance des méthodes de développement AGILE (Scrum) Environnement technique : • Runtime : Java, NodeJS • Data : Couchbase, MySQL • Monitoring Business : Kafka, stack ELK • Frontend : ReactJS, • Standards web : RFC HTTP, API design style REST Full, • Langages : Javacsript, TypeScript • Technologies : Maven, kubernetes ou Openshift • Méthodes : BDD, TDD, Scrum • Frameworks JS : Express, ReactJS, NestJS, Loopback • Frameworks API : API Blueprint, Swagger • Contrôle de version : GitLab, Git • Intégration continue : Jenkins, Gitlab CII • Formats : JSON, YAML • Framework d’Autorisation : OAuth2, Open ID Connect, JWT

Dans le cadre d’un vaste programme de transformation digitale, CBX Group accompagne l’un de ses clients dans la mise en place d’une plateforme Data Big Data . Nous recherchons plusieurs Data Engineers expérimentés pour renforcer les équipes en charge du design et développement de traitements batch & stream , avec exposition des données via API & BI. 🎯 Vos missions : Analyser les besoins métiers avec les Product Owners Développer des pipelines en Spark SQL & Java Spark Concevoir les traitements de données temps réel (Kafka, Mongo…) Documenter dans Confluence, assurer support & maintenance Optimiser et tunner des traitements Spark Participer au design des usages bigdata avec le métier et les PO Participer aux rituels agiles de la squad (Scrum) 💡 Profil recherché : Diplômé·e en informatique (bac+5) 5 ans d'expérience minimum en environnement Big Data Maîtrise de Spark Java, Spring Boot, CI/CD Bonne compréhension des architectures microservices & API REST Anglais pro et excellent français 🧰 Stack technique : Cloudera / MAPR, Java 11/17/21, Spark 2 / 3 , Spring Boot, Kafka, MongoDB, Jenkins, Kubernetes, ArgoCD, Sonar… ✅ Cadre de la mission : Hybride ( 50% TT) Rémunération selon le profil Durée : 3 ans Démarrage : ASAP 📩 Postule ici via notre formulaire : 📧Une question ? Écris-nous sur

Objectifs et livrables Nous recherchons un Consultant Développeur Observability hautement qualifié pour concevoir et mettre en œuvre une solution d’observabilité de bout en bout permettant de suivre le cycle de vie des objets métier critiques (par exemple, stocks, clients, commandes) à travers plusieurs systèmes. L’objectif est de s’assurer que toute perte ou incohérence de données survenant dans la chaîne de propagation soit détectée et signalée de manière proactive, avant qu’elle n’impacte le business. Vous travaillerez en étroite collaboration avec les équipes d’ingénierie et d’exploitation pour : construire des workloads de monitoring sur mesure, développer la logique de transformation, renforcer notre infrastructure d’observabilité utilisant la stack ELK, Kubernetes et des scripts personnalisés. Responsabilités principales Concevoir et mettre en place un monitoring de bout en bout pour les objets métier critiques au sein de systèmes distribués. Développer des collecteurs de données personnalisés et des jobs de transformation en utilisant JavaScript et les pivots Elasticsearch. Construire et maintenir des pipelines Logstash pour l’ingestion et le traitement des logs provenant de divers systèmes. Écrire des scripts afin d’automatiser le provisionnement et la configuration des ressources dans Elasticsearch. Collaborer avec les équipes DevOps et développement pour intégrer l’observabilité dans les pipelines CI/CD. Compétences requises Solide expérience sur la stack ELK (Elasticsearch, Logstash, Kibana). Maîtrise de JavaScript pour les tâches de scripting et de transformation de données. Bonne compréhension de Kubernetes et des workloads containerisés. Expérience en modélisation et transformation de données sous Elasticsearch (pivots, agrégations). Familiarité avec les stratégies de collecte de logs et l’intégration entre systèmes. Capacité à travailler de manière autonome et à communiquer efficacement avec des équipes transverses. Connaissances de base de Kafka et des principes cloud native. Serait un plus Expérience avec Node.js pour développer des services de traitement de données à grande échelle. Familiarité avec des outils de monitoring tels que Prometheus, Grafana ou OpenTelemetry. Connaissance des pipelines CI/CD et des outils d’infrastructure-as-code.