Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka

La mission consiste à : - Mise à jour de l'architecture et travaux de conception - Rédaction des documentations techniques, étude des US - Développement de nouvelles fonctionnalités/features/APIs - Analyse et amélioration des performances du SI - Revue de code et accompagnement des membres de l'équipe - Missions basées en métropole lilloise avec présence sur site obligatoire 3j/semaine Compétences demandées : - Min. 3 ans d'expérience en développement (hors stage et alternance) - Java 17+, SpringBoot, VueJS ou ReactJS ou Angular, Javascript, API, Kafka, BDD relationnelles et non relationnelles... - Intégration continue - Culture Devops, connaissances Docker et Kubernetes - Environnement GCP - Maîtrise et pratique de l'Agile - Anglais un +

Dans le cadre d'un programme stratégique de transformation Data, notre client renforce son équipe avec un(e) Lead Data Engineer spécialisé(e) sur l'écosystème Databricks. L'objectif est d'accompagner la mise en place d'une nouvelle plateforme de données moderne, capable de répondre aux enjeux de performance, de gouvernance, de qualité et de valorisation de la donnée. Vous interviendrez sur des projets structurants autour de l'industrialisation des flux de données, de la modélisation des référentiels analytiques et de la diffusion des données vers les outils décisionnels. Vos missions: Concevoir, développer et industrialiser des pipelines de données sur Databricks et Spark. Participer à la définition et à la mise en œuvre du modèle de données cible. Structurer les flux de données afin de garantir leur qualité, leur cohérence et leur performance. Contribuer à l'exposition et à la valorisation des données auprès des équipes BI et des utilisateurs métiers. Définir et mettre en place les standards de développement, de qualité et d'industrialisation. Mettre en œuvre les pratiques de tests automatisés et les processus CI/CD. Participer aux travaux de migration et de transformation de la plateforme Data. Accompagner les équipes sur les sujets techniques liés à Databricks et aux architectures Lakehouse. Contribuer à l'amélioration continue des solutions et des méthodes de travail. Assurer un rôle de référent technique sur les problématiques Data Engineering.

Plateforme On-Premise & Cloud Synthèse de la Mission : Rôle : Ingénieur Data Senior (> 7 ans d'expérience) Localisation : Paris ou Rennes (3 jours/semaine sur site, 2 jours en télétravail) TJM Max : 770 € / jour Date de démarrage : ASAP Durée : 5 à 6 mois (jusqu'au 27/11/2026) Contexte & Objectif de la Mission : Au sein d'un grand groupe média, l'objectif principal est de concevoir et construire le MVP d'une plateforme Data On-Premise basée sur des technologies Open Source. La plateforme permettra de : Gérer les transformations de données On-Premise et alimenter un Data Lake local. Servir de plateforme d'ingestion pour le Big Data sur GCP (Cloud Public). Faciliter la transition du mode Batch vers le Streaming (Temps réel). Valider la faisabilité de migration de flux ETL legacy (OpenText / Genio). Responsabilités & Missions Principales : Conception & Déploiement du MVP : Architecturer et intégrer la plateforme sur un socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Installer et configurer la stack Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Validation Technique & Cas d'Usage : Migrer quelques flux ETL clés pour valider la valeur de la plateforme. Déployer des pipelines streaming (Kafka + Spark Structured Streaming). Mettre en place l'alimentation du Data Lake (Iceberg + Trino) et assurer l'interopérabilité avec GCP. Collaboration & Documentation : Travailler en synergie avec les équipes Data/IA et DevOps/Infra. Documenter l'architecture, les choix techniques et transmettre les compétences aux équipes internes.

Secteur d'activite : services numeriques pour grand groupe international (secteur informatique et technologies) Contexte et environnement : Au sein d'une equipe applicative, vous intervenez sur la gestion et le maintien en conditions operationnelles d'un patrimoine d'applications metier en environnement UNIX/Linux. Missions principales : - Receptionner, installer et configurer les livrables applicatifs en environnement UNIX/Linux, en suivant les documentations associees - Effectuer les tests de recette applicative - Analyser les dossiers d'architecture solution et technique - Apporter une expertise fonctionnelle et technique sur les patrimoines applicatifs geres - Suivre les phases de recette et participer a l'analyse des anomalies detectees lors des phases avales et en production, avant retransmission au prestataire en charge du developpement - Rediger les cahiers des charges pour les tests de performance et le recueil des actions necessaires a la preparation des mises en production - Maintenir a jour la documentation du patrimoine applicatif Environnement technique : UML, Java, SQL, Kibana, Kafka, Tuxedo, scripting Shell sous UNIX/Linux Type de projet et methode de travail : Mission d'assistance technique au sein d'une equipe en charge du suivi et de la maintenance applicative, en interaction avec des prestataires externes en tierce maintenance applicative ou en prestation forfaitaire Livrables attendus : - Cahiers des charges pour les tests de performance - Documentation du patrimoine applicatif a jour - Rapports d'analyse d'anomalies en phases de recette et de production

Embarque dans l'aventure SWOOD Partners ! 🌟 Nous sommes à la recherche d'un(e) Développeur(se) backendJava, prêt(e) à fusionner expertise technique, créativité et esprit d'équipe pour concevoir des solutions innovantes et impactantes. Si le développement Java te passionne, que tu apprécies les défis, travailler avec des équipes dynamiques et que tu souhaites vraiment faire la différence, la communauté tech de SWOOD n'attend que toi ! 🚀 Concrètement, tu seras amené à : Coconstruire l'offre Web Java : Contribuer activement à l'élaboration et à l'amélioration de l'offre de la practice Web sur la techno Java. Définir de solutions techniques : Analyser les besoins métiers, proposer et mettre en œuvre des solutions techniques détaillées. Accompagner et former des développeurs : Guider et accompagner des développeurs pour optimiser les performances et la sécurité des solutions. Proposer un code de qualité : Produire du code respectant les bonnes pratiques, conventions et standards de développement, ainsi que les tests associés. Pourquoi nous rejoindre ? 🤩 ✨ Accès à la propriété : chaque Swoodies peut acheter des actions chez SWOOD ! Faire partie et évoluer dans la Communauté développement Web, pour apprendre et partager avec d'autres experts. Un accompagnement au top : un suivi RH, un suivi BM et un suivi PL (un expert design ou produit) pour construire un plan d'évolution personnalisé. ⚡ On valorise ton impact, pas juste ta rentabilité. Des moments de partage, de fun et de best practices avec tous les Swoodies ! ➕ Et plus encore… Prêt(e) à transformer l'avenir avec nous ? 💡 Alors capitalise sur ton talent ! Et prends part (au sens propre comme au figuré 😏) au développement de SWOOD Partners !

La mission consiste à : Gestion des évolutions Déploiement et validation des changements applicatifs, d'infrastructure et de sécurité sur les environnements de test (Staging/UAT) puis en production. Automatisation & outillage Conception des scripts et des solutions d'automatisation des interventions récurrentes. Mise en place des outils facilitant le support et l'évolution de l'application. Monitoring Mettre en place ou améliorer le monitoring applicatif sous Dynatrace (définition de métriques, alertes, dashboards). Documentation Rédaction et maintenance de la documentation fonctionnelle et technique (procédures d'exploitation, run-books, guides d'incident). Support technique Assurer le support quotidien au sein d'une organisation répartie sur Mumbai, Paris, portugal & UK. Gestion des incidents (Service Mgt - ITIL) Élaboration, suivie et mise en œuvre des plans d'action préventifs pour éviter la réapparition des dysfonctionnements. Communiquer quotidiennement sur l'état de la production applicative. Opérations exceptionnelles Intervention lors des tests de reprise (DRP/PRA), des mises en production majeures et des migrations d'infrastructure planifiées le week-end. Points forts à mettre en avant dans la réponse : Communication et Service management (Incident, problèmes et changements) + Jira pour les actions de support de production. Notions du chainage CI/CD via un pipeline DevOps complet. Notions en Python et scripting Bash Notions sql et BD Experience dans un envirobnnement big data Approche orientée automatisation visant à réduire les interventions manuelles et à optimiser le coût de support.

Contexte de la mission Au cœur de notre transformation technologique, nous accélérons le décommissionnement de notre stack legacy développée en PHP qui met à disposition les services nécessaires à la seconde vie. Nous recherchons un Chef de Projet Technique pour piloter ce décommissionnement de bout en bout. L'objectif est double : permettre au Product Manager de se concentrer sur la valeur produit, et orchestrer le transfert de responsabilité de certaines fonctionnalités (gestion de stock, de prix, etc.) vers les équipes produits adéquates, tout en finalisant l'intégration des composants cibles chez nous sur notre stack Java. Objectifs et livrables Responsabilités Vous prenez la responsabilité globale du cycle de vie de ce projet de migration. Vos missions s'articuleront autour des axes suivants : Cadrage et planification du projet : Auditer et cerner précisément le périmètre de la stack PHP actuelle. Cartographier les adhérences et planifier la feuille de route globale de décommissionnement. Pilotage et suivi de l'exécution : Piloter la migration au quotidien, suivre l'avancement des développements Java et s'assurer du respect des jalons et des livrables. Gestion des risques, des périmètres et des alertes : Identifier de manière proactive les risques techniques (coupures de flux, régressions, capacitif), gérer les changements de périmètre et résoudre efficacement les points de blocage. Accompagnement et conduite du changement : Accompagner la transition technologique et organiser le transfert de responsabilité des fonctionnalités concernées vers les bonnes équipes produit cibles. Gouvernance et alignement des parties prenantes : Structurer et animer les comités de projet (Coproj) et comités de pilotage (Copil) pour acter les décisions clés. Assurer une communication transparente et régulière sur l'avancement auprès du management et des équipes transverses. Clôture et finalisation du projet : Assurer l'extinction définitive et sécurisée de la stack PHP, documenter les nouveaux flux et valider le transfert complet de compétences.

Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum

Contexte de la mission : ● Garant de l'homogénéité et de la performance de l'écosystème Data, le Data Office de mon client fixe les orientations stratégiques et assure l'ensemble des missions de conception, construction, supervision et exploitation. ● Au sein de Services Delivery Data, l'équipe Data OPS, composée d'intégrateurs et d'exploitants, pilote l'harmonisation des méthodes d'exploitation, le déploiement continu ainsi que l'industrialisation des Référentiels Data. LocalisationMission basée àNiort, France Modalité de réalisationEn présentiel

Je cherche pour un de mes client un développement DEVOPS & Backend (K8s/GCP/java) sur Meudon (92) Démarrage : ASAP Contexte de la mission vous serez intégré(e) à l'équipe Développement service acces. Le projet consiste à concevoir et opérer une plateforme temps réel traitant +300 messages/seconde sur GCP, basée sur Kubernetes, Kafka et des microservices Java. Objectifs et livrables Infrastructure & Platform Engineering (50%) Concevoir et maintenir les clusters GKE Opérer la plateforme Kafka (partitioning, consumer groups) Implémenter l'Infrastructure as Code (Terraform, Helm, Ansible) Mettre en place l'observabilité (métriques, alerting) Gérer la sécurité (Workload Identity, Network Policies, Secret Management) Construire et optimiser les pipelines CI/CD Développement Backend Java (30%) Développer des microservices haute performance (Spring Boot, Angular si nécessaire) Optimiser le traitement des flux Kafka Études tes transverses (20%)echniqu Benchmarks de performance (k6, charge testing) Études de dimensionnement et capacity planning Documentation d'architecture (ADR)

Application Developer – Microservices oriented Strong expertise in C# and .NET Framework/.NET Core Experience with microservices architecture and containerization Experience with Event Sourcing, CQRS patterns and Event Driven Architecture (Azure Event Hub / Kafka) Experience with Azure cloud platform Advanced knowledge of SQL Server, including performance tuning and stored procedures Experience with NoSQL databases (Azure Cosmos DB or similar) Experience with unit testing to ensure high code quality Proficiency in Git for version control and collaboration Experience with CICD pipelines (preferred) Experience with Elastic Search suite (Elasticsearch, Kibana, Logstash) or similar is a plus (preferred) Experience with IBM IIB (Enterprise Service Bus) or similar integration tools is a plus (preferred) Experience with Enterprise Scheduler tool (Automic or similar) is a plus Développeur d'Applications – Orienté Microservices Excellente maîtrise de C# et du .NET Framework /.NET Core. Expérience des architectures microservices et de la conteneurisation. Expérience des modèles Event Sourcing, CQRS (Command Query Responsibility Segregation) et des architectures événementielles (Event-Driven Architecture) avec Azure Event Hub ou Kafka. Expérience de la plateforme cloud Microsoft Azure. Connaissance approfondie de SQL Server, notamment en matière d'optimisation des performances et de développement de procédures stockées. Expérience des bases de données NoSQL (telles qu'Azure Cosmos DB ou équivalent). Expérience des tests unitaires afin de garantir une haute qualité du code. Maîtrise de Git pour le contrôle de version et le travail collaboratif. Expérience de la mise en place et de la gestion de pipelines CI/CD (Intégration Continue / Déploiement Continu). Atouts supplémentaires (préférés) : Expérience avec la suite Elastic (Elasticsearch, Kibana, Logstash) ou des outils similaires. Expérience avec IBM IIB (Integration Bus), ESB (Enterprise Service Bus) ou des outils d'intégration équivalents. Expérience avec un outil d'ordonnancement d'entreprise tel qu'Automic ou une solution similaire.

La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d'ingénieur, école d'informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Contexte : Mission de développement/architecture dans le marché secondaire EQD. Intégration au sein d'une équipe d'environ 20 personnes, composée de BA et de développeurs. Participation aux travaux priorisés pour répondre aux besoins du business. Capacités en architecture : la mission ne se limite pas à produire du code, mais inclut une participation avec le reste de l'équipe à la mise en place des architectures de demain, en insufflant les principes nécessaires pour bâtir des écosystèmes pérennes, efficaces, et répondant aux besoins exprimés par le métier. Intégration d'une équipe avec un bon niveau d'implication. Participation dans les initiatives traitées par le groupe. Missions :Conception et mise en œuvre des architectures de production pour les nouveaux projets Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour sur l'intégralité de la plateforme Design et implémentation de scripts pour les besoins du DEV, en support des ingénieurs OPS affectés aux projets Agiles Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning) Pilotage de la mise à niveau des infrastructures et gestion des impacts Mise en œuvre des bonnes pratiques DevOps et intégration continue : installation, configuration et divers paramétrages Alimentation du backlog des services de production (CI/CD, Continuous Operation, Time2fix, ...) en complément des informations collectées auprès des ingénieurs OPS Développement et recette des livrables Mise en place / design des architectures Participation aux livraisons Support niveau 3

CONTEXTE Le domaine C2DP – Référentiels est en charge des référentiels groupe (Référentiel Personnes, Référentiel géographique…) ainsi que des produits data personne et équipement hébergés au sein du DataHub. Le projet « Plateformisation – Mise en place du Référentiel Personnes RPG » consiste à réaliser les développements et paramétrages autour de la solution IDMC d'Informatica, en couvrant également les technologies API & Kafka. Le RPG, nouveau référentiel personne du groupe, est interfacé avec le CRM Salesforce et propage les informations clients à l'ensemble des systèmes contrats du SI. Le projet est conduit en mode agile : équipe Scrum au sein d'un train SAFe. RÔLE ET RESPONSABILITÉS PRINCIPALES Garant d'un haut niveau de performance des solutions opérées Participation aux travaux d'architecture et réception/analyse des besoins pour la conception générale Réalisation des estimations de charge en phase de cadrage et des études d'impacts Suivi des livraisons et orientation des tests de performance Réalisation des développements et tests unitaires Maintien en condition opérationnelle : intégrité, sécurité, cohérence applicative, montées de version, veille technologique Contribution à l'industrialisation du monitoring et à la qualité de service de la plateforme Expertise et support auprès de l'équipe de développement ; relations avec les éditeurs (Informatica…) LIVRABLES ATTENDUS Dossiers d'industrialisation / exploitation Estimations de charge (phase de cadrage) Études d'impacts Tests unitaires et résultats de tests de performance Rédaction de documentation technique liée aux développements IDMC / API / Kafka