Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

🏭 Secteurs stratégiques : Banque d'investissement 🗓 Démarrage : ASAP PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 💡Objectif global : Expert kafka 💡Description détaillée Le contexte de la mission : Dans le cadre de l'équipe Data Analytic , nous créons et maintenons des architectures Big Data pour les besoins internes de l'entreprise. Pour renforcer notre équipe support, nous proposons une mission de DATA ENGINEERING sur KAFKA 💡Responsabilités principales : Mise en œuvre son expertise sur Kafka Support, automatisation et maintien en conditions opérationnelles des plateformes Kafka Participation aux développement de l'équipe data Analytics et projet Topic As a Service Support plateforme WWW 💡Compétences communication Environnement anglophone

Pour un démarrage sous un mois environ, nous recherchons un(e) intégrateur technique d'application freelance très expérimenté pour intégrer les application web chez notre client, en lien avec la production et les équipes de développement. Très Important : le profil recherché n'est pas un ingénieur de production qui gère des procédures d'intégration applicative mais un consultant habitué à être intercalé entre les équipes de développements et la production et qui prépare les documents d'installation. de plus il doit être expert et parfaitement autonome avec beaucoup d'expérience sur Tomcat / Apache. Pas de Devops dans le périmètre. Astreintes possibles soir et week-end - répartition selon l'équipe Livrables sont : - Dossier d'installation - Composants applicatifs -Configuration applicative Description détaillée - Capable de configurer/installer tomcat manuellement sur windows ou linux - Capable d'analyser les logs tomcat en cas d'erreur - Capable de configurer/installer manuellement un serveur httpd - Capable d'analyser les logs httpd en cas d'erreur - Savoir évoluer dans un environnement linux - Récupération des livrables de développement sur les outils de Gestion de configuration (SVN, GIT) - Installation des packages sur les plateformes de tests - Qualification des packages sur les plateformes de tests selon les normes en vigueur - Vérification de la conformité des applications vis à vis des contraintes de production - Rédaction et validation des documents d'installation et d'exploitation - Rédaction et exécution des plans de tests techniques - Assistance et support technique à la mise en production - Communication avec l'équipe projet - Reporting

Dans le cadre d'un renfort d'équipe chez l'un de nos clients : Nous recherchons un consultant Data / BI / Dataviz avec une expertise sur "Apache Superset" Missions principales : Configuration de dashboards superset : Création de dashboards dynamiques et interactifs pour répondre aux besoins spécifiques de l'entreprise Intégration de données provenant de différentes sources Mise en forme des données pour une visualisation claire et efficace Développement de plugins : Création de plugins personnalisés pour étendre les fonctionnalités de Superset Intégration de nouvelles sources de données Automatisation des tâches de reporting Informations complémentaires : Type de contrat : Prestation de service Début de mission : Immédiat Lieu de travail : Castres / Full Remote

Je recherche un Ingénieur DevOps ayant une Expertise sur Apache Camel confirmé pour piloter la migration de flux TIBCO vers une architecture d'intégration moderne, cloud-native et résiliente. Une mission technique de premier plan, au cœur des architectures événementielles et des systèmes critiques. 🎯 Vos missionsMigration & développement Analyser, réécrire et qualifier les flux existants dans le cadre de la migration TIBCO → Apache Camel Développer et maintenir des routes Camel complexes en Java DSL et YAML DSL : CBR, EIP, Dead Letter Channel, Retry, Circuit Breaker Concevoir des Kamelets réutilisables et des catalogues de composants d'intégration partagés Mettre en œuvre des pipelines d'orchestration multi-étapes avec gestion des transactions distribuées et rollbacks Implémenter des mécanismes d'idempotence garantissant une livraison exactly-once des flux critiques Transformation & intégration Réaliser des transformations avancées : XSLT, JSONata, Velocity, marshalling/unmarshalling (JAXB, Jackson) Développer des services backend Spring Boot exposant des API REST Intégrer des systèmes de messagerie événementiels (Kafka, IBM MQ) Cloud, CI/CD & qualité Déployer et exploiter sur infrastructure cloud-native selon les principes d'Infrastructure as Code (Terraform, Helm, GitOps — ArgoCD/Flux) Contribuer aux pipelines CI/CD GitLab et aux déploiements multi-environnements Mettre en place des tests d'intégration (CamelTestSupport, TestContainers) Participer à l'observabilité des flux : métriques Micrometer, supervision des routes 🛠️ Compétences requisesDomaineCompétences Intégration Apache Camel expert (Java/YAML DSL, EIP, Kamelets) — 5 ans+ d'expérience Migration Expérience confirmée TIBCO (BusinessWorks, EMS) Backend Spring Boot 3.x, Java 17/21 Cloud & Infra Cloud-native, Terraform, Ansible, GitOps (ArgoCD/Flux) Messagerie Kafka, architectures événementielles Data XML, XSD, XSLT avancé Patterns CBR, Aggregator, Splitter, Idempotent Consumer, Dead Letter Channel Qualité CamelTestSupport, TestContainers Observabilité OpenTelemetry, Micrometer Données Oracle (SQL, schémas, transactions) Build & CI/CD Maven multi-modules, GitLab CI/CD Langue Anglais obligatoire ⭐ Compétences appréciéesExpérience approfondie de migration TIBCO → Apache Camel IaC avancé : gestion de pipelines, versioning, drift detection Connaissance des normes ISO 20022 Expérience en environnements critiques ou réglementés (banque, assurance) IBM MQ ou middleware équivalent, CFT Groovy / JSONata (transformations avancées) Hawtio / Kaoto 👤 Profil recherchéExpérience solide en intégration, middleware ou développement backend Expertise avérée en EIP, conception de routes complexes et gestion de gros volumes Expérience confirmée sur des projets de migration TIBCO (BusinessWorks, EMS, ActiveMatrix...) Bonne compréhension des architectures distribuées, EDA et modèles de résilience 🔧 Enjeux transverses de la missionConnectivité : interopérabilité multi-protocoles (HTTP, JMS, CFT), sécurisation TLS/mTLS/OAuth2/JWT Performance : optimisation latence/débit/mémoire, tests de charge (JMeter, Gatling), tuning JVM/GC Fiabilité : retry, circuit breaker, fallback, dead letter, pilotage des SLO/SLA Observabilité : Micrometer, OpenTelemetry, dashboards Grafana/Prometheus, alerting Scalabilité : routes stateless, autoscaling Kubernetes, backpressure, throttling

La mission consiste à intervenir en tant que profil expert Java / architecture applicative dans le cadre d'un projet stratégique visant à concevoir, implémenter et héberger plusieurs composants d'une plateforme de gestion. Le consultant contribuera notamment à la conception et au développement du composant de règlement de la plateforme, tout en veillant à la qualité, à la performance et à la résilience des solutions mises en place. Il aura également pour responsabilités de définir et implémenter les tests unitaires des modules sous sa responsabilité, de respecter les standards de développement du projet, de prendre en compte les indicateurs issus des outils d'analyse de code comme Sonar, de réaliser des prototypes, d'effectuer des revues de code et de rédiger la documentation technique en anglais.

Dans le cadre d'un programme de modernisation des plateformes d'observabilité et de traitement des données, nous recherchons un Expert OpenSearch / Kafka pour accompagner la transformation d'une architecture existante vers une nouvelle plateforme plus performante, résiliente et évolutive. Cette mission s'inscrit dans un projet de migration d'un environnement ELK vers OpenSearch, avec une évolution d'une architecture mono-tier vers une architecture multi-tier. L'objectif est d'optimiser les performances, la scalabilité et l'industrialisation des déploiements tout en garantissant la continuité des services. Réaliser l'audit de l'architecture existante et identifier les axes d'amélioration. Apporter une expertise sur la conception, l'optimisation et l'exploitation d'une plateforme OpenSearch. Accompagner l'administration et l'évolution des clusters Kafka. Optimiser les flux de données et les performances des plateformes. Concevoir et améliorer les pipelines Logstash compatibles OpenSearch. Participer à la migration des index, mappings, templates et pipelines vers OpenSearch. Industrialiser les déploiements et les opérations via Ansible / AWX. Rédiger la documentation technique et accompagner les équipes dans la montée en compétences. Formuler des recommandations techniques pragmatiques et adaptées aux enjeux du projet.

Rejoignez une grande entreprise du secteur automobile en tant que Lead Data Orchestration Engineer pour piloter l'optimisation et la sécurisation d'une plateforme d'orchestration Airflow critique. Vous piloterez une mission stratégique combinant expertise technique, architecture cloud et mentorat d'équipes dans un environnement à fort enjeu de continuité de service. Contexte de la mission Vous intégrez une équipe Data Platform au sein d'un groupe majeur du secteur automobile. La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données transactionnelles complexes à travers 9 pays européens. Suite à un audit technique approfondi ayant stabilisé les fondations, la mission porte désormais sur quatre axes stratégiques : optimisation architecturale et passage à l'échelle, sécurisation et résilience de bout en bout, évaluation et migration vers une infrastructure cible mieux adaptée, et montée en compétence progressive des équipes Dev et Ops. Environnement technique Plateforme actuelle : AWS MWAA avec SQS/SNS, Secrets Manager, CloudWatch et IAM ; plus de 200 DAGs en production avec DAG Factory dynamique existante. Méthodologie : approche Agile avec cycles d'optimisation, benchmarking technique et gestion de programme structurée. Périmètre : infrastructure multi-pays, multi-environnements (Dev/Ops séparés), avec enjeux forts de performance, coûts et conformité. Responsabilités : - Optimiser et faire évoluer l'architecture d'orchestration existante : enrichissement de la DAG Factory, migration vers les Datasets natifs Airflow, optimisation des performances au parse-time et runtime, mise en place de validation automatisée en CI/CD (parse test, linting, tests d'intégration) - Concevoir et implémenter une stratégie de sécurisation robuste : politique de rotation des secrets, routage d'alertes différencié par type et criticité, hardening réseau et configuration, patterns avancés de résilience (retry strategies, Dead Letter Queues, circuit breakers) - Piloter la phase d'étude et de benchmarking des alternatives à AWS MWAA (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, etc.) en regard des contraintes métier, puis élaborer une recommandation argumentée avec analyse coûts/bénéfices et plan de transition - Prendre en charge la migration vers l'infrastructure cible retenue, en garantissant continuité de service, POC validant et bascule progressive en production - Conduire le programme de formation et de montée en compétence des équipes (~10 personnes Dev et Ops), favoriser la constitution d'une méta-équipe plateforme unifiée, et accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps) - Concevoir et faire appliquer des standards techniques transverses : patterns de conception, conventions de code, processus de review et bonnes pratiques d'observabilité - Piloter le capacity planning, le tuning de...

Vous rejoindrez un grand groupe du secteur audiovisuel et médias pour concevoir et développer le MVP d'une plateforme Data On-Premise innovante. Ce projet stratégique vise à moderniser l'infrastructure data existante en intégrant une stack Open Source performante (Kafka, NiFi, Spark, Iceberg, Trino) et à faciliter la transition vers le traitement temps réel tout en validant l'interopérabilité avec les services cloud publics. Au sein de la Direction IT Transverse, vous piloterez l'architecture et la mise en œuvre d'une plateforme data scalable et robuste, intégrée au socle technique existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Vous travaillerez en collaboration étroite avec les équipes métiers et techniques du groupe pour transformer des flux ETL existants, démontrer la faisabilité de migration depuis les systèmes actuels, et établir les bonnes pratiques de la nouvelle plateforme. Ce rôle combine architecture data, ingénierie de plateforme et mentorat technique dans un environnement moderne et exigeant, avec un fort impact sur la modernisation de l'écosystème data du groupe. Responsabilités : - Architecturer une plateforme Data On-Premise scalable, robuste et intégrée à l'infrastructure existante (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) - Sélectionner, configurer et déployer les composants Open Source clés : Apache Kafka (streaming), Apache NiFi (ingestion et orchestration), Apache Spark (traitement distribué), Apache Iceberg (gestion de tables analytiques) et Trino (requêtage SQL distribué) - Implémenter des cas d'usage concrets en transformant des flux ETL existants et en mettant en place des pipelines de données en streaming (Kafka + Spark Structured Streaming) - Alimenter et optimiser un datalake On-Premise basé sur Iceberg, avec requêtage via Trino - Valider l'interopérabilité et les patterns d'intégration avec les services Big Data en environnement cloud public (GCP) - Collaborer avec l'équipe Data et IA pour aligner les besoins métiers et techniques, et avec les équipes DevOps/Infrastructure pour l'intégration du socle - Documenter les choix architecturaux, les décisions techniques et établir les bonnes pratiques de la plateforme - Former et accompagner les équipes internes sur les nouveaux outils, processus et méthodologies Télétravail : 2/3 jours par semaine Localisation : Paris / Rennes

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Présence sur site : 3 jours par semaine (jours fixes) + 2 jours de télétravail possibles Durée de la mission : 12 mois renouvelables Démarrage : ASAP ContexteDans le cadre d'un important programme de transformation de son système d'information, notre client renforce son équipe Data Engineering et recherche un(e) Platform Engineer expérimenté(e). Vous participerez à la conception et à la mise en œuvre d'une plateforme de streaming de données basée sur Apache Kafka, destinée à être utilisée en self-service par les différentes équipes de développement. L'objectif est de construire une plateforme moderne, automatisée et industrialisée permettant d'accélérer le développement des applications tout en favorisant une architecture événementielle. Vous évoluerez au sein d'une équipe Agile composée de développeurs, d'un Product Owner et d'un Engineering Manager. Vos missionsEn tant que Platform Engineer, vous serez notamment en charge de : Concevoir, déployer et maintenir une plateforme Kafka robuste et hautement disponible. Automatiser le déploiement et l'administration de la plateforme via des approches Infrastructure as Code et GitOps. Mettre en place les pipelines CI/CD sous GitLab. Développer des mécanismes de self-service permettant aux équipes de créer et gérer leurs ressources Kafka de manière autonome. Assurer l'exploitation, la supervision et l'amélioration continue de la plateforme. Déployer les outils de monitoring, de traçabilité et d'observabilité. Rédiger la documentation technique, les guides utilisateurs ainsi que les procédures d'exploitation. Accompagner les équipes de développement dans l'utilisation de la plateforme et promouvoir les bonnes pratiques. Participer à l'évolution de la Data Platform et contribuer aux futurs projets d'extension de la plateforme. Environnement techniqueIndispensableApache Kafka Kafka Connect Kubernetes Docker GitLab CI/CD GitOps Infrastructure as Code (Terraform ou équivalent) Monitoring & Observabilité Prometheus Datadog OpenTelemetry AppréciéKafka Resource Operator (KRO) Data Platform Data Lake Data Mesh Apache Iceberg Snowflake FinOps Cloud public (AWS, Azure ou GCP)

Dans le cadre du renforcement d'une équipe de développement, nous recherchons un Développeur Backend Senior afin de participer à la maintenance et à l'évolution d'applications stratégiques à fort enjeu métier. Vous intervenez sur des services backend critiques et contribuez au développement de nouvelles fonctionnalités, à la correction d'incidents, à l'amélioration des performances ainsi qu'à la qualité globale des applications. Vous participez aux analyses techniques, aux développements, aux tests et aux mises en production tout en veillant au respect des bonnes pratiques de développement. Vous évoluez au sein d'un environnement Agile et collaborez avec les différentes parties prenantes du projet afin de garantir la stabilité et l'évolution des solutions. Une part importante de l'activité concerne la maintenance évolutive et corrective, tout en participant aux nouveaux projets portés par l'entreprise.

Vous rejoignez en renfort une équipe très expérimentée, en charge du maintien et de l'évolution d'une offre Kafka managée en interne. La mission est majoritairement orientée Build : Concevoir et déployer de nouvelles fonctionnalités de l'offre Améliorer et industrialiser les fonctionnalités existantes Développer et faire évoluer l'automatisation (scripts, rôles Ansible) Vous participerez aussi au Run, organisé via un système de « capitanat » tournant chaque semaine : Support N1 à N3 auprès des entités clientes Accompagnement et pédagogie : on ne cherche pas du traitement de ticket brut, mais quelqu'un qui explique le problème, aide le client à comprendre et à monter en compétence Astreintes et interventions en HNO (heures non ouvrées) Stack technique: Kafka distribution Confluent (relation étroite avec l'éditeur), ~50 clusters répartis sur 3 datacenters Écosystème : Kafka Connect, ksqlDB, Kafka Streams, Schema Registry Très gros volumes de messages, offre multi-tenant, API maison pour l'interface client et l'équipe On-premise, infrastructure OpenStack DevOps : GitLab CI, GitOps, Artifactory, ArgoCD Ansible (rôles et playbooks) au cœur de l'automatisation

ACCROCHE SI TU NE CONNAIS PAS LE CHEMIN, CETTE ANONCE T'INDIQUERA LA BONNE DIRECTION ... CE QUE TU RECHERCHES : Evoluer au sein d'une équipe dynamique Participer à des projets innovants d'envergure Relever des défis Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d'un acteur majeur du secteur du retail, tu participeras à la conception et à l'optimisation des plateformes backendAnalyse des besoins, tu feras Spécifications techniques, tu rédigeras L'architecture et/ou socle technique, tu définiras Bonnes pratiques, tu instaureras De nouvelles fonctionnalités, tu développeras Zéro bug, tu laisseras Ton équipe, tu accompagneras Aux instances de pilotage, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou dôté(e) d'une expérience de 7ans minimum Expert(e) en développement back-end : JAVA 11, Spring, SpringBoot, Kafka Habile avec les outils : CI/CD et l'architecture MICROSERVICES AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n'aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l'essentiel Capacité d'adaptation : tu es un vrai caméléon Sens de la communication : les mots n'ont pas de secret pour toi Force de proposition : tu es l'Aladdin de l'informatique Esprit d'équipe : un pour tous et tous pour un !

Nous recherchons un(e) expert(e) Kafka pour un mandat exclusivement centré sur le diagnostic d'une plateforme Apache Kafka en production (distribution open-source, non-Confluent) au sein d'un environnement hautement réglementé. L'écosystème repose sur des clients Python et C++ utilisant la bibliothèque (les clients Java et Kafka Streams ne sont pas du tout utilisés sur ce projet). Ta Mission: La plateforme rencontre actuellement plusieurs difficultés que vous devrez analyser : Des pertes d'événements intermittentes. Des pics de latence de queue (tail-latency) inexpliqués. De fortes faiblesses dans la détection des incidents. Votre rôle consistera à instrumenter la plateforme, mener l'enquête technique et concevoir des solutions pérennes. Livrables attendus: Un plan de remédiation priorisé. Un cadre d'observabilité complet.

Contexte de la mission Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire) Une experience de flux réalisés sur Databricks/Azure serait un plus important. Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI Objectifs et livrables Objectifs et livrables Activités principales Développement et intégration Développer et maintenir des pipelines de données sur l'infrastructure existante (batch, streaming, API) Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala) Assurer l'intégration et la gestion de flux de données via Kafka et HDFS Exploiter et administrer des bases de données NoSQL (Cassandra) Gestion du run (rôle tournant) Surveiller la performance et la scalabilité des processus Prendre en charge la résolution des incidents et l'amélioration continue en production Escalader auprès des sachants les anomalies critiques Communiquer les incidents aux parties prenantes le cas échéant. Relation métier et vulgarisation Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l'équipe et les parties prenantes Profil recherché Formation : Bac+5 en informatique, data engineering ou équivalent Expérience : Minimum 3 ans sur un poste similaire Compétences techniques requises Maîtrise du développement Spark (Scala) Bonne connaissance de l'écosystème Big Data : HDFS, Kafka, Cassandra Expérience sur des architectures batch, streaming et API Pratique du versioning (git) et des outils d'intégration continue Bonus : experience en env Databricks/Azure Compétences complémentaires (atouts) Databricks Expérience sur Airflow Expérience sur des environnements cloud (Azure) Développement Node.js Pratique de la CI/CD et des outils de monitoring Savoir-être Esprit d'équipe, sens du service et de la communication Capacité à vulgariser et à transmettre ses connaissances Capacité d'analyse Autonomie, rigueur et sens de l'organisation