Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Audit de l'architecture existante et analyse des choix techniques. Optimisation de la plateforme OpenSearch (performance, résilience, maintenabilité). Expertise Kafka : administration, optimisation des flux, gestion des performances. Expertise Logstash (compatible OpenSearch) : pipelines, parsing, optimisation. Migration ELK → OpenSearch (index, mappings, pipelines). Industrialisation via Ansible/AWX. Documentation et accompagnement des équipes.

Notre client recherche un Développer Backend e-commerce afin d'eefectuer la mission suivante: ANALYSE Participe à l'analyse fonctionnelle détaillée des besoins utilisateurs et peut être sollicité pour des ateliers de définition des spécifications générales Étudie les opportunités et la faisabilité technologique de l'application, réalise l'analyse technique, l'étude détaillée et contribue à l'estimation des charges CONCEPTION ET DÉVELOPPEMENT Contribue au design du logiciel et des frameworks utilisés dans le cadre du projet Adapte et applique les paramètres techniques des progiciels ou des middlewares Réalise le prototypage Analyse et développe les composants en utilisant les langages appropriés Participe à la structuration des Bases de Données Participe à la revue croisée des développements de ses pairs Initialise le dossier d'exploitation Assemble les composants unitaires dans un package applicatif cohérent destiné au déploiement de la solution et l'intègre à la gestion de configuration Documente les applications pour les développements ultérieurs et la Mise en Production (MEP) Harmonise et industrialise l'ensemble des composants et applications Utilise les composants logiciels réutilisables et met à jour la nomenclature RECETTE UNITAIRE ET TESTS D'INTÉGRATION Responsable des tests unitaires : élaboration des jeux d'essais et réalisation Teste, identifie et traite les dysfonctionnements éventuels du logiciel développé Vérifie la conformité de l'ouvrage avec la demande formulée Contribue à la préparation et à la réalisation des tests d'intégration Analyse les résultats et rédige le rapport de tests MAINTENANCE Réalise les développements nécessaires à la maintenance corrective et évolutive Participe à l'analyse et à la résolution des incidents de production

🚀 Opportunité – Expert Hadoop / Cloudera CDP / Ansible (H/F)Dans le cadre du renforcement d'une plateforme Big Data stratégique d'un grand groupe bancaire, nous recherchons un Expert Hadoop / Cloudera CDP pour intervenir sur des projets d'évolution, d'industrialisation et de maintien en conditions opérationnelles d'une infrastructure critique. Vos missionsAdministrer, maintenir et optimiser des clusters Hadoop (Cloudera CDP). Assurer la disponibilité, la performance et la sécurité de la plateforme Big Data. Automatiser les déploiements, patchs et configurations avec Ansible et Terraform. Participer aux montées de version des composants Hadoop. Intervenir sur des incidents complexes et contribuer aux task forces techniques. Déployer de nouvelles fonctionnalités d'infrastructure. Collaborer avec l'éditeur et les équipes techniques internes. Produire et maintenir la documentation technique. Environnement techniqueHadoop / Cloudera CDP 7.1.x Apache Kafka Apache NiFi Spark Ansible Terraform / Terragrunt Shell scripting GitHub / AWX Profil recherchéSolide expérience d'administration de plateformes Hadoop / Cloudera. Très bonne maîtrise d'Ansible et de l'automatisation d'infrastructure. Expérience sur Kafka, NiFi et Spark. Bonne connaissance des environnements Linux et des pratiques DevOps. Capacité à intervenir sur des problématiques techniques complexes et à accompagner les évolutions d'une plateforme Big Data. Informations complémentaires📍 Localisation : Île-de-France 🏢 Mission en présentiel 📅 Démarrage : ASAP ⏳ Mission longue durée (12 mois renouvelables) 📩 Si cette opportunité vous intéresse, n'hésitez pas à me contacter en message privé ou à envoyer votre CV.

Teksystems rechefche pour son client grand compte du secteur des services numériques, un Développeur Full Stack Java Java/Angular pour intervenir sur des applications stratégiques liées à la gestion et au traitement de données à fort volume. Vous intégrerez une équipe agile et participerez au développement de nouvelles fonctionnalités ainsi qu'à l'évolution d'applications critiques pour le métier. La mission s'adresse à un profil confirmé maîtrisant impérativement Java et Angular avec une expérience significative sur des applications critiques et des traitements de données à grande échelle. Missions principales Développement backend Concevoir et développer des services en Java et Spring Boot. Développer et maintenir des API REST. Concevoir des traitements batch volumineux et critiques. Participer à la modernisation des composants existants. Travailler sur des applications historiques et modernes. Optimiser les performances du code, des traitements, des API et des requêtes SQL. Participer à la conception de solutions maintenables, testables et évolutives. Développement frontend Concevoir et maintenir les interfaces en Angular 7 ou version supérieure. Développer des composants réutilisables. Participer à l'amélioration des performances et de l'expérience utilisateur. Mettre en place les tests frontend nécessaires. Collaborer avec le Product Owner sur les parcours fonctionnels et les critères d'acceptation. Traitements batch et données Concevoir et développer des traitements batch avec Apache Spark pour le traitement de volumes de données importants. Garantir la robustesse, la résilience et la reprise des traitements en cas d'erreur. Développer et optimiser des traitements distribués afin d'améliorer les performances et les temps d'exécution. Travailler avec des bases de données relationnelles. Optimiser les requêtes SQL et les traitements de données. Participer à des projets de migration, d'intégration et de transformation de données. Contribuer à la conception de solutions performantes, évolutives et maintenables dans des environnements à forte volumétrie.

Les missions : Participer à l'élaboration et la réalisation de sujets techniques transverses Assurer l'évolutivité, la performance et la maintenabilité de la plateforme Participer aux choix techniques de l'équipe en matière de développement Contribuer à l'amélioration de l'intégration continue et aux outils de qualité de code du client Implémenter des solutions techniques Participer à la validation des développements livrés (réalisation de tests unitaires, revue de code) Analyser et corriger des anomalies

ContexteMission d'expertise technique autour de la migration et du développement de flux d'intégration, dans un environnement cloud-native et event-driven. L'objectif principal est la migration de flux TIBCO vers Apache Camel, avec la conception, le développement et la maintenance de routes complexes, ainsi que la mise en place d'infrastructures et pipelines CI/CD robustes. MissionsMigration de flux TIBCO vers Apache Camel : analyse des routes existantes, réécriture et qualification Développement et maintenance de routes Apache Camel complexes en Java DSL et YAML DSL : routage dynamique, CBR (Content-Based Router), Enterprise Integration Patterns, gestion des erreurs via Dead Letter Channel, Retry et Circuit Breaker Conception de kamelets réutilisables et mise en place de catalogues de composants d'intégration partagés Implémentation de pipelines d'orchestration multi-étapes avec gestion des transactions distribuées et rollbacks Mise en place de mécanismes d'idempotence (Idempotent Consumer EIP) pour garantir une livraison exactly-once sur les flux critiques Implémentation de transformations complexes : XSLT avancé, JSONata, templates Velocity, marshalling/unmarshalling (JAXB, Jackson) Développement et maintenance de services backend Spring Boot exposant des API REST Intégration avec des systèmes de messagerie et des architectures event-driven (Kafka, IBM MQ) Implémentation de patterns de résilience : split/aggregate, throttling, backpressure, routage asynchrone Déploiement et exploitation sur infrastructure cloud-native avec application des principes d'Infrastructure as Code : définition, versioning et déploiement de l'infrastructure via Terraform, Helm et GitOps (ArgoCD ou Flux) Contribution au pipeline GitLab CI/CD et aux déploiements multi-environnements Mise en place et maintenance des tests d'intégration (CamelTestSupport, TestContainers) Participation aux activités d'observabilité : métriques Camel (Micrometer), supervision des routes Compétences et expériences requisesApache Camel (Java DSL, YAML DSL, EIP, kamelets, gestion avancée des erreurs) – niveau Expert, 5 ans d'expérience minimum avec Apache Camel Migration depuis TIBCO (BusinessWorks, EMS ou équivalent) Spring Boot 3.x Java 17 / 21 Cloud-native : conteneurs, déploiement et exploitation Infrastructure as Code : Terraform, Ansible ou équivalent GitOps (ArgoCD, Flux ou équivalent) Kafka et architectures event-driven XML, XSD, XSLT avancé, transformation et validation de messages Patterns EIP : CBR, Aggregator, Splitter, Idempotent Consumer, Dead Letter Channel Tests d'intégration Camel (CamelTestSupport, TestContainers) Observabilité : OpenTelemetry, Micrometer, monitoring des routes Camel Oracle (SQL, schémas, transactions) Maven Multi-Modules GitLab CI/CD Anglais obligatoire Expérience sur Apache Camel, expertise avérée en Enterprise Integration Patterns, conception de routes complexes et gestion de forts volumes

Contexte : nous recherchons un expert Flux NiFi dans le cadre d'un projet stratégique de modernisation d'infrastructure. Vous interviendrez sur la migration de plus de 450 flux NiFi actuellement hébergés en IaaS vers un cluster Kubernetes (CaaS) dédié. Vos missions : Réaliser le rétro-engineering des flux NiFi pour valider leur migration, avec adaptation si nécessaire Vous synchroniser avec les équipes DevOps pour valider le bon usage du socle, notamment sur les aspects FinOps Préparer la migration selon l'allotissement défini : préparation du socle, coordination avec les métiers Assurer les phases de validation pré-migration et post-migration Travailler en lien direct avec le Tech Lead, dans le respect des standards définis

Notre client dans le secteur Réseaux et télécommunications recherche un/une Technical Manager Data & AI H/F Description de la mission : Fiche de poste – Technical Manager Data & AI Contexte et objectif de la mission Dans le cadre de l'intégration de l'Intelligence Artificielle au sein de l'entreprise, la mission consiste à définir et piloter la stratégie d'intégration de l'IA dans les processus opérationnels télécom, déployer les projets techniques associés, représenter l'expertise technique de l'entité lors des échanges groupe sur les thématiques AI, et encadrer techniquement une petite équipe. Le rôle est présenté comme un rôle de terrain et d'expertise technique. Missions principales 1. Stratégie & architecture IA • Analyser les processus opérationnels télécom existants et identifier les opportunités d'intégration de l'IA • Définir la roadmap technique IA adaptée aux enjeux métiers • Proposer des architectures robustes, scalables et sécurisées pour les solutions Data & AI • Assurer la cohérence entre les choix technologiques et les contraintes IT / CyberSecurity 2. Déploiement & implémentation de projets IA • Piloter techniquement l'implémentation des projets IA de bout en bout • Superviser et contribuer activement au développement des pipelines de données et des modèles IA • Mettre en place les pratiques MLOps pour industrialiser et maintenir les modèles en production • Garantir la qualité, la performance et la sécurité des solutions déployées 3. Expertise IA générative & LLM • Concevoir et implémenter des solutions basées sur les LLM (Large Language Models) • Développer des architectures RAG (Retrieval-Augmented Generation) adaptées aux cas d'usage télécom • Évaluer et sélectionner les modèles et frameworks IA les plus pertinents • Assurer une veille technologique active sur l'IA générative et ses évolutions 4. Gestion de la donnée • Superviser la gouvernance, la qualité et la sécurité des données • Concevoir et optimiser les pipelines de données (ingestion, transformation, exposition) • S'assurer de la conformité des pratiques data avec les réglementations en vigueur 5. Encadrement technique de l'équipe • Animer techniquement une équipe de 5 collaborateurs (data engineers / AI engineers) • Définir les priorités techniques et assurer le suivi des livrables • Monter en compétences l'équipe sur les technologies IA et data • Conduire les revues de code et valider les choix d'architecture 6. Représentation & échanges groupe • Participer aux comités techniques et stratégiques sur les thématiques AI • Présenter les avancées, les choix technologiques et les résultats des projets • Contribuer aux échanges de bonnes pratiques et aux synergies groupe sur l'IA Profil recherché Formation • Bac+5 en Informatique, Data Science, IA ou équivalent Expérience • Minimum 7 à 10 ans en IT, dont 3 à 5 ans sur des projets Data & AI • Habitude de travailler dans un contexte grand groupe / multi-entités appréciée Compétences techniques requises • IA générative : maîtrise des modèles génératifs tels que GPT, Mistral, LLaMA • LLM : fine-tuning, prompt engineering, évaluation de modèles • RAG : conception et déploiement d'architectures RAG • MLOps : MLflow, Kubeflow, DVC, CI/CD pour les modèles ML • Frameworks ML/DL : PyTorch, TensorFlow, Scikit-learn, LangChain, LlamaIndex • Data engineering : conception de pipelines batch & streaming • Technologies data : Apache Spark, Kafka, Airflow, dbt • Bases de données vectorielles : Pinecone, Weaviate, ChromaDB, FAISS • Architecture data : Data Lakehouse, Data Mesh, gouvernance des données • Cloud & infrastructure : maîtrise d'au moins un cloud provider parmi Azure, AWS ou GCP • Services managés AI/ML : Azure OpenAI, AWS SageMaker, Vertex AI • Conteneurisation & orchestration : Docker, Kubernetes • Développement : Python avancé, API REST, microservices • Ingénierie logicielle : DevOps, GitOps, revue de code, tests automatisés • Sécurité & conformité : cybersécurité appliquée aux systèmes IA, RGPD, AI Act, sécurisation des pipelines de données et des modèles Compétences comportementales • Leadership technique • Communication et capacité à vulgariser des sujets complexes • Autonomie dans la prise de décision technique • Pragmatisme et orientation résultats • Curiosité intellectuelle et veille technologique • Travail en équipe et partage de connaissances Indicateurs de succès • Livraison de la roadmap IA dans les délais définis • Nombre de cas d'usage IA déployés en production • Mesure de l'impact opérationnel des solutions IA sur les processus télécom • Niveau de maturité MLOps atteint par l'équipe • Qualité et régularité des contributions aux échanges groupe Informations complémentaires • Département : IT & CyberSecurity • Type de mission : terrain / expertise technique • Taille de l'équipe encadrée : 5 personnes • Secteur : télécommunications • La fiche de poste est susceptible d'évoluer en fonction des besoins du département et des orientations stratégiques du groupe Compétences / Qualités indispensables : Data & AI, LLM et IA générative, Architecture RAG, MLOps, Python, Leadership technique Compétences / Qualités qui seraient un + : Expérience dans le secteur Telecom, expérience en contexte grand groupe / multi-entitésInformations concernant le télétravail : Oui — 2 jours/semaine

ContexteMission d'intégration middleware autour d'Apache Camel, visant la migration de flux existants depuis TIBCO vers une architecture cloud-native moderne. L'environnement technique est centré sur des solutions Java, Spring Boot, et des architectures event-driven avec Kafka et IBM MQ. Le projet inclut la mise en place d'infrastructures automatisées via Infrastructure as Code et GitOps, ainsi que le renforcement de l'observabilité et de la résilience des systèmes. MissionsMigration de flux TIBCO vers Apache Camel : analyse des routes existantes, réécriture et qualification Développement et maintenance de routes Apache Camel complexes en Java DSL et YAML DSL : routage dynamique, CBR (Content-Based Router), Enterprise Integration Patterns, gestion des erreurs via Dead Letter Channel, Retry et Circuit Breaker Conception de kamelets réutilisables et mise en place de catalogues de composants d'intégration partagés Implémentation de pipelines d'orchestration multi-étapes avec gestion des transactions distribuées et rollbacks Mise en place de mécanismes d'idempotence (Idempotent Consumer EIP) pour garantir une livraison exactly-once sur les flux critiques Implémentation de transformations complexes : XSLT avancé, JSONata, templates Velocity, marshalling/unmarshalling (JAXB, Jackson) Développement et maintenance de services backend Spring Boot exposant des API REST Intégration avec des systèmes de messagerie et des architectures event-driven (Kafka, IBM MQ) Implémentation de patterns de résilience : split/aggregate, throttling, backpressure, routage asynchrone Déploiement et exploitation sur infrastructure cloud-native avec application des principes d'Infrastructure as Code : définition, versioning et déploiement de l'infrastructure via Terraform, Helm et GitOps (ArgoCD ou Flux) Contribution au pipeline GitLab CI/CD et aux déploiements multi-environnements Mise en place et maintenance des tests d'intégration (CamelTestSupport, TestContainers) Participation aux activités d'observabilité : métriques Camel (Micrometer), supervision des routes Outils & EnvironnementApache Camel (Java DSL, YAML DSL, EIP, kamelets, gestion avancée des erreurs) TIBCO (BusinessWorks, EMS ou équivalent) Spring Boot 3.x Java 17 / 21 Cloud-native : conteneurs, déploiement et exploitation Infrastructure as Code : Terraform, Ansible ou équivalent GitOps (ArgoCD, Flux ou équivalent) Kafka et architectures event-driven XML, XSD, XSLT avancé, transformation et validation de messages Patterns EIP : CBR, Aggregator, Splitter, Idempotent Consumer, Dead Letter Channel Tests d'intégration Camel (CamelTestSupport, TestContainers) Observabilité : OpenTelemetry, Micrometer, monitoring des routes Camel Oracle (SQL, schémas, transactions) Maven Multi-Modules GitLab CI/CD

Dans le cadre d'un projet de replatforming de la stack ELK vers OpenSearch, une migration de la plateforme actuelle est en cours, incluant un passage d'une architecture single-tier vers une architecture multi-tier. Cette évolution repose notamment sur : • La mise en place d'une infrastructure OpenSearch, dimensionnée pour supporter la volumétrie actuelle et les besoins futurs • L'adaptation de la chaîne d'ingestion basée sur Kafka et Logstash • La migration des composants existants (index, mappings, templates et dashboards) vers OpenSearch • L'automatisation et l'industrialisation des déploiements via Ansible / AWX Dans ce contexte, un renfort expert est recherché pour accompagner la mise en œuvre et l'optimisation de cette architecture, disposant d'un retour d'expérience concret sur ce type de transformation. Une attention particulière est attendue sur Kafka, afin d'accompagner son administration, son optimisation et ses évolutions. • Audit de l'architecture existante • Analyse des choix techniques mis en œuvre et identification des axes d'amélioration • Apport d'expertise sur l'optimisation de la plateforme OpenSearch (performance, résilience, maintenabilité) • Expertise sur les environnements Kafka (administration des clusters, optimisation des flux, gestion des performances et accompagnement des évolutions) • Expertise Logstash compatible OpenSearch (pipelines, parsing, optimisation) • Contribution à la migration ELK vers OpenSearch (index, mappings, pipelines) • Industrialisation via Ansible / AWX • Documentation et accompagnement des équipes

Dans un contexte international, l'ingénieur⸱e travaillera en collaboration avec : - Les équipes IT (Data, Support, Sécurité, Ops, etc…) - Les éditeurs et partenaires supports des solutions (TMA, TMT, etc..) - Les équipes métiers (ponctuellement) L'objectif de la mission est d'assurer l'exploitation technique des applications SaaS ou Progiciel "P2P & TRAVEL" regroupant les process métiers suivants : - Process de dématérialisation (commande, facture, EDI, process achat...) - Voyages (notes de frais, réservation, etc) - Gestion des contrats et fournisseurs La mission sera orientée exploitation et support mais permettra aussi la prise en charge de quelques petites évolutions techniques (<5 jours) Objectifs et livrables - Participation aux réunions d'animation (daily, copro, support) - Support technique et traitement d'incidents techniques (Niv 3) - Investigations techniques (SQL, API, fichiers, etc...) dans le traitement des incidents - Communication et échanges avec les différents intervenants supports ou partenaires (TMA, centre de service support, etc..) - Suivi de la sécurité, rédaction et mise en œuvre de plan d'actions - Suivi des composants, flux, batch automatisés et performance des solutions (monitoring technique) - Paramétrage des outils lors d'ouverture pays - Mise en œuvre et suivi d'évolutions techniques Livrables de la mission - Traitements d'incidents Niv-3 - Mise à jour des documents de suivi RUN - Mise en place de procédures et plans d'actions - Mise à jour de spécifications techniques détaillées (interfaces ou traitements) - Mise a jour de documentation - Alimentation de cahiers de recette - Paramétrages techniques

Dans le cadre d'un projet stratégique en Banque / Finance, nous recherchons 2 Tech Leads Big Data / Data Engineering expérimentés pour rejoindre une équipe intervenant sur des sujets à fort enjeu autour des environnements BFI et Risk. 🎯 Profil recherchéExpérience confirmée en Big Data / Data Engineering Bonne connaissance des environnements Banque de Financement et d'Investissement (BFI) et des problématiques Risk Capacité à évoluer dans des environnements techniques complexes et à accompagner les équipes 💻 Compétences techniques indispensablesSpark / PySpark / Scala Python Hive / SQL Elasticsearch / Kibana Jenkins Ansible Oozie Méthodologie Agile 🚀 Vos missionsConcevoir et développer des solutions Big Data performantes Accompagner les équipes sur les choix techniques et les bonnes pratiques Participer à l'industrialisation des traitements et à l'optimisation des performances Intervenir sur des projets stratégiques à fort impact dans le secteur bancaire 📍 2 postes à pourvoir immédiatement 👉 Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé.

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

Dans le cadre du développement de notre plateforme de data streaming dédiée au secteur de l'énergie, nous recherchons un Expert Technique Kafka Streams. Contexte La plateforme assure la collecte et le traitement de données énergétiques issues d'équipements terrain : capteurs IoT, automates, systèmes de gestion technique de bâtiments. Elle constitue le socle de l'exploitation et de la valorisation de ces données en temps réel. Environnement technique - Java, Spring Boot, Spring Data - Apache Kafka, Kafka Streams - Idéalement : InfluxDB, Spring Cloud, Kafka Connect, Oracle Database, PL/SQL, AWS Lambda, SQS, SNS, Ansible, Docker, Spark Enjeux et missions En tant qu'expert technique Kafka Streams, vous interviendrez sur : - Les problématiques de streaming : partitionnement Kafka, gestion du throughput, optimisation de la latence - La tolérance aux pannes et la reprise sur incident - La cohérence des données et la supervision de pipelines critiques - Des sujets avancés liés aux architectures event-driven et aux systèmes distribués