Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Dans le cadre du renforcement d'une équipe Gestion Courante Décisionnel / Datalake, vous intervenez sur un environnement Big Data permettant de collecter, traiter et valoriser des données issues de différents systèmes métiers. Votre mission principale consiste à assurer le maintien en conditions opérationnelles (MCO) des applications décisionnelles développées principalement en Spark / Scala, tout en participant à leurs évolutions. Vos principales responsabilités seront : Assurer le suivi quotidien des traitements Spark / Scala. Analyser et corriger les incidents applicatifs fonctionnels. Réaliser les éventuelles reprises et corrections de données associées aux incidents. Prendre en charge les évolutions applicatives confiées. Réaliser les tests des corrections et développements. Préparer et effectuer les livraisons en production. Rédiger et mettre à jour les spécifications techniques et fonctionnelles. Élaborer les plans et cas de tests. Mettre à jour la documentation et les outils de suivi de l'équipe. Assurer un reporting régulier auprès du chef de projet. Contribuer au maintien de la qualité de service (QOS) sur le périmètre applicatif.

Le contexteDans le cadre du maintien en conditions opérationnelles et de l'évolution d'un environnement Big Data / Datalake décisionnel, nous recherchons un(e) Ingénieur Data Spark/Scala – Gestion courante afin d'accompagner l'un de nos clients sur des enjeux de suivi d'exploitation, correction d'incidents et évolution de traitements Data. Quelques éléments pour mieux comprendre l'environnement : Secteur d'activité : Assurance 🛡️ Organisation : Équipe de Gestion Courante Décisionnel au sein de la Direction des Études Enjeux : Assurer le maintien de la qualité de service sur un périmètre applicatif décisionnel développé en Spark/Scala, en assurant le suivi des traitements, la résolution des incidents et la mise en œuvre des évolutions. Ce que tu feras concrètementDans le cadre de cette mission, tu seras notamment amené(e) à : ➞ Assurer le suivi quotidien des traitements en Spark/Scala ➞ Analyser et corriger les incidents fonctionnels, avec leurs éventuelles reprises de données ➞ Réaliser les évolutions confiées sur le périmètre ➞ Tester les corrections d'incidents et les développements réalisés ➞ Mettre à jour la documentation et assurer la mise en production des corrections et développements Ton environnementTechnologies : Spark, Scala, Hadoop, Hive, HDFS, YARN, Oozie, Parquet, Kafka, Spark Streaming, MongoDB, JSON, Avro Outils : Cloudera, Git Bases de données : Oracle

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet

Dans le cadre du renforcement d'une équipe IT au sein d'un acteur majeur du secteur bancaire, nous recherchons un Développeur Full Stack Expert Java / Angular / Kafka pour intervenir sur des applications stratégiques à forts enjeux métiers et techniques. Vous intégrerez une équipe travaillant sur des architectures modernes, distribuées et orientées événements, dans un environnement exigeant en matière de performance, de robustesse et de qualité de développement. Vos principales missions seront de : Concevoir, développer et faire évoluer des applications Full Stack Java / Angular ; Développer des composants Back-End sur des versions récentes de Java (17 à 25) ; Concevoir et développer des interfaces Front-End sous Angular 20 ; Concevoir, développer et optimiser des flux événementiels avec Kafka ; Apporter votre expertise sur les problématiques de conception, d'architecture et de performance ; Participer aux choix techniques et être force de proposition sur les évolutions de la stack ; Garantir un haut niveau de qualité : clean code, tests, revues de code et bonnes pratiques de développement ; Contribuer à l'industrialisation des développements et aux chaînes CI/CD ; Travailler en étroite collaboration avec les équipes Architecture, DevOps et les autres experts techniques.

Le Prestataire aura en charge les activités suivantes (liste non exhaustive) : Participer à la rédaction des livrables de mise en exploitation des applications en phase projet (ex : DEX) Implémenter la supervision technique applicative (Centreon, Ekara IP LABEL, Puits de logs, Dynatrace, Prometheus / Grafana, etc.) Supervision K8S Connaissance de Splunk et un plus serait ELK Stack : Elasticsearch, et leurs langages de requête IPLabel - EKARA : mise en place des supervisions des parcours utilisateurs applicatives & métiers Dynatrace : mise en place des agents & des synthétiques Vérifier la conformité technique des plateformes déployées Planifier & Réaliser des tests techniques (arrêt / relance, sauvegarde / restauration incluant le périmètre BDD) Alimenter & vérifier la CMDB (Service Now) Réaliser le décommissionnement des services techniques pour les applications en fin de vie (Nettoyage des tableaux de bord de supervision, Puits de logs, suppression des plans de production….) Être référent sur l'ordonnancement (VTOM & ArgoFlow) : Rédiger les Expressions de Besoins d'ordonnancement Assister les domaines pour la rédaction des expressions de besoin des plans de production Rédiger les plans de productions techniques (ex : Arrêt/Relance, backup, patching, traitements techniques & applicatifs), avec la collaboration des intégrateurs techniques Déployer des agents VTOM Implémenter les chaînes & plan de productions Fonctionnels & Techniques à partir des Expressions de Besoins (ex : Arrêt/Relance, backup, patching, traitements techniques & applicatifs) Pilotage de l'ordonnancement des batchs & chaines applicatives techniques. Exploitation des plans de production en HOMOL & PRODUCTION Traitement des demandes et participer à la résolution des incidents VTOM Tests des chaines VTOM/Plan de production Support N2 aux équipes, documentation, capitalisation Développer des scripts d'intégration & automatisation des déploiements via des Playbooks Ansible & VTOM (Windows/RHEL/K8S) Accompagnement et transfert de connaissances des nouveaux projets sous VTOM Intégrer les applications jusqu'à la mise en exploitation (nouvelles applications ou mises à jour des applications existantes) : MEP, MEV, MES sur les environnements Homologation & Production Participer à la rédaction des procédures techniques d'installation Middleware & applicatif (gestes manuels et/ou automatisés) Déployer et configurer les applications/middlewares (manuels & automatisés) sur les environnements Homologation & Production (selon les Procédures d'installations ou scripts dédiés) Installer les montées de version : Pilotage des MEV applicatives et techniques (majeures/mineures/correctives), y compris les montées de version des middlewares (MW) en production et hors production. Gérer les demandes & changements Réaliser le transfert de connaissances des activités réalisées durant la phase d'intégration vers les équipes d'exploitation (formation) Développer des scripts d'intégration & automatisation des déploiements via des Playbooks Ansible (Windows/RHEL/K8S) Contribuer au packaging d'image docker Support et accompagnement des équipes projet dans l'utilisation des outils DevOps & chaines CI/CD Participer à la production des livrables techniques : Procédures Techniques d'Installation (PTI). Documents d'Exploitation (DEX). Livrables d'installation Kubernetes. Elaboration des chronogrammes pour les MEV applicatives et techniques. Dérouler les Tests Techniques Tests des déploiements (phases HOMOLOGATION, PRODUCTION). Tests des Dossier d'Exploitation Gestion des Changements et des Certificats Gestion des demandes et changements : Traitement des demandes et des changements sur tous les environnements (hors production et production). Gestion des certificats : Génération des CSR/clés privées et installation sur les serveurs applicatifs (homologation et production). Participer au MCO, Support et Résolution d'Incidents MCO des environnements Homologation Analyser & résoudre les incidents sur environnements hors production Participer au troubleshooting lors d'incidents majeurs (N3) sur les environnements de Production

Le contexte Lianeo Lianeo, ESN et cabinet de recrutement spécialisé en logiciel embarqué, recrute actuellement pour le compte d'un partenaire de la robotique appliquée à la logistique. Le poste est ouvert en CDI, directement chez le client. Le contexte client Le client conçoit une solution robotisée qui gère les flux de charges dans les entrepôts logistiques. Le robot fait circuler les charges entre différents modules (ascenseurs, tables de transfert, postes d'étiquetage, de pesée ou de lecture). C'est la couche algorithmique, développée en Java, qui décide des trajets et de l'enchaînement des mouvements. La solution gagne de nouveaux clients, chacun avec ses configurations et ses contraintes d'exploitation, et l'équipe algorithmique se renforce pour suivre cette croissance. Télétravail : possible jusqu'à 2 jours par semaine, avec un peu de souplesse, mais une présence régulière sur site reste nécessaire. Vos missions Concevoir et faire évoluer les algorithmes de pilotage du robot : modélisation du système en graphe, recherche de chemin, heuristiques Adapter la logique de pilotage aux configurations propres à chaque client Traiter les cas nominaux comme les cas de résilience : panne d'un module, redirection des flux, maintien en service de la machine Travailler en binôme avec l'ingénieur·e algorithmique en place : proposer des approches, les confronter, trancher ensemble Structurer le code pour que chaque nouveau cas s'intègre sans alourdir l'ensemble Valider les algorithmes par des tests et des scénarios de simulation Travailler avec l'équipe automatisme sur l'exécution des mouvements par la couche PLC

Au sein de la Direction des Systèmes d'Information d'un groupe d'assurance de premier plan, vous intégrez l'équipe dédiée à la gestion courante et au pilotage du socle décisionnel. Dans un écosystème Big Data d'envergure collectant les données des différents back-offices métiers pour alimenter un lac de données (Data Lake) et un entrepôt communautaire hébergé sur une architecture de haute performance (Oracle Exadata), vous garantissez la continuité d'activité, la qualité de service et l'évolution des pipelines de traitement. Vos principales responsabilités : Suivi de production & exploitation : Assurer la supervision et le monitoring quotidien des chaînes de traitement de données distribuées (batch et streaming). Gestion des incidents & reprises de données : Diagnostiquer, instruire et résoudre les incidents fonctionnels et applicatifs sur les jobs Spark / Scala, en orchestrant les reprises de données nécessaires sans altérer la qualité de service. Maintenance évolutive & corrective : Développer et implémenter les correctifs et les évolutions mineures demandées par les métiers ou les équipes projets. Recette, tests et déploiements : Rédiger les plans de tests, exécuter les scénarios de validation unitaire et d'intégration, puis assurer la livraison sécurisée des patchs en environnement de production. Documentation & gouvernance : Rédiger les spécifications des correctifs, maintenir à jour la documentation d'exploitation et assurer un reporting rigoureux auprès du chef de projet.

Au sein d'une équipe Agile dédiée à des produits data innovants pour le réseau électrique, vous intervenez en tant que Lead Tech Data. Vous assurez le rôle de référent technique sur des sujets liés à la maintenance prédictive, la mobilité électrique et l'analyse des charges réseau. Vous concevez et maintenez des applications, API, dashboards et pipelines de données en Python. Vous contribuez au cadrage technique des projets, à leur industrialisation et à la qualité des réalisations : revues de code, tests, bonnes pratiques et intégration continue. Vous accompagnez également les développeurs et les Product Owners dans les choix techniques et la résolution des problématiques rencontrées.

Dans le cadre du renforcement des équipes IT de l'un de nos clients du secteur bancaire, nous recherchons un Développeur Fullstack Java / Angular / Kafka pour intervenir sur des applications à forts enjeux métiers et techniques. Intégré(e) à une équipe Agile, vous participerez à l'ensemble du cycle de développement, de la conception technique jusqu'à la mise en production et au maintien en conditions opérationnelles des applications. Vos principales missions seront de : Concevoir, développer et faire évoluer des applications Fullstack Java / Angular ; Développer des architectures orientées microservices avec Spring Boot 3 ; Concevoir et maintenir des API REST documentées avec Swagger / OpenAPI ; Mettre en œuvre et faire évoluer les échanges événementiels basés sur Apache Kafka ; Développer des traitements batch avec Spring Batch ; Participer à la conception et à l'optimisation des modèles de données PostgreSQL / Oracle ; Développer des interfaces Front-End modernes sous Angular / RxJS ; Mettre en œuvre les bonnes pratiques de développement : clean code, revues de code, TDD / BDD et tests automatisés ; Participer aux processus CI/CD et DevSecOps ; Contribuer à la conteneurisation et au déploiement des applications sur Docker / Kubernetes ; Assurer la qualité, la performance, la sécurité et la maintenabilité des développements ; Participer activement aux cérémonies Agile et aux échanges avec les différentes équipes techniques et fonctionnelles.

Nous recherchons un Data Engineer pour rejoindre une équipe dédiée à la construction et à l'évolution d'une plateforme Data alimentant des produits et services à forte volumétrie. Au sein d'une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, vous évoluerez dans un environnement Agile / Scrum. Vos missionsConcevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark. Modéliser et faire évoluer des tables Apache Iceberg sur Amazon S3, en garantissant performance, évolutivité et gouvernance. Fiabiliser et industrialiser les flux de données afin de garantir leur fraîcheur, cohérence et disponibilité. Mettre en place des contrôles de qualité des données : complétude, unicité, fraîcheur, cohérence et traçabilité. Développer des traitements robustes et résilients : rejouabilité, gestion des erreurs, retries, backfill et gestion des données en retard. Mettre en place le monitoring et l'observabilité des pipelines : métriques, logs, dashboards et alertes. Participer aux phases de tests : tests unitaires, intégration, qualité des données, performance et montée en charge. Documenter les pipelines, modèles de données, procédures d'exploitation et choix techniques. Participer aux pratiques de CI/CD et aux revues de code. Environnement techniqueApache Spark – Apache Iceberg – AWS – Amazon S3 – Python et/ou Scala – SQL – Git – CI/CD – Monitoring & Alerting Profil recherchéFormation supérieure en informatique, Data ou ingénierie. Première expérience en Data Engineering. Bonne maîtrise de Spark et SQL. Expérience en Python ou Scala appréciée. Bonne connaissance des architectures Data sur AWS, notamment S3. Connaissance d'Iceberg ou de technologies de tables/stockage analytiques similaires. Sensibilité aux enjeux de qualité des données, résilience et observabilité. Autonomie, curiosité, esprit d'équipe et intérêt pour les environnements techniques modernes.

Contexte de la mission ASAP Technologies recherche deux Data Engineers seniors aux profils complémentaires pour accompagner un acteur majeur du secteur des transports et de la mobilité dans la conception, l'industrialisation et l'évolution de ses solutions data. Au sein du pôle Data Services, vous contribuerez à la stratégie Lakehouse et interviendrez sur des enjeux d'architecture, de modélisation et d'optimisation des pipelines à grande échelle. Vos missions Concevoir, développer et optimiser des pipelines de données batch, streaming et d'ingestion via API. Structurer les transformations selon une architecture Médaillon : Bronze, Silver et Gold. Développer et industrialiser les traitements avec DBT, Spark et Apache Iceberg. Contribuer aux choix techniques et à l'évolution de l'architecture Lakehouse. Déployer et maintenir les pipelines sur AWS, notamment avec S3, Glue et EMR. Orchestrer les workflows ETL/ELT avec Airflow. Mettre en œuvre l'Infrastructure as Code avec Terraform et exécuter les traitements dans des environnements Docker/Kubernetes. Garantir la disponibilité, la supervision et l'observabilité des traitements. Participer à la résolution des incidents et à l'amélioration continue. Automatiser les contrôles de qualité des données et documenter les architectures, pipelines et règles métier. Veiller à la conformité des flux, notamment en matière de RGPD.

Dans le cadre du renforcement d'une équipe projet, nous recherchons un(e) Business Analyst pour accompagner les équipes métiers, produit et IT dans la conception, la réalisation et la validation d'évolutions fonctionnelles. Vos principales missions seront les suivantes : Recueillir et analyser les besoins des métiers et des équipes IT. Assurer la maîtrise d'ouvrage, de l'analyse du besoin à la rédaction des spécifications fonctionnelles. Produire les livrables conformément à la méthodologie projet en vigueur. Accompagner le Product Owner dans le cadrage des sujets et la rédaction des User Stories. Concevoir et rédiger les stratégies et plans de tests à partir des spécifications. Préparer et exécuter les recettes applicatives et fonctionnelles. Qualifier, analyser et documenter les anomalies rencontrées. Communiquer sur les anomalies, leur niveau de priorité et l'avancement des recettes. Assurer le suivi des corrections avec les équipes de développement. Contribuer à l'organisation et au pilotage des recettes fonctionnelles. Réaliser les reportings d'avancement ainsi que les bilans de recette. Assurer le suivi et l'analyse des incidents. Participer à l'animation des cérémonies agiles. Être disponible pour les équipes de développement et garantir leur bonne compréhension du périmètre fonctionnel. Maîtriser les fonctionnalités d'une application dédiée à la gestion de processus métier et de projets.

Nous recherchons un Développeur Java pour intervenir sur un environnement orienté microservices, event-driven et Data. Responsabilités principales : - Conception, développement et maintenance d'applications robustes et scalables - Architecture de solutions microservices et event-driven - Traitement, agrégation et transformation des données avec des outils orientés Data - Participation à l'ensemble du cycle de vie logiciel : conception, développement, tests, mise en production et run - Maintenance et évolution d'applications existantes

Dans le cadre d'un projet de replatforming de la stack ELK vers OpenSearch, une migration de la plateforme actuelle est en cours, incluant un passage d'une architecture single-tier vers une architecture multi-tier. Cette évolution repose notamment sur : - La mise en place d'une infrastructure OpenSearch, dimensionnée pour supporter la volumétrie actuelle et les besoins futurs, - L'adaptation de la chaîne d'ingestion basée sur Kafka et Logstash, - La migration des composants existants (index, mappings, templates et dashboards) vers OpenSearch, - L'automatisation et l'industrialisation des déploiements via Ansible / AWX. Dans ce contexte, un renfort expert est recherché pour accompagner la mise en œuvre, l'optimisation de cette architecture, et disposant d'un retour d'expérience concret sur ce type de transformation. Une attention particulière est attendue sur Kafka, afin d'accompagner son administration, son optimisation et ses évolutions. La société devra fournir les prestations suivantes : - Audit de l'architecture existante. - Analyse des choix techniques mis en œuvre et identification des axes d'amélioration. - Apport d'expertise sur l'optimisation de la plateforme OpenSearch (performance, résilience, maintenabilité). - Expertise sur les environnements Kafka (administration des clusters, optimisation des flux, gestion des performances et accompagnement des évolutions) - Expertise Logstash (compatible OpenSearch) (pipelines, parsing, optimisation) - Contribution à la migration ELK vers OpenSearch (index, mappings, pipelines). - Industrialisation via Ansible / AWX. - Documentation et accompagnement des équipes. Localisation : Chartres Rythme : 2 jours de TT (Un mois sur site au début) Durée : Mission longue Langue : Français