Find your next tech and IT Job or contract Logstash

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

Dans le cadre d'un projet de replatforming de la stack ELK vers OpenSearch, une migration de la plateforme actuelle est en cours, incluant un passage d'une architecture single-tier vers une architecture multi-tier. Cette évolution repose notamment sur : - La mise en place d'une infrastructure OpenSearch, dimensionnée pour supporter la volumétrie actuelle et les besoins futurs, - L'adaptation de la chaîne d'ingestion basée sur Kafka et Logstash, - La migration des composants existants (index, mappings, templates et dashboards) vers OpenSearch, - L'automatisation et l'industrialisation des déploiements via Ansible / AWX. Dans ce contexte, un renfort expert est recherché pour accompagner la mise en œuvre, l'optimisation de cette architecture, et disposant d'un retour d'expérience concret sur ce type de transformation. Une attention particulière est attendue sur Kafka, afin d'accompagner son administration, son optimisation et ses évolutions. - Audit de l'architecture existante. - Analyse des choix techniques mis en œuvre et identification des axes d'amélioration. - Apport d'expertise sur l'optimisation de la plateforme OpenSearch (performance, résilience, maintenabilité). - Expertise sur les environnements Kafka (administration des clusters, optimisation des flux, gestion des performances et accompagnement des évolutions) - Expertise Logstash (compatible OpenSearch) (pipelines, parsing, optimisation) - Contribution à la migration ELK vers OpenSearch (index, mappings, pipelines). - Industrialisation via Ansible / AWX. - Documentation et accompagnement des équipes. Profil recherché : La ressource devra être immédiatement opérationnelle, autonome, et capable d'évoluer dans un environnement technique complexe. Compétences attendues : - Expertise confirmée sur OpenSearch (architecture, optimisation des performances, gestion de clusters). - Expertise confirmée de Kafka : - Administration et exploitation de clusters, - Optimisation des performances et des flux, - Capacité à accompagner les évolutions d'architecture. - Bonne expertise sur Logstash (compatible OpenSearch) (conception et optimisation des pipelines). - Expérience dans des contextes de migration ELK vers OpenSearch - Maîtrise d'Ansible / AWX. - Capacité à formuler des recommandations claires et réalisable. - Bon niveau de communication et capacité à accompagner des équipes techniques.

Dans le cadre d'un projet de replatforming de la stack ELK vers OpenSearch, une migration de la plateforme actuelle est en cours, incluant un passage d'une architecture single-tier vers une architecture multi-tier. Cette évolution repose notamment sur : - La mise en place d'une infrastructure OpenSearch, dimensionnée pour supporter la volumétrie actuelle et les besoins futurs, - L'adaptation de la chaîne d'ingestion basée sur Kafka et Logstash, - La migration des composants existants (index, mappings, templates et dashboards) vers OpenSearch, - L'automatisation et l'industrialisation des déploiements via Ansible / AWX. Dans ce contexte, un renfort expert est recherché pour accompagner la mise en œuvre, l'optimisation de cette architecture, et disposant d'un retour d'expérience concret sur ce type de transformation. Une attention particulière est attendue sur Kafka, afin d'accompagner son administration, son optimisation et ses évolutions. La société devra fournir les prestations suivantes : - Audit de l'architecture existante. - Analyse des choix techniques mis en œuvre et identification des axes d'amélioration. - Apport d'expertise sur l'optimisation de la plateforme OpenSearch (performance, résilience, maintenabilité). - Expertise sur les environnements Kafka (administration des clusters, optimisation des flux, gestion des performances et accompagnement des évolutions) - Expertise Logstash (compatible OpenSearch) (pipelines, parsing, optimisation) - Contribution à la migration ELK vers OpenSearch (index, mappings, pipelines). - Industrialisation via Ansible / AWX. - Documentation et accompagnement des équipes. Localisation : Chartres Rythme : 2 jours de TT (Un mois sur site au début) Durée : Mission longue Langue : Français

1. ContexteDans le cadre d'un projet de replatforming de la stack ELK vers OpenSearch, une migration de la plateforme actuelle est en cours, incluant un passage d'une architecture single-tier vers une architecture multi-tier. Cette évolution repose notamment sur la mise en place d'une infrastructure OpenSearch dimensionnée, l'adaptation de la chaîne d'ingestion Kafka/Logstash, la migration des composants existants (index, mappings, templates, dashboards) et l'automatisation des déploiements via Ansible/AWX. Un renfort expert est recherché pour accompagner la mise en œuvre et l'optimisation de cette architecture, avec une attention particulière sur Kafka (administration, optimisation, évolutions). 2. MissionLa société devra fournir les prestations suivantes : Auditer l'architecture existante. Analyser les choix techniques mis en œuvre et identifier les axes d'amélioration. Apporter une expertise sur l'optimisation de la plateforme OpenSearch (performance, résilience, maintenabilité). Apporter une expertise sur les environnements Kafka (administration des clusters, optimisation des flux, gestion des performances, accompagnement des évolutions). Apporter une expertise Logstash compatible OpenSearch (pipelines, parsing, optimisation). Contribuer à la migration ELK vers OpenSearch (index, mappings, pipelines). Industrialiser les déploiements via Ansible / AWX. Documenter et accompagner les équipes.

- Concevoir et maintenir des dashboards Kibana complexes et performants. - Créer des visualisations, agrégations, filtres interactifs et fonctionnalités de drill-down. - Analyser et valoriser les données issues d'Elasticsearch, Filebeat, Logstash et THEIA. - Exploiter Kibana Machine Learning pour la détection d'anomalies et l'identification de tendances. - Traduire les besoins métiers/techniques en indicateurs et reportings pertinents. - Optimiser les requêtes et dashboards en collaboration avec les équipes Elasticsearch. - Automatiser les traitements avec Python. - Collaborer avec les équipes infrastructure et développement. Compétences impératives : - Kibana : Expert - Kibana ML : Expert - Elasticsearch : Confirmé - Python : Confirmé - Anglais professionnel

ContexteDans le cadre du renforcement de son infrastructure, notre client souhaite mettre en place une solution centralisée de gestion et d'analyse des logs afin d'améliorer la détection, l'analyse et la résolution des incidents. La mission consiste à accompagner la DSI dans la conception, l'intégration, l'industrialisation et la mise en production d'une plateforme ELK, ainsi que dans son dimensionnement et son exploitation. Environnement techniqueElastic Stack : Elasticsearch, Logstash, Kibana Rétention : 90 jours Volumétrie estimée : 6 To / 3 mois Croissance annuelle : 20 % SLA plateforme : 99,7 % 15 utilisateurs ELK 5 administrateurs RBAC Environnements : Production / Préproduction Environ 500 VM Windows Environ 500 VM Linux Logs applicatifs : environ 50 applications critiques et pertinentes MissionsConcevoir l'architecture cible de la plateforme ELK. Dimensionner l'infrastructure : CPU, RAM, stockage et capacité d'évolution. Centraliser les logs techniques et applicatifs. Mettre en place la collecte, le parsing et la normalisation des logs selon ECS. Configurer Elasticsearch, Logstash et Kibana. Mettre en œuvre les mécanismes de recherche, corrélation et alerting. Configurer la gestion des rôles et des accès RBAC. Mettre en place la haute disponibilité et la sécurisation de la plateforme. Assurer la supervision de la solution ELK. Mettre en place les procédures de sauvegarde et de restauration. Gérer les certificats et les upgrades de la plateforme. Intégrer la solution à l'infrastructure existante. Industrialiser et automatiser le déploiement des agents. Utiliser GPO / PowerShell pour les environnements Windows. Utiliser Ansible pour les environnements Linux. Préparer et accompagner la mise en production. Assurer l'accompagnement au démarrage et le transfert de compétences. Produire la documentation technique et les procédures d'exploitation. Préparer les éléments nécessaires à la réversibilité de la solution. Expertise recherchéeExpertise confirmée sur ELK / Elastic Stack. Très bonne maîtrise d'Elasticsearch, Logstash et Kibana. Expérience en architecture et dimensionnement de plateformes ELK. Maîtrise de la collecte et du traitement des logs. Connaissance de la normalisation ECS. Expérience des environnements de production à forte volumétrie. Maîtrise des environnements Windows et Linux. Connaissances AIX appréciées. Maîtrise de PowerShell et/ou Ansible. Connaissances en sécurité, certificats, RBAC et haute disponibilité. Expérience en sauvegarde, restauration et gestion des upgrades. Connaissances des architectures techniques, de la virtualisation et de SQL Server. Capacité à produire des documents d'architecture et d'exploitation. Dimension projetLe profil devra également disposer d'une expérience en pilotage de projets techniques et être capable d'interagir avec les équipes DSI et les experts infrastructure. Participation aux : COPIL trimestriels ; réunions techniques hebdomadaires ; points quotidiens ; ateliers techniques et COTEC. LivrablesNote de cadrage. Architecture cible et schémas logique et physique. Matrice des flux et ports de communication. Dimensionnement CPU / RAM / stockage. Conception de la haute disponibilité. Cahiers de tests. DAT / procédures / modes opératoires / RACI. Documentation ELK. Rapports hebdomadaires d'activité. Documentation de réversibilité. Documentation des règles de parsing, dashboards, alertes, templates et policies. Documentation de mise en production et d'exploitation. ContraintesDémarrage : 01/09/2026 Fin de mission : au plus tard le 18/12/2026 Localisation : Corbeil / Villaroche Français courant obligatoire. Anglais lu, parlé et écrit requis pour les échanges avec les filiales et la documentation.

Le🌟 Quel sera ton poste ? 🌟 💼 Poste : Administrateur / Administratrice DevOps H/F 📍 Lieu : Nantes (44) – Quartier Hauts-Pavés 🏠 Télétravail : Flexible 📝 Contrat : Portage ou CDI 👉 Contexte client : Tu rejoins un acteur majeur du secteur de l'assurance et des services financiers, engagé dans une forte dynamique de transformation digitale et d'industrialisation de ses plateformes techniques. Au sein de l'équipe Intégration / DevOps, tu contribueras à l'administration, l'industrialisation et l'automatisation des plateformes mises à disposition des équipes Études & Développement. Tu participeras également à l'exploitation de plateformes Kubernetes stratégiques et à l'amélioration continue des pratiques DevOps, de l'observabilité et de la sécurité des environnements. Tu évolueras dans un contexte technique riche, moderne et en constante évolution, au cœur des enjeux de performance, de fiabilité et de sécurisation des services numériques. Tu auras pour missions de : Administrer et faire évoluer les outils de la chaîne CI/CD tels que GitLab, Nexus et les solutions associées. Industrialiser et automatiser les déploiements et processus techniques grâce à Ansible, ArgoCD et aux pratiques DevOps. Administrer, maintenir et optimiser les plateformes Kubernetes, notamment VMware Tanzu. Assurer le bon fonctionnement, la performance et la disponibilité des environnements de conteneurisation. Mettre en œuvre et maintenir les solutions d'observabilité basées sur la suite ELK (Elasticsearch, Logstash, Kibana). Administrer et maintenir les serveurs Linux (RHEL, Rocky Linux). Gérer différents middleware et composants techniques : RabbitMQ, Gravitee, Keycloak, JBoss, Tomcat, Apache. Participer au Maintien en Conditions de Sécurité (MCS) des infrastructures et applications. Assurer le traitement des vulnérabilités des composants applicatifs, des systèmes Linux et des plateformes Kubernetes. Participer aux mises en production, évolutions techniques et changements d'infrastructure. Rédiger et maintenir la documentation technique ainsi que les procédures d'exploitation. Assurer un reporting régulier sur les actions réalisées et contribuer à l'amélioration continue des pratiques de l'équipe. 🧰 Stack technique : DevOps & CI/CD : GitLab, Nexus, SonarQube, ArgoCD, Ansible, Vault Conteneurisation & Cloud : Kubernetes, VMware Tanzu, Rancher, AKS, Veeam Kasten Observabilité : Elasticsearch, Kibana, Suite ELK Middleware & API : RabbitMQ, Gravitee, Keycloak, JBoss, Tomcat, Apache Systèmes : RHEL, Rocky Linux, Microsoft Windows Server Virtualisation : VMware vSphere