Trouvez votre prochaine offre d’emploi ou de mission freelance Apache à Marseille

En quelques mots Cherry Pick est à la recherche d'un Data Engineer/Architect(H/F) , pour le compte de l'un de ses clients qui opère dans le domaine de la fabrication et la commercialisation des drones. Description 🧭 Contexte de la mission Dans un contexte de forte croissance des usages data autour de données issues de capteurs drones , la mission vise à concevoir et structurer une plateforme data internalisée , capable d’absorber des volumes importants de données hétérogènes (temps réel et batch), tout en répondant à des enjeux de sensibilité des données clients et de maintenance prédictive . 🛠️ Missions principales et rôle Concevoir et mettre en place un Data Lake basé sur une architecture médaillon (Bronze / Silver / Gold) Gérer l’ingestion et le stockage de données capteurs drones et de données tabulaires Mettre en œuvre une architecture data basée sur Apache Iceberg Garantir la disponibilité rapide des données après les vols d’essai Participer à la conception d’une brique data autonome , isolable pour les cas de données sensibles clients Contribuer à l’ internalisation de la plateforme data Traiter des pics de charge importants (jusqu’à 10 Go de données arrivant simultanément) Collaborer avec les équipes plateforme et data science sur les cas d’usage de maintenance prédictive 🎯 Objectifs Centraliser et fiabiliser les données drones dans un Data Lake scalable et robuste Permettre une exploitation rapide des données post-vol Sécuriser et isoler certaines données selon les contraintes clients Préparer les données pour des usages avancés (analytique, maintenance prédictive)

L’objectif principal est la conception et la mise en œuvre d’un Data Lake moderne sur GCP , basé sur une architecture Médaillon (Bronze / Silver / Gold) et s’appuyant sur Apache Iceberg , avec la capacité de détacher une brique autonome pour certains clients manipulant des données sensibles. Missions principalesArchitecture & Data Platform Concevoir et mettre en place un Data Lake sur GCP basé sur Apache Iceberg Définir et implémenter une architecture Médaillon (ingestion, transformation, exposition) Participer aux choix d’architecture pour une brique data autonome dédiée aux données sensibles Contribuer à l’ internalisation de la plateforme data (design, outillage, bonnes pratiques) Data Engineering Développer des pipelines d’ingestion pour : Données capteurs issues de drones Données tabulaires associées Gérer des pics de charge importants (jusqu’à 10 Go ingérés simultanément) Garantir la disponibilité rapide des données après les vols d’essai Mettre en place des contrôles de qualité, traçabilité et gouvernance des données Data & Analytics Préparer les données pour des cas d’usage de maintenance prédictive Optimiser les performances de lecture et d’écriture (partitionnement, schéma, versioning) Collaborer avec les équipes data science / métier Sécurité & conformité Travailler dans un contexte habilitable (données sensibles, clients spécifiques) Appliquer les contraintes de sécurité et de cloisonnement des données

Nous recherchons un Ingénieur Intégration & Parsing de Journaux pour rejoindre l’équipe Cybersécurité au sein du Centre des Opérations de Sécurité (SOC) . Rôle et responsabilités Le consultant sera responsable de la gestion complète du processus de collecte des journaux provenant des environnements cloud et on-premise , ainsi que des outils de sécurité soutenant les opérations SOC 24/7 . Rattaché au responsable de l’équipe Build, il travaillera en étroite collaboration avec les parties prenantes Cybersécurité, IT et Métiers pour garantir une intégration robuste, évolutive et sécurisée des journaux . Principales missions : Concevoir, mettre en œuvre et maintenir les pipelines de collecte et de parsing des journaux. Gérer et optimiser les systèmes d’ingestion et de transfert des logs via des outils tels que Fluentd ou Kafka . Développer des parsers avancés pour normaliser et structurer les données selon des schémas spécifiques. Mettre en place des parsers-as-code pour intégrer de grands volumes de données issues de sources personnalisées. Garantir la qualité, la fiabilité et la standardisation des journaux sur l’ensemble des systèmes intégrés. Collaborer avec les équipes réseau, les responsables applicatifs et les analystes SOC pour intégrer de nouvelles sources de logs. Maintenir les règles de parsing, de normalisation et d’enrichissement pour l’ingestion SIEM (Elastic SIEM ou équivalent). Diagnostiquer et résoudre les problèmes d’ingestion ou de parsing en coordination avec les équipes concernées. Mettre en place des pipelines CI/CD pour le déploiement automatisé des configurations d’intégration. Appliquer des pratiques DevSecOps pour sécuriser et automatiser les flux d’ingestion. Surveiller en continu les pipelines d’ingestion et contribuer à leur amélioration. Participer à la création de parsers à l’aide d’ IA agentique . Maintenir la documentation et les schémas techniques des workflows d’intégration. Livrables attendus Pipelines d’ingestion et de parsing opérationnels. Documentation technique et schémas d’architecture. Scripts et configurations CI/CD. Tableaux de bord de suivi et d’amélioration continue. Compétences et qualifications requisesTechniques Expérience avérée en tant qu’ Ingénieur Intégration de Journaux , Ingénieur Plateforme ou Ingénieur Cloud dans un contexte SOC ou cybersécurité. Maîtrise des outils de collecte et de traitement des logs ( Fluentd , Logstash , Kafka …). Bonne compréhension des techniques de parsing, normalisation et enrichissement (ASIM, UDM, OCSF, DSM, ECS, CIM, CEF, LEEF…). Solide connaissance des services AWS, GCP et Azure liés à la supervision et à la journalisation. Expérience avec les outils CI/CD (GitLab CI/CD, Jenkins…). Maîtrise de Ruby (développement de plugins Fluentd) et de Python/Bash . Familiarité avec les solutions SIEM (Google SecOps, Elastic SIEM, Sentinel, Splunk ou équivalent). Compréhension des concepts de cybersécurité , détection , et opérations SOC . Pratique des approches DevSecOps et de l’automatisation. Connaissance des formats de règles SIGMA et YARA .