Notre client, acteur majeur de son secteur, est à la recherche de son futur Ingénieur DevOps Kafka (H/F) pour son site de la région toulousaine, dans le cadre d'un programme stratégique de modernisation des échanges et de renforcement de l'interopérabilité du système d'information. ### Vos missions Intégré à une équipe en charge des plateformes d'échanges et d'intégration, vous devrez : * Participer à la finalisation et à l'industrialisation de la plateforme Kafka. * Accompagner la migration progressive des flux historiques vers une architecture moderne orientée événements. * Contribuer au désengagement des solutions de messagerie existantes telles que HornetQ. * Assurer la performance, la disponibilité et la montée en charge des plateformes d'échanges. * Automatiser les processus d'exploitation et de déploiement dans une démarche DevOps. * Accompagner les équipes projets dans l'intégration de nouveaux flux. * Mettre en place les outils de supervision, de monitoring et d'observabilité. * Participer aux travaux d'amélioration continue et de sécurisation des plateformes. Les compétences techniques * Apache Kafka * DevOps * Floware * Middleware et solutions de messaging * HornetQ * Architecture de flux et interopérabilité SI * CI/CD * Monitoring et observabilité * Docker et/ou Kubernetes (apprécié) * Git et outils d'automatisation
OBJECTIF Dans le cadre du programme ITAM et la mise en place du Group Global Inventory ainsi que l'alimentation industrielle de la CMDB Group, le bénéficiaire renforce ses activités autour du produit BMC Helix Discovery. MISSION Responsable Discovery Data product : - développement des query API Discovery en regard des besoins production - construction des data sets dans l'outil de query engine - exposition du data product à la consommation opérationnelle - interfaçage au MCP pour alimenter l'IA Production - MCO et optimisation des query et data sets DevOps Discovery - Configuration et paramétrage de BMC Discovery : Configurer et paramétrer BMC Discovery pour collecter les données d'actifs informatiques, telles que les périphériques réseau, les logiciels, les matériels, etc. - Intégration des données de BMC Discovery : Intégrer les données de BMC Discovery dans le système de nettoyage des données pour enrichir les données existantes. - Définition des règles de correspondance : Définir des règles de correspondance pour associer les données de BMC Discovery avec les données existantes dans le système. - Mise en place de la synchronisation des données : Mettre en place la synchronisation des données entre BMC Discovery et le système de nettoyage des données. - Gestion des erreurs et des exceptions : Gérer les erreurs et les exceptions qui peuvent survenir lors de la collecte, de l'intégration et de la synchronisation des données. Opérationnellement, les outils de travail: - BMC Helix Discovery( Mandatory) - Starburst (Data product, MCP, AI) - Spark / Pyspark - ServiceNow ITSM (change, incident, problem, request) - Jira / confluence Nice to have: - Tableau server / Tableau Desktop / PowerBI / Dataikku - Talend Real Time Big Data / ESB, ETL, EAI - Talend Data Catalogue - PostGreSQL / Apache Kafka / S3 storage Environnement : L'expert utilisera BMC Discovery, et d'autres outils pour collecter et intégrer les données, pour ensuite les exposer en data products pour alimenter des IA.
La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d'ingénieur, école d'informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais
