Dans le cadre du renforcement de ses équipes Data, un acteur majeur du secteur de l'assurance recherche un Ingénieur DataOps Senior / Expert pour intervenir au sein d'une équipe dédiée aux usages décisionnels. La mission consiste à assurer l'exploitation, la fiabilité et l'industrialisation des environnements Data hors production (Développement, Recette et Préproduction). En collaboration avec le responsable des environnements, les équipes de développement et les équipes de production, le consultant contribuera à garantir la disponibilité des plateformes, la cohérence des configurations et la qualité des livraisons applicatives. Principales responsabilités : Assurer l'exploitation quotidienne des environnements Data DEV, RCT et PREPROD. Réaliser les opérations de rafraîchissement des données et de synchronisation des environnements. Installer et déployer les composants applicatifs : traitements Spark/Scala, ETL Informatica, scripts Oracle SQL/PLSQL et Shell. Superviser les traitements et les chaînes batch, notamment via OPCON. Analyser les logs, diagnostiquer les incidents techniques et effectuer les relances nécessaires. Développer des scripts et outils d'automatisation pour fiabiliser les déploiements et réduire les interventions manuelles. Mettre en place et maintenir des dashboards de monitoring et d'observabilité. Automatiser les contrôles de cohérence des bases de données, des configurations et des versions applicatives. Produire la documentation d'exploitation, les alertes et les reportings techniques. Accompagner les équipes de développement Data et de production dans leurs opérations techniques.
Le besoin La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours. Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur. Vos missionsExploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout. Refresh des données entre environnements, puis leur automatisation. Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell. Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages. Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon). Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases). Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage. Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables. Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.
