Share this job
Le besoin
La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours.
Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur.
Vos missionsExploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout.
Refresh des données entre environnements, puis leur automatisation.
Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell.
Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages.
Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon).
Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases).
Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage.
Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables.
Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.
Candidate profile
Un profil DevOps orienté Data : environ 75 % d'exploitation, d'automatisation et de MCO, et 25 % de développement Data.
Indispensable
Solide expérience d'exploitation de plateformes Data on-premise : Hadoop, Hive, Spark.
Très bonne maîtrise d'Oracle et du PL/SQL.
Shell Linux et scripting Python.
Git et pipelines CI/CD (GitLab).
Pratique d'un ordonnanceur : relance, compréhension du scheduling et des dépendances (Opcon idéalement ; Control-M, Airflow ou Oozie également appréciés).
Apprécié
Informatica.
Google Cloud Platform.
Stack ELK (Elasticsearch, Logstash, Kibana) ou autre outil de monitoring.
Scala, MongoDB, Kafka.
Working environment
Un profil DevOps orienté Data : environ 75 % d'exploitation, d'automatisation et de MCO, et 25 % de développement Data.
Indispensable
Solide expérience d'exploitation de plateformes Data on-premise : Hadoop, Hive, Spark.
Très bonne maîtrise d'Oracle et du PL/SQL.
Shell Linux et scripting Python.
Git et pipelines CI/CD (GitLab).
Pratique d'un ordonnanceur : relance, compréhension du scheduling et des dépendances (Opcon idéalement ; Control-M, Airflow ou Oozie également appréciés).
Apprécié
Informatica.
Google Cloud Platform.
Stack ELK (Elasticsearch, Logstash, Kibana) ou autre outil de monitoring.
Scala, MongoDB, Kafka.
Apply to this job!
Find your next career move from +10,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Ingénieur DataOps
Cherry Pick