Job position Ingénieur DataOps / SRE Data
Share this job
Le consultant interviendra pour assurer le support opérationnel et contribuer à la fiabilité, la performance et la bonne utilisation des plateformes Big Data.
Missions principales- Assurer le support de niveau 2 en production (PROD) sur les plateformes Spark, Airflow et Starburst.
- Prendre en charge la gestion des incidents, l'analyse des causes racines (RCA) et la résolution.
- Contribuer à l'optimisation des traitements Spark sur Kubernetes : tuning, configuration, dimensionnement, gestion des ressources.
- Optimiser et fiabiliser l'orchestration Airflow/Astronomer.
- Participer à la gestion des catalogues Starburst (Trino) et au suivi des performances des requêtes distribuées.
- Accompagner les équipes métiers pour un usage efficace, sécurisé et performant des plateformes.
- Maintenir et enrichir la documentation d'exploitation, procédures et guides utilisateurs.
- Participer à l'amélioration continue de l'écosystème : automatisation, standardisation, observabilité, fiabilité.
Compétences techniques attenduesExpertise en environnement Data / Production
- Expérience confirmée en exploitation Big Data en production.
- Kubernetes / IKS / OpenShift
- Apache Spark
- Apache Airflow / Astronomer
- Starburst (Trino)
- Maîtrise du support et du troubleshooting sur des services déployés sur Kubernetes (Helm charts, opérateurs…).
- Solide expertise en monitoring / observabilité : logs, métriques, dashboards.
- (Dynatrace, Kibana, Grafana…)
- Bonnes pratiques d'exploitation de traitements distribués.
- Connaissances approfondies en :
- Tuning Spark
- Profiling applicatif
- Gestion fine des ressources (executor, driver, mémoire, shuffle…)
- Compétences en scripting : Bash, Python, Ansible (appréciées).
- Maitrise des chaînes CI/CD : Git, Jenkins, GitLab CI…
- Compétences en sécurité : Hashicorp Vault Secrets, PKI, gestion des certificats.
Compétences transverses
- Excellente capacité d'analyse et de diagnostic d'incidents complexes.
- Rigueur et fiabilité en environnement de production critique.
- Capacités rédactionnelles pour formaliser procédures, guides et rapports.
- Bon relationnel et capacité à accompagner les équipes métiers.
- Français et anglais opérationnel.
Montreal Associates is acting as an Employment Business in relation to this vacancy.
Candidate profile
- Prestataire disposant d'une expérience significative en exploitation de plateformes Big Data sur Kubernetes.
- Capacité à intégrer rapidement un contexte technique exigeant et à intervenir en autonomie.
Working environment
Contexte
Dans le cadre du renforcement de notre capacité de support N2, nous recherchons des prestataires spécialisés dans l'exploitation et le support de plateformes Big Data en production.
L'équipe assure le maintien en conditions opérationnelles (MCO) des plateformes suivantes, déployées sur IKS (IBM Kubernetes Service) et prochainement sur OpenShift :
- Apache Spark
- Apache Airflow / Astronomer
- Starburst (Trino)
Apply to this job!
Find your next career move from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Ingénieur DataOps / SRE Data
Montreal Associates
