Mission freelance Ingénieur DataOps / SRE Data
France
Montreal Associates
Le poste Ingénieur DataOps / SRE Data
Partager cette offre
Le consultant interviendra pour assurer le support opérationnel et contribuer à la fiabilité, la performance et la bonne utilisation des plateformes Big Data.
Missions principales- Assurer le support de niveau 2 en production (PROD) sur les plateformes Spark, Airflow et Starburst.
- Prendre en charge la gestion des incidents, l'analyse des causes racines (RCA) et la résolution.
- Contribuer à l'optimisation des traitements Spark sur Kubernetes : tuning, configuration, dimensionnement, gestion des ressources.
- Optimiser et fiabiliser l'orchestration Airflow/Astronomer.
- Participer à la gestion des catalogues Starburst (Trino) et au suivi des performances des requêtes distribuées.
- Accompagner les équipes métiers pour un usage efficace, sécurisé et performant des plateformes.
- Maintenir et enrichir la documentation d'exploitation, procédures et guides utilisateurs.
- Participer à l'amélioration continue de l'écosystème : automatisation, standardisation, observabilité, fiabilité.
Compétences techniques attenduesExpertise en environnement Data / Production
- Expérience confirmée en exploitation Big Data en production.
- Kubernetes / IKS / OpenShift
- Apache Spark
- Apache Airflow / Astronomer
- Starburst (Trino)
- Maîtrise du support et du troubleshooting sur des services déployés sur Kubernetes (Helm charts, opérateurs…).
- Solide expertise en monitoring / observabilité : logs, métriques, dashboards.
- (Dynatrace, Kibana, Grafana…)
- Bonnes pratiques d'exploitation de traitements distribués.
- Connaissances approfondies en :
- Tuning Spark
- Profiling applicatif
- Gestion fine des ressources (executor, driver, mémoire, shuffle…)
- Compétences en scripting : Bash, Python, Ansible (appréciées).
- Maitrise des chaînes CI/CD : Git, Jenkins, GitLab CI…
- Compétences en sécurité : Hashicorp Vault Secrets, PKI, gestion des certificats.
Compétences transverses
- Excellente capacité d'analyse et de diagnostic d'incidents complexes.
- Rigueur et fiabilité en environnement de production critique.
- Capacités rédactionnelles pour formaliser procédures, guides et rapports.
- Bon relationnel et capacité à accompagner les équipes métiers.
- Français et anglais opérationnel.
Montreal Associates is acting as an Employment Business in relation to this vacancy.
Profil recherché
- Prestataire disposant d'une expérience significative en exploitation de plateformes Big Data sur Kubernetes.
- Capacité à intégrer rapidement un contexte technique exigeant et à intervenir en autonomie.
Environnement de travail
Contexte
Dans le cadre du renforcement de notre capacité de support N2, nous recherchons des prestataires spécialisés dans l'exploitation et le support de plateformes Big Data en production.
L'équipe assure le maintien en conditions opérationnelles (MCO) des plateformes suivantes, déployées sur IKS (IBM Kubernetes Service) et prochainement sur OpenShift :
- Apache Spark
- Apache Airflow / Astronomer
- Starburst (Trino)
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Ingénieur DataOps / SRE Data
Montreal Associates
