Contractor job Data Platform Engineer (Hadoop CDP/HDP, Spark, Airflow, Kubernetes) - IDF

Objectifs de la mission

Le bénéficiaire souhaite une prestation d’accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters,

Prestations demandées

Les missions sont:

Les consultants retenus auront pour mission :

• Administration et optimisation de clusters HDP/CDP

• Installation, configuration et maintenance des clusters.

• Gestion des mises à jour et des patchs de sécurité.

• Surveillance des performances et optimisation des ressources.

• gestion/administration de clusters Kubernetes

• Automatisation des déploiements avec Operators…, etc.

• Sécurisation et monitoring des environnements conteneurisés.

• Orchestration des workflows avec Apache Airflow :

• Développement et optimisation des DAGs pour la gestion des pipelines de données.

• Gestion des dépendances et optimisation des temps d’exécution.

• Intégration avec les autres outils de l’écosystème.

• Traitement et analyse des données avec Apache Spark :

• Développement et optimisation des jobs Spark (batch et streaming).

• Gestion des performances et tuning des jobs.

• Intégration avec les systèmes de stockage distribués.

• Optimisation des requêtes et accès aux données avec Starburst :

• Configuration et administration de Starburst.

• Optimisation des requêtes SQL distribuées.

• Sécurisation et gestion des accès aux différentes sources de données.

Français/Anglais