Offre d'emploi DataOps Hadoop

Architecture et Conception :

• Concevoir, mettre en œuvre et maintenir l'architecture Hadoop en fonction des besoins de l'entreprise.

• Élaborer des plans d'expansion et d'évolution pour les clusters Hadoop.

• Collaborer avec les équipes de développement et d'infrastructure pour concevoir des solutions adaptées aux besoins spécifiques du projet.

Installation et Configuration :

• Installer, configurer et déployer les clusters Hadoop en utilisant les meilleures pratiques.

• Gérer les configurations, les mises à jour et les correctifs des composants Hadoop.

Surveillance et Optimisation :

• Surveiller les performances du cluster Hadoop et identifier les goulots d'étranglement.

• Optimiser les performances en ajustant la configuration, en mettant à l'échelle le matériel ou en optimisant les requêtes.

• Mettre en place des outils de surveillance et des alertes pour détecter les problèmes potentiels.

Sécurité :

• Mettre en œuvre et maintenir des stratégies de sécurité robustes pour le cluster Hadoop.

• Gérer l'accès aux données sensibles et aux ressources du cluster en utilisant des technologies telles que Kerberos, LDAP, etc.

• Effectuer des audits de sécurité réguliers et remédier aux vulnérabilités identifiées.

Gestion des Données :

• Concevoir et mettre en œuvre des pipelines de données pour l'ingestion, le traitement et la distribution des données.

• Assurer la qualité des données en mettant en place des processus de nettoyage, de normalisation et de validation des données.

• Intégrer et gérer différents types de données, y compris les données structurées, semi-structurées et non structurées.

Automatisation et Orchestration :

• Automatiser les tâches courantes telles que la sauvegarde, la récupération, la gestion des ressources, etc.

• Mettre en place des workflows d'orchestration pour coordonner les tâches complexes entre les différents composants du cluster Hadoop.

Développement et Support :

• Fournir un support technique aux équipes de développement et d'analyse des données.

• Développer des outils et des scripts personnalisés pour faciliter l'administration et la gestion du cluster Hadoop.

• Collaborer avec les équipes de développement pour optimiser les applications et les requêtes pour le cluster Hadoop.

Formation et Documentation :

• Former les membres de l'équipe sur l'utilisation et la gestion du cluster Hadoop.

• Documenter les processus, les configurations et les bonnes pratiques pour faciliter la collaboration et le transfert de connaissances.

Veille Technologique :

• Suivre les tendances et les avancées technologiques dans le domaine du Big Data et de l'analyse de données.

• Évaluer de nouvelles technologies et proposer des solutions innovantes pour améliorer l'efficacité et les performances du cluster Hadoop.