Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Bordeaux

Nous recherchons un expert Data IT pour accompagner la migration des projets vers le Cloud interne et soutenir les équipes de développement dans l’adoption des bonnes pratiques de développement , en intégrant les enjeux de sécurité et de gouvernance des données . Il contribuera à la mise en place d’automatisation et d’industrialisation selon les principes DevSecOps , participera aux chantiers d’amélioration continue et au monitoring transverse, tout en intervenant dans les premières implémentations de solutions Gen AI appliquées à la donnée . Acteur clé de la stratégie Data France , il apportera conseil et expertise auprès des squads, animera des sessions de formation et mènera des études d’optimisation des services de l'équipe Data . Une veille technologique active et la maîtrise de l’environnement Big Data Hadoop ainsi que du développement SPARK SCALA sont indispensables pour ce poste.

Support Technique Niveau 2 et 3 sur Cloudera Data Platform • Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera. • Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers. • Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire. • Implémenter et améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes. • Optimiser la performance des services et traitements Hadoop, Spark et Kafka. Gestion et Optimisation de Kafka • Administrer et optimiser l’infrastructure Kafka sur Cloudera. • Gérer la scalabilité et la résilience des clusters Kafka. • Assurer une supervision efficace des topics, brokers et consommateurs. • Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets. • Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka. Automatisation et Développement • Développer et maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation. • Automatiser la gestion des incidents récurrents et les procédures de maintenance. • Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées. Optimisation et Dimensionnement de l’Infrastructure • Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail. • Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources. • Analyser et proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier. • Assurer une veille technologique et être force de proposition pour améliorer la plateforme. Documentation et Transmission de Connaissances • Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre. • Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents. • Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.