Le poste Data Engineer Spark Senior
Partager cette offre
Analyse des Exigences :
Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement.
Conception de Solutions :
Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark.
Proposer des modèles de données adaptés aux cas d'utilisation spécifiques.
Développement de Pipelines de Données :
Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données.
Utiliser Spark Streaming pour le traitement en temps réel des flux de données.
Optimisation des Performances :
Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations.
Gestion des Versions :
Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark.
Tests et Validation :
Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression.
Valider la qualité des données à différentes étapes du pipeline.
Déploiement et Monitoring :
Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel.
Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité.
Sécurité :
Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline.
Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données.
Documentation :
Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques.
Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.
Profil recherché
Expérience :
Au moins 5 à 7 ans d'expérience dans le domaine du développement de logiciels et de l'ingénierie des données, avec une expertise spécifique dans Apache Spark.
Une expérience significative dans la conception, le développement et le déploiement de pipelines de données distribués et évolutifs utilisant Spark.
Compétences Techniques :
Maîtrise avancée d'Apache Spark, y compris les concepts de base, les API RDD, DataFrame et Dataset, ainsi que Spark SQL et Spark Streaming.
Solide compréhension des technologies Big Data telles que Hadoop, Hive, HDFS, Kafka, etc.
Excellente maîtrise des langages de programmation comme Scala, Python ou Java, avec une préférence pour Scala pour le développement Spark.
Expérience pratique dans l'optimisation des performances Spark, y compris l'ajustement des configurations, l'utilisation efficace de la mémoire, la gestion des partitions, etc.
Connaissance des outils de développement et de déploiement tels que Git, Jenkins, Docker, Kubernetes, etc.
Environnement de travail
Le client utilise Spark pour traiter les données de streaming et fournir des analyses en temps réel pour améliorer l'expérience utilisateur, personnaliser les recommandations de contenu et optimiser les performances du système.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +15 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Spark Senior
KLETA
