Job position Data Engineer Spark/Scala
Share this job
Nous recherchons un Data Engineer Spark/Scala
Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala.Les livrables sont:
Programmes développés
Dossier de conception technique
Dossier de tests unitaires
Compétences techniques:
Spark Scala - Confirmé - Impératif
Big Data - Confirmé - Impératif
Description détaillée:
Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes :
Solutions utilisées :
- Socle Big Data (OI1) :
o Compute : Yarn
o Storage: HDFS (avec chiffrement pour C3), Hive
o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos
Frameworks/langage/outils utilisés :
- MoveNAStoHDFS
- Moteur d'ingestion v2
- Spark Scala
- Dictionnaire de données
- Socle Data Science :
o DataiKu Automation
Frameworks/langage/outils utilisés:
- Spark 3
- HQL
Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.
Apply to this job!
Find your next career move from +1,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer Spark/Scala
CS Group Solutions
