Offre d'emploi Data engineer
Paris
SMILE
Le poste Data engineer
Partager cette offre
Contexte / Objectifs :
1. Développement de Pipelines de Données :
o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources.
o Implémenter des flux de données robustes et performants sur Cloudera.
o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées.
o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données.
2. Optimisation et Performance :
o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement.
o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase.
o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme.
3. Assurance Qualité et Déploiement (DevOps) :
o Écrire des tests unitaires et d'intégration pour garantir la qualité du code.
o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD).
o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement.
o Gérer les dépendances et les versions avec Maven.
4. Collaboration et Documentation :
o Documenter le code, les architectures et les processus.
o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.
Profil recherché
Expertises spécifiques :
• Expérience : Minimum de 6 ans d'expérience en développement Big Data et/ou Data Engineering. Expérience significative dans le domaine financier
• Compétences Techniques Indispensables :
o Apache Spark 3.x : Excellente maîtrise du développement, optimisation et scalabilité des applications Spark Java .
o Java 8 : Maîtrise approfondie pour développement Spark.
o Scala : Souhaitable .
o Stack Cloudera : Expérience avérée avec Hadoop (HDFS,Hive, HBase ..).
o SQL : Maîtrise indispensable pour l'exploitation et l'analyse des données.
oDevops : CI/CD, SonarQube, checkmarx, XLD.
Environnement de travail
Postulez à cette offre !
Trouvez votre prochain job parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data engineer
SMILE