Mission freelance POT9062 - Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris
Paris
Almatek
Le poste POT9062 - Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris
Partager cette offre
Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris.
Contexte de la mission
Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée.
Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise.
Missions principales
• Participer à la définition de l’architecture Data en lien avec les architectes et la squad
• Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données
• Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming)
• Mettre en œuvre les tests unitaires et automatisés
• Déployer le produit dans les différents environnements (CI/CD)
• Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation
• Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code
Environnement technique
Catégorie Technologies
Framework Big Data Hadoop Cloudera (requis)
Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié)
Messaging Kafka, Kafka Connect, Kafka Streams (apprécié)
Langages SQL (requis), Scala, Java, Shell, Python
Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB
DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release
Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana
Gouvernance RGPD, Data Lineage, Catalogage
Profil recherché
Profil recherché
Compétences techniques
– 7 à 10 ans d’expérience en Data Engineering / Big Data
– Maîtrise de Spark (batch et streaming) et de l’écosystème Hadoop/Cloudera
– Expérience avérée en conception d’architecture data (Lambda, Lakehouse, etc.)
– Capacité à optimiser les performances (partitionnement, tuning Spark, montée en charge)
– Expérience sur des projets build (construction from scratch, pas uniquement du run)
– Maîtrise des outils CI/CD et des pratiques DevOps
Expérience sectorielle
– Expérience en banque impérative (BFI, Risk, Conformité, Marchés de capitaux, Retail Banking)
– Compréhension des enjeux métiers bancaires : réglementation, conformité, parcours digitaux
– Idéalement : expérience dans un grand groupe bancaire français (SG, Natixis, BNP, BPCE, CA…)
Savoir-être (pondération forte)
– Posture Tech Lead : force de proposition, prise de lead, participation aux choix d’architecture
– Excellent communicant, pédagogue, capable de vulgariser les sujets techniques
– Proactif, rigoureux, autonome
– Capacité à challenger les besoins métiers et proposer des solutions adaptées
– Dynamique, orienté résultats, apte à évoluer dans un contexte de build à forts enjeux
Atouts différenciants
• Expérience en architecture Lambda (batch + streaming temps réel)
• Connaissance de Trino/Starburst, Iceberg, Lakehouse
• Expérience en mise en production de modèles IA/ML (MLOps)
• Encadrement d’équipes de Data Engineers
• Migration de clusters (Hortonworks ? Cloudera, on-prem ? cloud)
Localisation : Paris / Île-de-France
Environnement de travail
Profil recherché
Compétences techniques
– 7 à 10 ans d’expérience en Data Engineering / Big Data
– Maîtrise de Spark (batch et streaming) et de l’écosystème Hadoop/Cloudera
– Expérience avérée en conception d’architecture data (Lambda, Lakehouse, etc.)
– Capacité à optimiser les performances (partitionnement, tuning Spark, montée en charge)
– Expérience sur des projets build (construction from scratch, pas uniquement du run)
– Maîtrise des outils CI/CD et des pratiques DevOps
Expérience sectorielle
– Expérience en banque impérative (BFI, Risk, Conformité, Marchés de capitaux, Retail Banking)
– Compréhension des enjeux métiers bancaires : réglementation, conformité, parcours digitaux
– Idéalement : expérience dans un grand groupe bancaire français (SG, Natixis, BNP, BPCE, CA…)
Savoir-être (pondération forte)
– Posture Tech Lead : force de proposition, prise de lead, participation aux choix d’architecture
– Excellent communicant, pédagogue, capable de vulgariser les sujets techniques
– Proactif, rigoureux, autonome
– Capacité à challenger les besoins métiers et proposer des solutions adaptées
– Dynamique, orienté résultats, apte à évoluer dans un contexte de build à forts enjeux
Atouts différenciants
• Expérience en architecture Lambda (batch + streaming temps réel)
• Connaissance de Trino/Starburst, Iceberg, Lakehouse
• Expérience en mise en production de modèles IA/ML (MLOps)
• Encadrement d’équipes de Data Engineers
• Migration de clusters (Hortonworks ? Cloudera, on-prem ? cloud)
Localisation : Paris / Île-de-France
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
POT9062 - Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris
Almatek