Partager cette offre
Dans le cadre du renouvellement d'un partenaire stratégique et de l'évolution de ses plateformes décisionnelles, notre client recherche un Data Engineer Big Data confirmé H/F pour rejoindre les équipes Risque et Finance de la filière Reporting Finance, Data & Marketing.
Vous évoluerez dans un environnement bancaire exigeant, où les enjeux de qualité des données, de performance, de sécurité, de traçabilité et de conformité réglementaire sont au cœur des projets.
Vous contribuerez à la conception, au développement et à l'industrialisation de traitements data à forte volumétrie permettant d'alimenter les datamarts réglementaires et les systèmes de reporting Risque et Finance.
Vos missionsAu sein d'une équipe Data Engineering, vous intervenez sur l'ensemble du cycle de vie des traitements de données.
Conception et développementRecueillir et analyser les besoins fonctionnels et techniques.
Concevoir des architectures de traitement distribuées performantes et évolutives.
Développer des pipelines batch robustes en environnement Big Data.
Réaliser des traitements Spark en Scala et des transformations SQL avancées.
Intégrer des données provenant de sources multiples et hétérogènes.
Participer aux choix de conception et aux revues techniques.
Mettre en œuvre des contrôles de qualité, de complétude et de cohérence des données.
Identifier, analyser et corriger les anomalies de traitement.
Garantir la traçabilité et la reproductibilité des flux de données.
Assurer le respect des exigences réglementaires et de gouvernance des données.
Optimiser les traitements Spark et SQL sur des volumes importants.
Travailler sur les problématiques de partitionnement, parallélisme et gestion des ressources.
Améliorer les performances des traitements et réduire les temps d'exécution.
Identifier et résoudre les goulots d'étranglement techniques.
Concevoir et maintenir les workflows d'orchestration sous Apache Airflow.
Participer à la mise en œuvre des pipelines CI/CD.
Industrialiser les déploiements et automatiser les processus.
Mettre en place les mécanismes de supervision, d'alerting et de gestion des erreurs.
Garantir la robustesse, l'idempotence et la résilience des traitements.
Assurer le suivi quotidien et mensuel des traitements.
Participer à l'analyse et à la résolution des incidents de production.
Suivre les rejets de données et piloter leur correction.
Contribuer à l'amélioration continue de la plateforme data.
Scala
Apache Spark
SQL avancé
Apache Airflow
Hadoop / HDFS
Apache Hive
Presto / Trino
Git
CI/CD
Automatisation des déploiements
Monitoring & Logging
Kafka
Bases relationnelles (Oracle, PostgreSQL, SQL Server...)
Bases NoSQL
Profil recherché
Vous justifiez d'une solide expérience en Data Engineering et intervenez de manière autonome sur des projets Big Data à forte volumétrie.
Compétences techniquesIndispensablesExpertise Apache Spark en environnement de production.
Très bonne maîtrise de Scala.
Excellente connaissance SQL et optimisation des requêtes.
Maîtrise de Hadoop, HDFS et Hive.
Expérience significative avec Apache Airflow.
Connaissances solides des pratiques DevOps et CI/CD.
Expérience des architectures de données distribuées.
Connaissance de Kafka.
Expérience des bases NoSQL.
Maîtrise de Presto ou Trino.
Expérience des environnements Cloud ou hybrides.
Une connaissance des domaines suivants sera particulièrement valorisée :
Risque de crédit
Reporting réglementaire
Finance bancaire
Data réglementaire
Datamarts Risque et Finance
La maîtrise des enjeux liés à :
la qualité des données,
la sécurité informatique,
la confidentialité,
la traçabilité,
et la conformité RGPD,
constitue un atout majeur.
Qualités recherchéesNous recherchons une personne :
Autonome et proactive
Rigoureuse et soucieuse de la qualité des livrables
À l'aise dans l'analyse et la résolution de problématiques complexes
Force de proposition sur les sujets techniques
Capable de travailler dans des environnements exigeants et critiques
Appréciant le travail collaboratif et les méthodes Agile
Dotée d'un excellent sens de la communication
Pipelines batch industrialisés et documentés
Jobs Spark/Scala optimisés
DAGs Airflow opérationnels
Datamarts Risque et Finance alimentés de manière fiable
Contrôles de qualité documentés
Tests unitaires et TNR réalisés
Documentation technique à jour
Déploiements sécurisés et exploitables en production
Environnement de travail
Intervention sur des projets stratégiques à forte visibilité.
Environnement Big Data mature et exigeant.
Traitement de données à forte volumétrie.
Forte composante architecture, performance et optimisation.
Sujets critiques pour les métiers Risque et Finance.
Collaboration avec des experts Data, Architecture et DevOps.
Découvrir ADONYS
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Big Data Confirmé (H/F)
ADONYS