Offre de mission Data Engineer / Ingénieur Data

Notre client grand compte dans le secteur bancaire souhaite mettre en œuvre plusieurs évolutions de son socle technique.
A ce titre le Bénéficiaire souhaite bénéficier de l’expertise du prestataire en termes de Data Engineering.

1) Dans ce cadre, la prestation consiste à contribuer à :

- L’intégration des cas d’usages Datalake dans le SI avec l’Architecture Techniques
- Identifier et prévenir les risques éventuels de dérapages en terme de coûts et de délais et proposer le cas échéant des moyens pragmatiques et cohérentes afin de limiter le risque identifié
- Développement et Implémentations des collectes de données, des jobs de traitement et Mapping de données (Spark/Scala)
- Développement des moyens de restitution via génération de fichier et ou API & Dashboarding ( Java Spring Batch/Boot, rest API, Postgres)
- A l’amélioration de la chaîne de livraison continue ( Jenkins, Sonar, Nexus , Kubernetes)
- Faire la revue de code avec l’entité
Avec l’Architecture Technique dans les choix d’implémentation au sein du SI
- Contribuer aux préconisations en termes d’architecture big data
- Mettre en place les moyens techniques en conformité avec les lignes directrices fixées par les métiers, les normes et standard du groupe
- Garantir de la qualité et de la maintenance technique du produit
- S’assurer que la stratégie de test du produit est bien respectée
Contribuer à la veille technique du périmètre et à sa diffusion

2) Livrables attendus :
- Documentation d’architecture technique des uses cases
- Documentation technique et fonctionnelle des collectes et traitements incluants les sources de données et les traitements associés.
- Développement des jobs de Collecte & de Traitements des données.
- Développement des services de restitution (Rest APi, fichier sur Object Storage)
- Automatisation du déploiement des Jobs (CI/CD)

3) Expertise attendue :
 Hadoop (Big Data)
 Java
 Jenkins
 PostGreSQL
 REST
 Scala
 Spark
Anglais bon niveau