Find your next tech and IT Job or contract Apache Hive

Expert Data Hadoop/Hive/Hbase, Databricks 8 ans d’expériences + client logistique basé à Guyancourt (ou Montpellier, Nantes) un Expert Data Hadoop/Hive/Hbase, Databricks 8 ans d’expériences + Localisation Guyancourt / Télétravail 2 à 3 jours par semaine Durée de la mission : 2 ans Mission : Création d’une équipe transverse pour : Monitorer la qualité des données : intégration fraicheur des données sur les plateformes data identifier les sources de données actuelles (cartographie SI des données) créer un backlog de contrôles à mettre en place mise en place d’indicateurs o validation de la qualité de la Data de bout en bout o pilotage des correctifs à mettre en place en amont · Dimensionner et organiser la cellule • La cellule sera en relation avec les équipes de RUN les métiers et les autres Lignes Produit Compétences requises : Hadoop/Hive/Hbase Databricks

La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad CCO qui aujourd'hui gére l'Entrepôt des données client de la CIB à travers l'application INDIXIS utilisée par les équipes IT et métiers. L'objectif de la mission est de renforcer l'équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein de la Squad : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets Concrètement : la mission principale de la prestation aura pour but de : - traiter nos obsolescences de Framework (ex : springboot , spark2 ) - moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : - migration depuis tfs vers jenkins - création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python ) Expertises spécifiques : - Spark / PySpark /Python / Java / SpringBoot / .net - Hadoop sur infra on premise - Hive / SQL/HQL - Unix/Bash - Pipeline CI/CD jenkins - XLDeploy/XLRelease - Control-M - API