Job Vacancy DATA ENGINEER PYSPARK / PALANTIR / DATABRICKS

Bonjour,

Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client.

L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers :

Data and System Engineering, composée des équipes suivantes :

Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture

La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus.

Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity

Crews et domaines fonctionnels transverses

Contrainte forte du projet : Palantir Foundry

Livrable : Data Pipeline Risk

Compétences techniques :

Palantir Foundry – Confirmé – Impératif

Python / Pyspark – Confirmé – Impératif

Connaissances linguistiques :

Français courant (impératif)

Anglais courant (impératif)

Description détaillée :

Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry.

Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante.

Livrables attendus :

Pipelines de données pour les fondations Risk, livrés dans les délais

Code documenté et testé unitairement

Contrôles qualité et santé des données implémentés

Expérience et compétences attendues :

+5 ans en tant que Data Engineer

Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…)

Maîtrise de Python et Pyspark

Bonnes pratiques de développement (gitflow, tests unitaires, documentation)

Bonne compréhension de l’architecture data mesh et medallion architecture

Expérience sur Databricks un atout

Expérience en (ré)assurance ou dans le domaine du risque financier un atout

Esprit d’équipe

Curiosité et goût du challenge

Capacité à communiquer avec différents interlocuteurs

Rigueur et sens analytique

Définition du profil :

Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).