Job Vacancy DATA ENGINEER DATABRICKS

Je recherche pour un de mes client dans le monde le l'assurance un Data Engineer Databricks :

Les principales missions sont les suivantes :

• Faire évoluer les pipelines de données existantes dans l’environnement Databricks, en s’appuyant sur Unity Catalog pour assurer la traçabilité, la gouvernance et la sécurité des données

• Intégrer et structurer les données de gestion interne dans la plateforme, en assurant leur cohérence avec les besoins métiers (analyse d’impact).

• Réaliser des analyses exploratoires et des contrôles de cohérence, afin d’identifier les anomalies, de proposer une évolution de la brique existante et de fiabiliser les jeux de données.

• Optimiser les traitements du lot1 et les performances, tout en assurant une documentation technique rigoureuse et une collaboration étroite avec les équipes MOA et métiers.

Niveau d’expérience • Expérience opérationnelle (≥ 7 ans) en data engineering ou data analyse

• Expérience confirmée en environnement cloud et CI/CD

Compétences clés

• Conception et optimisation de pipelines de données complexes dans Databricks

• Intégration de données métiers

• Mise en œuvre de contrôles qualité, sécurité et anonymisation

• Analyse exploratoire, production d’indicateurs et visualisations

• Documentation technique, versioning et collaboration transverse

• Mise en place de processus CI/CD pour les workflows data

• Compétence appréciée :

Connaissance des bases client, notamment dans le cadre de l’exploitation de données du secteur assurance

Outils et pratiques maîtrisés

• Databricks, Spark (PySpark)

• Unity Catalog, SQL avancé

• Outils de visualisation : Power BI

• Jenkins pour l’automatisation des déploiements

• Pratiques CI/CD : tests automatisés, intégration continue, déploiement de pipelines

• Git / GitHub / GitLab

• Cloud : Azure (préféré)

Je recherche pour un de mes client dans le monde le l'assurance un Data Engineer Databricks :

Les principales missions sont les suivantes :

• Faire évoluer les pipelines de données existantes dans l’environnement Databricks, en s’appuyant sur Unity Catalog pour assurer la traçabilité, la gouvernance et la sécurité des données

• Intégrer et structurer les données de gestion interne dans la plateforme, en assurant leur cohérence avec les besoins métiers (analyse d’impact).

• Réaliser des analyses exploratoires et des contrôles de cohérence, afin d’identifier les anomalies, de proposer une évolution de la brique existante et de fiabiliser les jeux de données.

• Optimiser les traitements du lot1 et les performances, tout en assurant une documentation technique rigoureuse et une collaboration étroite avec les équipes MOA et métiers.

Niveau d’expérience • Expérience opérationnelle (≥ 7 ans) en data engineering ou data analyse

• Expérience confirmée en environnement cloud et CI/CD

Compétences clés

• Conception et optimisation de pipelines de données complexes dans Databricks

• Intégration de données métiers

• Mise en œuvre de contrôles qualité, sécurité et anonymisation

• Analyse exploratoire, production d’indicateurs et visualisations

• Documentation technique, versioning et collaboration transverse

• Mise en place de processus CI/CD pour les workflows data

• Compétence appréciée :

Connaissance des bases client, notamment dans le cadre de l’exploitation de données du secteur assurance

Outils et pratiques maîtrisés

• Databricks, Spark (PySpark)

• Unity Catalog, SQL avancé

• Outils de visualisation : Power BI

• Jenkins pour l’automatisation des déploiements

• Pratiques CI/CD : tests automatisés, intégration continue, déploiement de pipelines

• Git / GitHub / GitLab

• Cloud : Azure (préféré)