Offre d'emploi Data Engineer

Dans le cadre d'un projet de décommissionnement de SAP BW, une organisation renforce son équipe Data Platform pour concevoir, industrialiser et optimiser ses pipelines de données sur Google Cloud.
Les données sources sont déposées sous forme brute dans BigQuery via SAP Datasphere. La mission porte principalement sur leur transformation en modèles analytiques fiables, performants et exploitables pour les usages décisionnels.

Livrables attendus :
- Pipelines de transformation développés avec dbt dans BigQuery.
- Modèles analytiques structurés et documentés.
- Tests de qualité intégrés aux traitements.
- Développements versionnés et intégrés au processus CI/CD.
- Documentation technique et d'exploitation.

Missions principales :
- Concevoir et développer les transformations de données sous BigQuery à l'aide de dbt.
- Structurer les modèles selon une architecture en couches de type médaillon : données brutes, données nettoyées et harmonisées, puis modèles analytiques.
- Traduire les règles de gestion définies avec les interlocuteurs métier et techniques en transformations SQL.
- Optimiser les performances et les coûts des traitements BigQuery, notamment par le partitionnement, le clustering et les stratégies de chargement adaptées.
- Mettre en place des tests et des contrôles de qualité des données.
- Industrialiser les développements en appliquant les bonnes pratiques de versionnement, de revue de code et d'intégration et de déploiement continus.
- Contribuer à la fiabilité des pipelines et à l'analyse des anomalies.
- Documenter les modèles de données, les transformations et les procédures d'exploitation.
- Selon les besoins, contribuer à l'exposition des données dans Looker à l'aide de LookML.