Mission freelance Data engineer

Les livrables sont :

• Code Source

• Documentation

• KPI qualité

Compétences techniques :

• Databricks - Expert - Impératif

• Spark SQL - Expert - Impératif

• Azure Data Factory - Confirmé - Important

• Scala - Confirmé - Souhaitable

Description détaillée Contexte :

Le projet Data PUB - Digital vise à centraliser et harmoniser l'ensemble des données relatives à la diffusion publicitaire digital (impressions, chiffre d'affaire etc) pour permettre un reporting fiable selon différentes dimensions (canal de vente, origine, équipes commerciales, annonceurs etc) et garantir une vision unifiée de la performance digitale.

Environnement technique :

Azure Data Factory, Databricks, Spark Scala, SQL, Azure DevOps et Power BI.

Missions :

- Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory.

- Développer et optimiser des flux de transformation de données en Spark SQL.

- Maintenir des pipelines de traitement de données en Scala (faible part)

- Maintenir et développer de nouveaux indicateur de qualité de données

- Participer au refactoring du code existant pour améliorer sa performance et sa maintenabilité (réécriture en DBT)

- Garantir la qualité du code et veiller au respect des normes de développement au sein de l’équipe.

- Implémenter des tests unitaires et assurer la fiabilité des solutions.

- Maintenir les solutions de monitoring de l’application Digital.

Profil recherché :

- Profil orienté Analytics Engineer

- Maîtrise avérée de Spark SQL

- Bonne connaissance en modélisation BI

- Expérience confirmée sur l’écosystème Microsoft Azure (Data Factory, Databricks, Azure DevOps).

- Bonne connaissance de Git et des pratiques DevOps.

- Sens de la communication, force de proposition et capacité à travailler en équipe.

- Rigoureux, attaché aux bonnes pratiques de développement et à la qualité du code

Le profil est garant du bon fonctionnement et de la disponibilité des données dont il a la responsabilité. Il assure la prévention des dysfonctionnements des données et contribue à la bonne utilisation de celles-ci