Offre d'emploi Développeur Data GCP

Contexte du poste:

Le poste concerne un projet de migration et de refonte de traitements de données vers GCP, dans le cadre d’un projet dans le secteur des télécommunications.

Le besoin porte sur :

- La migration de traitements Python existants provenant d’une ancienne infrastructure.

- Le portage et la restructuration de données.

- L’atterrissage des données dans BigQuery.

- Le traitement de données froides et chaudes, avec une partie temps réel prise en charge via Kafka.

- Les données traitées seraient ensuite consolidées afin de pouvoir être exploitées.

Missions principales:

- Migrer les traitements existants en Python vers GCP.

- Reprendre, adapter et optimiser les pipelines pour un fonctionnement sur BigQuery.

- Participer à la restructuration des données et à la mise en place de nouveaux traitements.

Assurer le traitement :

de données « froides » (batch),

de données « chaudes » (temps réel) via Kafka.

Contribuer à l’industrialisation, aux tests, et à la mise en production sur GCP.

Compétences techniques requises:

- Maîtrise de GCP (Google Cloud Platform)

- Très bonne connaissance de Python

- Très bonne maîtrise du SQL

- Expérience sur BigQuery

- Connaissances ou expérience avec Kafka

Profil recherché:

4 ans d’expérience environ

Capacité à reprendre des traitements existants et à les porter dans un nouvel environnement Cloud

Rigueur, autonomie et compréhension des enjeux de traitement de données à forte volumétrie