Mission freelance Data Engineer Senior – Google Cloud Platform (GCP) / Python Spark

Dans le cadre d’un projet stratégique à forte visibilité portant sur les risques climatiques et physiques, la mission consiste à intégrer une équipe expérimentée afin de participer à la conception et à la réalisation d’une solution Data basée sur Google Cloud Platform (GCP). Le consultant interviendra sur le développement et l’intégration de solutions Python/Spark permettant d’ingérer, agréger, transformer et exposer des données issues de sources multiples, notamment à travers BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et GCS. Il contribuera à la conception des infrastructures et flux de données, à la qualité, la sécurité et l’accessibilité des données, ainsi qu’à leur industrialisation et leur mise en production. Il participera également au maintien en conditions opérationnelles et au RUN des applications, à la supervision des traitements, à la documentation et à la cartographie des sources de données. La mission comprend enfin une dimension DevOps avec l’utilisation de XLD, Terraform et Jenkins, dans un environnement nécessitant autonomie, rigueur, communication et capacité à travailler efficacement en équipe.

La mission s’effectue au sein d’une DSI Corporate, dans le domaine « Pertes, Garanties et Entrepôt Risques », au sein d’une équipe expérimentée intervenant sur un projet stratégique et à forte visibilité. L’environnement technique est principalement orienté Data et Cloud, avec Google Cloud Platform (GCP), Python, Spark, BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et Google Cloud Storage (GCS). La chaîne DevOps s’appuie notamment sur XLD, Terraform et Jenkins. Le contexte implique le traitement de volumes importants de données, leur intégration depuis des sources multiples, leur sécurisation, leur supervision et leur exploitation, avec une forte exigence en matière de qualité, d’autonomie, de communication et de collaboration en équipe.