Mission freelance Consultant (H/F/Y) Senior Expert Cloud GCP (Google Cloud Platform)

Responsabilités de l'ingénieur de données GCP

* Créer et maintenir une architecture de pipeline de données optimale, tout en automatisant les processus manuels, en optimisant la livraison des données, en repensant l'infrastructure pour une plus grande évolutivité, etc.

* Assemblez des ensembles de données volumineux et complexes qui répondent aux exigences opérationnelles fonctionnelles / non fonctionnelles.

* Créez l'infrastructure requise pour une extraction, une transformation et un chargement optimaux des données à partir d'une grande variété de sources de données à l'aide des technologies SQL et GCP Big Data.

* Créez des outils d'analyse qui utilisent le pipeline de données pour fournir des informations exploitables sur l'acquisition de clients, l'efficacité opérationnelle et d'autres mesures clés de la performance commerciale.

* Travailler avec des experts en données et en analyse pour viser une plus grande fonctionnalité dans les systèmes de données.

Qualifications pour l'ingénieur de données GCP

* Connaissance avancée du travail SQL et expérience de travail avec des bases de données relationnelles, création de requêtes (SQL) ainsi que connaissance de travail avec une variété de bases de données.

* Expérience de la construction et de l'optimisation de pipelines de données, d'architectures et d'ensembles de données.

* Expérience de l'analyse des causes profondes sur les données et processus internes et externes pour répondre à des questions commerciales spécifiques.

* Construire des processus prenant en charge la transformation des données, les structures de données, les métadonnées, les dépendances et la gestion de la charge de travail.

* Connaissance pratique de la mise en file d'attente des messages, du traitement des flux et des magasins de données hautement évolutifs.

* Expérience de soutien et de travail avec des équipes interfonctionnelles dans un environnement dynamique.

* Nous recherchons un candidat ayant de l'expérience dans un rôle d'ingénieur de données, qui connaît également Google Cloud Platform. Ils doivent également démontrer leur expérience en utilisant:

technologies suivantes:

  * Création SQL, optimisation des requêtes et des coûts principalement sur BigQuery.

  * Outils de pipeline de données, de streaming de données et de gestion des workflows: DataFlow, PubSub, Hadoop, Spark-Streaming…

  * Python en tant que langage de script orienté objet.

  * Système de contrôle de version: GIT.

  * Connaissance préférable de l'infrastructure en tant que code: Terraform.