Mission freelance Data Engineer (Lille)

• Conception, Développement et Optimisation de Pipelines de Données sur GCP :

○ Concevoir, développer et maintenir des pipelines robustes et performants de collecte, transformation et chargement de données à partir de diverses sources (Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations.

○ Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des architectures de données scalables et fiables.

○ Assurer l'automatisation des traitements, la gestion des dépendances et l'ordonnancement des jobs de données.

○ Optimiser les performances des pipelines et la consommation des ressources GCP.

• Modélisation et Gestion des Données :

  ○ Participer à la conception et à l'évolution des modèles de données dans BigQuery, en collaboration avec les Data Analysts et les équipes métier.

  ○ Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à disposition.

  ○ Mettre en place et gérer des stratégies de versioning des schémas de données et de cycle de vie des données.

• Run Opérationnel, Maintenance et Support N2/N3 :

○ Assurer le support opérationnel de niveau 2/3 du produit Topase dans ensemble (GCP + Solution éditeur).

○ Développer et maintenir des scripts Bash pour l'automatisation des tâches opérationnelles, la supervision des flux, l'extraction/transformation de données et les tâches de maintenance système.

○ Écrire, optimiser et exécuter des requêtes SQL complexes pour l'analyse, la qualification, le diagnostic d'incidents, la manipulation et la restitution de données dans BigQuery et Oracle.

○ Gérer les incidents en collaboration avec l'éditeur et les équipes internes.

○ Participer à la qualification des livraisons de patchs éditeur impactant les flux de données.

○ Gérer les incidents éditeur sur son CRM et participer aux ateliers de suivi.