Job Vacancy TECH LEAD DATA GCP

Je recherche pour un de mes clients un Tech Lead Data :

Dans ce cadre, la nouvelle squad aura la charge de :

• La migration et le déploiement en production de traitements de données sur GCP (workflows)

• La copie d’historique de données depuis le data warehouse on-prem vers GCP BigQuery

• La mise en place d’un orchestrateur pour les traitements de données sur GCP

• La mise en place d’une solution de data lineage au niveau colonne de données.

• L’automisation de processus de data engineering par l’IA ou une plateforme d’automatisation (e.g. n8n).

La composante développement sera importante, jusqu’à 80% du temps et dépendra de la taille de la squad et de la charge de développement.

Description de la prestation

Missions principales :

• Participer aux analyses, études d’impacts et cadrage techniques

• Concevoir des solutions en respectant l’architecture data et les bonnes pratiques de développement

• Réaliser le développement des data products et assurer la maintenance évolutive et corrective des data products existants

• Effectuer des contrôles croisés entre développeurs ou des relectures de code afin d’assurer la qualité des développements réalisés par l’équipe

• Rédiger la documentation technique des data products

• Apporter une expertise de troisième niveau dans les incidents de production, et si besoin la réalisation de solution de contournements, ou de correctifs de manière à assurer une qualité de fonctionnement optimale

• Accompagner les Data Engineers sur les bonnes pratiques, les choix d’architecture et dans leur travail au quotidien

• Effectuer les audits et les contrôles des développements réalisés : Sécurité, Maintenabilité, Robustesse et Performance

• Reporter l’activité à la Squad et travailler dans une démarche d’efficacité collective

Livrables principaux :

• Etudes d’impact technique

• Faire des propositions techniques

• Réaliser du code applicatif à l’état de l’art sur notre Data Platform GCP

• Rédiger les documentations techniques liés à ta solution, incluant le modèle de données, les procédures, l’ordonnancements

• Schéma de solution des flux, modèle de données

• Fournir des chiffrages détaillés des futures réalisations

• Relecture de code technique

• Rédaction de SFD, STD, Manuel d’installation

Je recherche pour un de mes clients un Tech Lead Data :

Dans ce cadre, la nouvelle squad data aura la charge de :

• La migration et le déploiement en production de traitements de données sur GCP (workflows)

• La copie d’historique de données depuis le data warehouse on-prem vers GCP BigQuery

• La mise en place d’un orchestrateur pour les traitements de données sur GCP

• La mise en place d’une solution de data lineage au niveau colonne de données.

• L’automisation de processus de data engineering par l’IA ou une plateforme d’automatisation (e.g. n8n).

La composante développement sera importante, jusqu’à 80% du temps et dépendra de la taille de la squad et de la charge de développement.

Description de la prestation

Missions principales :

• Participer aux analyses, études d’impacts et cadrage techniques

• Concevoir des solutions en respectant l’architecture data et les bonnes pratiques de développement

• Réaliser le développement des data products et assurer la maintenance évolutive et corrective des data products existants

• Effectuer des contrôles croisés entre développeurs ou des relectures de code afin d’assurer la qualité des développements réalisés par l’équipe

• Rédiger la documentation technique des data products

• Apporter une expertise de troisième niveau dans les incidents de production, et si besoin la réalisation de solution de contournements, ou de correctifs de manière à assurer une qualité de fonctionnement optimale

• Accompagner les Data Engineers sur les bonnes pratiques, les choix d’architecture et dans leur travail au quotidien

• Effectuer les audits et les contrôles des développements réalisés : Sécurité, Maintenabilité, Robustesse et Performance

• Reporter l’activité à la Squad et travailler dans une démarche d’efficacité collective

Livrables principaux :

• Etudes d’impact technique

• Faire des propositions techniques

• Réaliser du code applicatif à l’état de l’art sur notre Data Platform GCP

• Rédiger les documentations techniques liés à ta solution, incluant le modèle de données, les procédures, l’ordonnancements

• Schéma de solution des flux, modèle de données

• Fournir des chiffrages détaillés des futures réalisations

• Relecture de code technique

• Rédaction de SFD, STD, Manuel d’installation

Compétences techniques :

• Langages de programmation : Python, SQL, Scripts Shell

• Services de streaming data : Kafka

• Services d’ingestion des données : Kafka Connect, SFTP

• Services de stockage : GCP BigQuery, Cloud Storage, Kafka, Sharepoint

• Processing : Scripts Python, Data Build Tool (DBT), GCP Dataflow

• Restitution : Looker (Dashboards, Explores de données), Fichiers de reporting (CSV, Excel)

• Outils de collaboration et de CI/CD : GitLab

•Utilisation de plateformes pour le développement et le déploiement : Docker, Kubernetes, Kustomize, Helm Charts, Terraform

• Testing : Tests avec DBT, Tests de non-régression, collaboration avec la QA.

• Outils IA et d’automatisation : Gemini Code Assist, Antigravity, n8n, Gitlab Duo

• Manipulation des formats de fichiers : CSV, JSON, Avro, XML

Compétences transverses :

• Proactivité et prise d’initiative

• Autonomie et rigueur

• Capacité à communiquer, à travailler en équipe et excellent relationnel

• Capacité d’adaptation aux changements

• Curiosité, veille technologie sur le data engineering et sur l’AI / ML

• Capacité à aborder des problèmes complexes de manière structurée

• Aptitude à concevoir des solutions innovantes

• Capacité d’écoute, d’analyse et de synthèse

• Maitrise de l’agilité