Mission freelance ALSL - Data Engineer Senior : Couche d'ingestion · Plateforme Data GCP
Paris
Pickmeup
Le poste ALSL - Data Engineer Senior : Couche d'ingestion · Plateforme Data GCP
Partager cette offre
Nous recherchons un Data Engineer Senior : Couche d'ingestion · Plateforme Data GCP
Vous garantissez la porte d'entrée des données : tout ce qui alimente la plateforme passe par les pipelines que vous construisez.
LE CONTEXTE
La donnée arrive de partout, dans tous les formats, à un volume qui grossit vite. Vous rejoignez l'équipe Bronze, au cœur de la plateforme Data : la couche qui collecte, centralise et fiabilise les sources avant qu'elles ne soient exploitées par les autres équipes Data. Un rôle d'ingénierie d'ingestion pure (batch et streaming), avec une vraie exigence de robustesse, de scalabilité et de gouvernance.
L'ÉQUIPE :
Une équipe resserrée et complémentaire : Lead, PO et 3 Data Engineers (vous inclus).
CE QUE VOUS FEREZ CONCRÈTEMENT
Construire et fiabiliser les pipelines d'ingestion de sources hétérogènes (batch + streaming), pensés pour absorber un volume en forte croissance
Structurer le stockage de la donnée brute (Cloud Storage / Delta Lake) de façon durable et requêtable
Industrialiser l'infrastructure en IaC (Terraform / Terragrunt) et les workflows CI/CD (GitLab)
Embarquer la gouvernance dès l'ingestion : conformité, sécurité, catalogage (Dataplex)
Accompagner les équipes Data dans l'exploitation et le requêtage des données — vulgariser, transmettre, documenter
Partager et faire progresser les pratiques avec les autres Data Engineers (revues, standards, veille techno active)
LA STACK
Python · Spark / PySpark · SQL pour les traitements · Airflow pour l'orchestration · Cloud Storage + Delta Lake pour le stockage · GCP : BigQuery · Dataproc · Pub/Sub · Cloud Storage · Dataplex · Terraform + Terragrunt pour l'infra · GitLab CI/CD · Agile (Scrum / Kanban)
Profil recherché
LE PROFIL RECHERCHÉ
Indispensable :
5+ ans en Data Engineering, sur des pipelines en production (autonomie de la conception au run)
Solide en Python et SQL, à l'aise sur les structures de données et l'architecture
Expérience réelle de Spark / PySpark et de la construction de pipelines d'ingestion de sources variées
Pratique d'un environnement Google Cloud (GCP) : a minima BigQuery + un compute Spark
Airflow, Terraform, GitLab CI/CD en conditions réelles
Agile (Scrum ou Kanban)
Vraie capacité à vulgariser et communiquer sur des sujets techniques pointus
Les plus dans un contexte pro :
Dataplex Universal Catalog (gouvernance / catalogage)
Delta Lake sur GCP / Dataproc
Terragrunt au-delà de Terraform
Expérience d'une architecture medallion (Bronze / Silver / Gold)
Ingestion streaming Pub/Sub → Dataflow / Spark Streaming
Sécurité & conformité data (RGPD, data masking, IAM GCP)
Environnement de travail
Environnent stimulant avec un mixte avec présence sur site et télétravail, projet long et mission longue par tacite reconduction.
Techniquement : le niveau est très bons
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
ALSL - Data Engineer Senior : Couche d'ingestion · Plateforme Data GCP
Pickmeup