Data Engineer Senior afin d’accompagner la conception, l’industrialisation et l’évolution de ses solutions data. Le prestataire interviendra sur les sujets d’architecture, de modélisation, d’optimisation des pipelines et contribuera activement à la stratégie Lakehouse de l’entreprise.

Missions principales

Concevoir, développer et optimiser des pipelines de données à grande échelle.
Mettre en œuvre des flux batch, streaming et ingestion via API.
Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold).
Développer et industrialiser les pipelines via DBT, Spark et Iceberg.
Contribuer à l’évolution de l’architecture Lakehouse de l’entreprise.
Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent).
Orchestrer les workflows ETL/ELT via Airflow.
Mettre en œuvre l’Infrastructure as Code (Terraform).
Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes).
Garantir la disponibilité, la supervision et l’observabilité des traitements.
Participer à la gestion des incidents et à l’amélioration continue.
Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés).
Documenter les architectures, pipelines et règles métier.
Garantir la conformité des flux, notamment dans le cadre RGPD.

Candidate profile

Compétences et expérience

Expérience : Minimum 8 ans en Data Engineering.
Techniques :
- Développement Spark et Python avancé.
- Maîtrise des architectures Big Data et Lakehouse.
- Expertise sur DBT, Iceberg, AWS, Terraform.
- Maîtrise des services AWS : Glue, EMR, S3, etc.
- Connaissance de Trino/Starburst.
Savoir-être :
- Forte capacité d’analyse et compréhension des enjeux métiers.
- Capacité à accompagner et former des profils juniors.
- Rigueur, autonomie et culture de l’amélioration continue.

Compétences clés obligatoires

AWS Big Data
Python
Spark

Apply to this job!

Find your next career move from +800 jobs!

Manage your visibility

Salary, remote work... Define all the criteria that are important to you.
Get discovered

Recruiters come directly to look for their future hires in our CV library.
Join a community

Connect with like-minded tech and IT professionals on a daily basis through our forum.

Data Architecte AWS / Iceberg

Atlas Connect