Trouvez votre prochaine offre d’emploi ou de mission freelance ETL (Extract-transform-load) à Saint-Denis

Nous recherchons un Data Engineer | DevOps AWS (H/F) pour contribuer à la construction , à l’évolution et à la fiabilité d’un Data Lake stratégique , au cœur des projets liés à l’analyse de l ’expérience utilisateur. Vous interviendrez sur l’ensemble de la chaîne de traitement des données (ingestion, transformation, restitution) au sein d’un environnement AWS moderne, dans une logique d’ industrialisation , de performance et de qualité de service . Vos principales missions : • Maintenir et faire évoluer une architecture data scalable sur AWS , adaptée à des volumes importants de données hétérogènes ( logs, fichiers, API …). • Concevoir et structurer les différentes couches du Data Lake ( Landing, Bronze, Silver ) en lien avec les besoins métiers et les bonnes pratiques data. • Développer des pipelines de traitement de données robustes et automatisés ( ETL/ELT ), en batch ou quasi temps réel , via des services AWS : Glue, Lambda, EMR, Redshift, S3… • Orchestrer les flux de données et automatiser les traitements entre les différentes couches du Data Lake. • Assurer le MCO : surveillance, détection et résolution des incidents, fiabilisation des flux, documentation technique. • Intégrer de nouvelles sources de données aux formats variés ( API REST, fichiers plats, logs applicatifs …) tout en assurant sécurité et performance . • Mettre en place des mécanismes de gestion des rejets et de réconciliation pour garantir la qualité et la cohérence des données. • Participer à l’ amélioration continue de la plateforme (veille, refonte, optimisation) , dans une logique DataOps (CI/CD, qualité, tests, versioning). • Collaborer avec les équipes projet, data analysts, data scientists et métiers pour aligner les solutions techniques avec les usages attendus . • Documenter l’architecture, les traitements et les processus pour assurer la traçabilité, la maintenabilité et la capitalisation.

Concevoir et développer des pipelines de traitement de données (ETL/ELT) sur Databricks. Intégrer et transformer des données issues de différentes sources (API, bases SQL/NoSQL, fichiers, data lakes, etc.). Mettre en place des workflows automatisés et orchestrés (via Azure Data Factory, Airflow, ou Databricks Workflows). Optimiser les performances des jobs Spark et la consommation des clusters. Participer à la modélisation des données (Data Lake / Delta Lake / Data Warehouse). Assurer la qualité, la sécurité et la gouvernance des données (contrôles, documentation, catalogage). Collaborer avec les Data Scientists, Analysts et Architectes pour garantir la cohérence et la fiabilité des environnements data. Surveiller et maintenir la plateforme Databricks en production (monitoring, troubleshooting, coûts).