Le poste Data Engineer (AWS)
Partager cette offre
Vous rejoindrez l’équipe Data Platform en tant que Data Engineer. Vous serez responsable de la conception, de l’optimisation et de la maintenance des pipelines et infrastructures de données afin de garantir un traitement et un stockage scalables.
Vos missions incluent la conception d’architectures de données, l’optimisation des flux de données et la facilitation de leur accessibilité pour des usages analytiques et de machine learning. Vous collaborerez étroitement avec les équipes d’ingénierie, data science et produit afin d’assurer la qualité, la sécurité et l’intégration des données dans l’écosystème cloud.
Vos responsabilités au quotidien :
Définir et analyser les structures de données
Concevoir, développer et gérer des pipelines ETL (Extract, Transform, Load) pour collecter, transformer et charger les données dans des data warehouses ou data lakes
Concevoir et administrer des solutions de stockage (data warehouse type Amazon Redshift, data lakes sur AWS S3 avec Databricks, bases NoSQL)
Collaborer avec les data scientists, analystes et équipes métier pour comprendre les besoins en données
Garantir la fiabilité en production (monitoring, alerting, interventions si nécessaire)
Expérimenter de nouvelles technologies data et bonnes pratiques afin d’améliorer l’infrastructure et l’efficacité des workflows
Profil recherché
Excellente maîtrise de Python (indispensable)
Bon niveau en Java (Spring Boot), Scala est un plus
Maîtrise des processus ETL et des pipelines de données
Expérience sur Databricks et utilisation de Spark pour le traitement de données à grande échelle
Expertise en solutions de stockage (object storage, bases relationnelles, NoSQL)
Expérience confirmée avec le cloud AWS
Bon niveau d’anglais (communication professionnelle)
Environnement de travail
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer (AWS)
STHREE SAS pour COMPUTER FUTURES