Le poste CDI – Data Engineer Databricks (AWS) – 3 à 7 ans d’expérience
Partager cette offre
Contexte
Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données.
Missions
Développement et ingestion de données
• Concevoir et développer des pipelines de données en Python et Spark sur Databricks
• Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake)
• Optimiser les traitements et les performances
Orchestration et qualité des données
• Orchestrer les workflows avec AWS Airflow
• Mettre en place des contrôles qualité et des mécanismes de validation
• Développer des outils de monitoring et de gestion des anomalies
Maintien en condition opérationnelle
• Assurer la disponibilité et la performance des pipelines
• Diagnostiquer et corriger les incidents
• Participer à l’amélioration continue des traitements
Contribution
• Participer aux ateliers techniques et aux échanges avec les équipes
• Documenter les pipelines, architectures et processus
• Contribuer aux bonnes pratiques Data et Big Data
Profil recherché
Expérience
• 3 à 7 ans d’expérience en Data Engineering
Compétences techniques
Obligatoires :
• Python
• Spark
• Databricks
• SQL
Requises :
• AWS : S3, Glue, Airflow, Airflow, Lambda, IAM
Environnement :
• Git / GitLab (CI/CD)
• JIRA / Confluence
• Méthodologie Agile (Scrum)
Certifications obligatoires
• Certification Databricks (Data Engineer Associate ou Professional)
Postulez à cette offre !
Trouvez votre prochain job parmi +10 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
CDI – Data Engineer Databricks (AWS) – 3 à 7 ans d’expérience
Hexateam
