Job position CDI – Data Engineer Databricks (AWS) – 3 à 7 ans d’expérience
Share this job
Contexte
Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données.
Missions
Développement et ingestion de données
• Concevoir et développer des pipelines de données en Python et Spark sur Databricks
• Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake)
• Optimiser les traitements et les performances
Orchestration et qualité des données
• Orchestrer les workflows avec AWS Airflow
• Mettre en place des contrôles qualité et des mécanismes de validation
• Développer des outils de monitoring et de gestion des anomalies
Maintien en condition opérationnelle
• Assurer la disponibilité et la performance des pipelines
• Diagnostiquer et corriger les incidents
• Participer à l’amélioration continue des traitements
Contribution
• Participer aux ateliers techniques et aux échanges avec les équipes
• Documenter les pipelines, architectures et processus
• Contribuer aux bonnes pratiques Data et Big Data
Candidate profile
Expérience
• 3 à 7 ans d’expérience en Data Engineering
Compétences techniques
Obligatoires :
• Python
• Spark
• Databricks
• SQL
Requises :
• AWS : S3, Glue, Airflow, Airflow, Lambda, IAM
Environnement :
• Git / GitLab (CI/CD)
• JIRA / Confluence
• Méthodologie Agile (Scrum)
Certifications obligatoires
• Certification Databricks (Data Engineer Associate ou Professional)
Working environment
Apply to this job!
Find your next job from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
CDI – Data Engineer Databricks (AWS) – 3 à 7 ans d’expérience
Hexateam
