Le poste Senior Data engineer AWS
Partager cette offre
CONTEXTE :
Experience : 7 ans et plus
Métiers Fonctions : Data Management, Software engineer
Spécialités technologiques : Data
Compétences
Technologies et Outils
AWS Spark Airflow Snowflake
Secteurs d'activités
Services Informatiques Conseil en organisation, stratégie
MISSIONS
Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à :
- Développer des pipelines et ETL sur AWS vers Snowflake
- Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake
- Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars)
- Réaliser les traitements de volume de données massives avec PySpark
- Développer et maintenir des infrastructures avec de l’IaC et en particulier avec Terraform
- Orchestrer les différents traitements via Airflow
- Déployer et maintenir des applications via la CI/CD
- Participer aux réflexions et au design d’architecture
- Bonne capacité de vulgarisation et de communication
- Participer aux rituels agiles de l’équipe
- Contribuer à la documentation technique et fonctionnelle
5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS.
Un positionnement en tant que techlead serait un plus.
De l’expérience dans un contexte BI serait un plus.
Un positionnement ou une expérience en tant que DevOps serait un plus.
Expertise souhaitée
Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.
Profil recherché
Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à :
- Développer des pipelines et ETL sur AWS vers Snowflake
- Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake
- Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars)
- Réaliser les traitements de volume de données massives avec PySpark
- Développer et maintenir des infrastructures avec de l’IaC et en particulier avec Terraform
- Orchestrer les différents traitements via Airflow
- Déployer et maintenir des applications via la CI/CD
- Participer aux réflexions et au design d’architecture
- Bonne capacité de vulgarisation et de communication
- Participer aux rituels agiles de l’équipe
- Contribuer à la documentation technique et fonctionnelle
5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS.
Un positionnement en tant que techlead serait un plus.
De l’expérience dans un contexte BI serait un plus.
Un positionnement ou une expérience en tant que DevOps serait un plus.
Expertise souhaitée
Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.
Environnement de travail
CONTEXTE :
Experience : 7 ans et plus
Métiers Fonctions : Data Management, Software engineer
Spécialités technologiques : Data
Compétences
Technologies et Outils
AWS Spark Airflow Snowflake
Secteurs d'activités
Services Informatiques Conseil en organisation, stratégie
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Senior Data engineer AWS
KEONI CONSULTING
