Job position Senior Data engineer AWS
Share this job
CONTEXTE :
Experience : 7 ans et plus
Métiers Fonctions : Data Management, Software engineer
Spécialités technologiques : Data
Compétences
Technologies et Outils
AWS Spark Airflow Snowflake
Secteurs d'activités
Services Informatiques Conseil en organisation, stratégie
MISSIONS
Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à :
- Développer des pipelines et ETL sur AWS vers Snowflake
- Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake
- Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars)
- Réaliser les traitements de volume de données massives avec PySpark
- Développer et maintenir des infrastructures avec de l’IaC et en particulier avec Terraform
- Orchestrer les différents traitements via Airflow
- Déployer et maintenir des applications via la CI/CD
- Participer aux réflexions et au design d’architecture
- Bonne capacité de vulgarisation et de communication
- Participer aux rituels agiles de l’équipe
- Contribuer à la documentation technique et fonctionnelle
5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS.
Un positionnement en tant que techlead serait un plus.
De l’expérience dans un contexte BI serait un plus.
Un positionnement ou une expérience en tant que DevOps serait un plus.
Expertise souhaitée
Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.
Candidate profile
Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à :
- Développer des pipelines et ETL sur AWS vers Snowflake
- Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake
- Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars)
- Réaliser les traitements de volume de données massives avec PySpark
- Développer et maintenir des infrastructures avec de l’IaC et en particulier avec Terraform
- Orchestrer les différents traitements via Airflow
- Déployer et maintenir des applications via la CI/CD
- Participer aux réflexions et au design d’architecture
- Bonne capacité de vulgarisation et de communication
- Participer aux rituels agiles de l’équipe
- Contribuer à la documentation technique et fonctionnelle
5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS.
Un positionnement en tant que techlead serait un plus.
De l’expérience dans un contexte BI serait un plus.
Un positionnement ou une expérience en tant que DevOps serait un plus.
Expertise souhaitée
Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.
Working environment
CONTEXTE :
Experience : 7 ans et plus
Métiers Fonctions : Data Management, Software engineer
Spécialités technologiques : Data
Compétences
Technologies et Outils
AWS Spark Airflow Snowflake
Secteurs d'activités
Services Informatiques Conseil en organisation, stratégie
Apply to this job!
Find your next career move from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Senior Data engineer AWS
KEONI CONSULTING
