Contractor job Data Engineer Python / AWS / Airflow / Snowflake
Ile-de-France
Les Filles et les Garçons de la Tech
Job position Data Engineer Python / AWS / Airflow / Snowflake
Share this job
Conception & développement de pipelines
Implémenter de nouveaux flux de données batch et streaming.
Développer des pipelines ETL / ELT en Python et Airflow pour les traitements planifiés, et via NiFi ou Kafka pour les données en temps réel.
Assurer l’intégration et la mise à disposition des données dans Snowflake.
Industrialisation & bonnes pratiques
Participer aux revues de code, aux tests unitaires et d’intégration.
Contribuer à l’industrialisation des pipelines avec des pratiques CI/CD robustes.
Maintenir la documentation technique à jour et contribuer à l’amélioration continue des process.
Maintenance & optimisation
Garantir la maintenance corrective et évolutive des flux existants.
Participer à la mise en place du monitoring, des alertes et des bonnes pratiques d’exploitation.
Optimiser les performances, la fiabilité et la qualité des traitements de données.
Candidate profile
Nous recherchons un Data Engineer confirmé disposant d’une solide expérience dans la conception et l’industrialisation de pipelines de données en environnement cloud.
Vous maîtrisez Python pour le développement et l’automatisation des traitements, ainsi que les outils d’orchestration tels qu’Airflow. Vous avez déjà travaillé sur des projets data warehouse (idéalement Snowflake) et sur des environnements AWS (S3, Lambda, SQS, SNS…).
Working environment
Langage principal : Python
Orchestration : Airflow
Entrepôt de données : Snowflake
Cloud : AWS (S3, Lambda, SQS, SNS, Snowpipe)
Flux temps réel : Kafka / NiFi
Industrialisation : GitLab CI/CD, Docker, Terraform
Traitements distribués : Spark
Supervision : CloudWatch
Documentation et collaboration : Confluence
Apply to this job!
Find your next career move from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer Python / AWS / Airflow / Snowflake
Les Filles et les Garçons de la Tech
