Mission freelance Data Engineer Python / AWS / Airflow / Snowflake
Île-de-France
Les Filles et les Garçons de la Tech
Le poste Data Engineer Python / AWS / Airflow / Snowflake
Partager cette offre
Conception & développement de pipelines
Implémenter de nouveaux flux de données batch et streaming.
Développer des pipelines ETL / ELT en Python et Airflow pour les traitements planifiés, et via NiFi ou Kafka pour les données en temps réel.
Assurer l’intégration et la mise à disposition des données dans Snowflake.
Industrialisation & bonnes pratiques
Participer aux revues de code, aux tests unitaires et d’intégration.
Contribuer à l’industrialisation des pipelines avec des pratiques CI/CD robustes.
Maintenir la documentation technique à jour et contribuer à l’amélioration continue des process.
Maintenance & optimisation
Garantir la maintenance corrective et évolutive des flux existants.
Participer à la mise en place du monitoring, des alertes et des bonnes pratiques d’exploitation.
Optimiser les performances, la fiabilité et la qualité des traitements de données.
Profil recherché
Nous recherchons un Data Engineer confirmé disposant d’une solide expérience dans la conception et l’industrialisation de pipelines de données en environnement cloud.
Vous maîtrisez Python pour le développement et l’automatisation des traitements, ainsi que les outils d’orchestration tels qu’Airflow. Vous avez déjà travaillé sur des projets data warehouse (idéalement Snowflake) et sur des environnements AWS (S3, Lambda, SQS, SNS…).
Environnement de travail
Langage principal : Python
Orchestration : Airflow
Entrepôt de données : Snowflake
Cloud : AWS (S3, Lambda, SQS, SNS, Snowpipe)
Flux temps réel : Kafka / NiFi
Industrialisation : GitLab CI/CD, Docker, Terraform
Traitements distribués : Spark
Supervision : CloudWatch
Documentation et collaboration : Confluence
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Python / AWS / Airflow / Snowflake
Les Filles et les Garçons de la Tech
