
Partager cette offre
Nous recherchons pour l'un de nos clients un Data Engineer pour concevoir et faire vivre une plateforme data moderne, construite sur des briques open source. Vous travaillerez avec deux développeurs chargés des applications et des API.
Vos missions :
Concevoir et orchestrer les pipelines d'ingestion et de transformation avec Airflow et Python
Modéliser et transformer les données avec dbt
Mettre en œuvre les traitements avec DuckDB ou Spark selon les volumes
Alimenter et optimiser les bases analytiques (Apache Doris, PostgreSQL) et le stockage S3
Construire les tableaux de bord dans Apache Superset avec les équipes métier
Déployer et suivre la plateforme : supervision open source, notebooks JupyterLab, Docker et Kubernetes
Profil recherché
Au moins 4 ans d'expérience en data engineering
Très bonne maîtrise de Python, SQL, Airflow et dbt
Expérience d'un moteur de traitement (Spark ou DuckDB) et d'une base analytique
Appréciés : Apache Doris, Superset, Kubernetes et GitLab CI/CD
Environnement de travail
Orchestration et transformation : Airflow, Python, dbt
Traitement et stockage : DuckDB et/ou Spark, Apache Doris, PostgreSQL, S3
Restitution : Apache Superset, JupyterLab
Déploiement : Docker, Kubernetes, GitLab CI/CD, Ansible
Méthode : travail en équipe avec les développeurs et les métiers
Rythme : 2 jours par semaine sur site à Rouen, le reste en télétravail
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Python / Airflow (H/F)
Lùkla
