Le poste Data Engineer - Spark Hadoop - 2 jours TT - Service Public
Partager cette offre
Concevoir, développer et maintenir des pipelines de données robustes et scalables (batch et streaming).
Participer à la mise en place et à l’optimisation de la plateforme Big Data (Hadoop/Spark).
Intégrer, transformer et nettoyer des données issues de différentes sources (API, bases relationnelles, fichiers plats, etc.).
Collaborer étroitement avec les Data Scientists et Data Analysts pour la préparation et la mise à disposition des datasets.
Contribuer aux bonnes pratiques de développement, d’automatisation (CI/CD), et de gestion de la qualité des données.
Assurer la documentation technique et la maintenance des flux existants.
Participer à la montée en compétences de l’équipe interne sur les outils Big Data.
Profil recherché
Langages : Python, Scala, SQL
Big Data : Apache Spark, Hadoop (HDFS, Hive, HBase, Oozie, etc.)
ETL / Orchestration : Airflow, NiFi ou équivalent
Cloud (souhaité) : AWS, Azure ou GCP (idéalement environnement hybride ou on-premise)
Bases de données : PostgreSQL, Oracle, ou équivalent
CI/CD & DevOps : Git, Jenkins, Docker, Kubernetes (un plus)
Autres : Bonnes pratiques de data governance, sécurité et gestion des accès
Environnement de travail
Minimum 5 ans d’expérience en ingénierie de la donnée, dont une expérience significative dans un environnement Big Data.
Expérience préalable dans le secteur public ou sur des projets à forte contrainte de sécurité (souhaitée).
Capacité à travailler en équipe, sens du service et rigueur technique.
Autonomie, curiosité et goût pour la veille technologique.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer - Spark Hadoop - 2 jours TT - Service Public
Intuition IT Solutions Ltd.