Job position Data Engineer - Spark Hadoop - 2 jours TT - Service Public
Share this job
Concevoir, développer et maintenir des pipelines de données robustes et scalables (batch et streaming).
Participer à la mise en place et à l’optimisation de la plateforme Big Data (Hadoop/Spark).
Intégrer, transformer et nettoyer des données issues de différentes sources (API, bases relationnelles, fichiers plats, etc.).
Collaborer étroitement avec les Data Scientists et Data Analysts pour la préparation et la mise à disposition des datasets.
Contribuer aux bonnes pratiques de développement, d’automatisation (CI/CD), et de gestion de la qualité des données.
Assurer la documentation technique et la maintenance des flux existants.
Participer à la montée en compétences de l’équipe interne sur les outils Big Data.
Candidate profile
Langages : Python, Scala, SQL
Big Data : Apache Spark, Hadoop (HDFS, Hive, HBase, Oozie, etc.)
ETL / Orchestration : Airflow, NiFi ou équivalent
Cloud (souhaité) : AWS, Azure ou GCP (idéalement environnement hybride ou on-premise)
Bases de données : PostgreSQL, Oracle, ou équivalent
CI/CD & DevOps : Git, Jenkins, Docker, Kubernetes (un plus)
Autres : Bonnes pratiques de data governance, sécurité et gestion des accès
Working environment
Minimum 5 ans d’expérience en ingénierie de la donnée, dont une expérience significative dans un environnement Big Data.
Expérience préalable dans le secteur public ou sur des projets à forte contrainte de sécurité (souhaitée).
Capacité à travailler en équipe, sens du service et rigueur technique.
Autonomie, curiosité et goût pour la veille technologique.
Apply to this job!
Find your next career move from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer - Spark Hadoop - 2 jours TT - Service Public
Intuition IT Solutions Ltd.