Partager cette offre
Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle.
Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native.
Vos missions:Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark.
Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data.
Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau.
Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift.
Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications.
Participer à l'évolution des traitements Spark et des datasets.
Déployer et maintenir les applications via Helm.
Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.).
Gérer les environnements de déploiement continu avec GitLab.
Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion).
Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme.
Environnement technique :
Python
PySpark
Apache Spark
Scala
Pandas
Hadoop / HDFS
Tableau Software
Kubernetes
OpenShift
Helm
GitLab
Docker
Airflow
MinIO
MySQL
Data Lake
Parquet
Profil recherché
Formation Bac+5 en Informatique, Data ou équivalent.
Minimum 4 à 5 ans d'expérience en Data Engineering.
Excellente maîtrise de Python et PySpark.
Solide expérience avec Apache Spark.
Bonne maîtrise de Pandas.
Expérience sur Hadoop / HDFS.
Maîtrise de Tableau Software pour la création de dashboards.
Expérience sur Kubernetes et/ou OpenShift.
Bonne connaissance de Helm, GitLab et des environnements CI/CD.
Expérience avec Airflow, Docker, MinIO et MySQL appréciée.
Bonne capacité d'analyse et de résolution de problèmes.
Autonomie, rigueur et esprit d'équipe.
Environnement de travail
Découvrir DATAMED RESEARCH
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Big Data / PySpark
DATAMED RESEARCH