Trouvez votre prochaine offre d’emploi ou de mission freelance Helm à Toulouse

Rejoignez une équipe passionnée et boostez la transformation Big Data ! 🚀 Nous accompagnons notre client pour renforcer une équipe spécialisée dans la gestion et l’industrialisation des traitements de données massifs et recherchons un.e Data Engineer. Vous interviendrez sur une plateforme Big Data dédiée à l’exploitation de larges volumes de données, utilisée pour des analyses avancées et des modèles prédictifs. Votre défi à relever 🎯 En tant que Data Engineer, vous aurez un rôle clé dans la mise en place et l’optimisation des pipelines de données. Vous serez en interaction avec des équipes pluridisciplinaires (développeurs, data scientists, métiers) pour construire des solutions performantes et scalables. Vos missions au quotidien 🛠 · Développer et optimiser des pipelines de données massifs avec Spark et Scala . · Assurer l’ingestion, le nettoyage et l’enrichissement des données en vue de leur exploitation. · Exposer les données via des API et Web Services pour les rendre accessibles aux applications et modèles ML. · Contribuer à l’industrialisation et à la mise en production des traitements Big Data . · Collaborer avec les data scientists pour améliorer la maturité industrielle des modèles de machine learning. · Maintenir et optimiser les solutions en production pour garantir leur performance et leur robustesse. Votre environnement technique 🖥 · Langages : Java (J2EE / JDK 17), Scala · Big Data : Spark (SQL/DataFrame), Impala, Kudu, Hive, SQL, Parquet · Infrastructure & DevOps : Docker, Kubernetes, Helm, Git, Maven · Messaging & Streaming : Kafka, Redis · Tests & Qualité : JUnit, Mockito, PowerMock, ScalaMock · API : Web Services Rest

A ce titre, nous cherchons un profil possédant la double compétence Data engineer et développeur backend Les activités attendues sont: - Ecrire les jobs spark de manipulation des collections de données pour des pipelines d'ingestion, de nettoyage, de preparation, d'enrichissement, de croisement des données - Développer des µService d'accès au données (API REST, serveur graphQL) pour mettre à disposition des applications internes ou directement à des clients externe - Développer jusqu'à la mise en production les traitements Big Data - Assurer la maintenance corrective des solutions Big Data développées - Collaborer avec l’ensemble des interlocuteurs concernés, transverses et métier Compétences attendues Java (J2EE / Jdk 21) Scala Spark / Spark Streaming Parquet Trino Delta Lake Kafka Docker – Kubernetes – Helm - Argo Workflow Web Services Rest / graphQL TU (JUnit / Mockito / PowerMock / ScalaMock) Git / Maven Les capacités d'innovation et de proposition seront appréciées. La maitrise de l'anglais est indispensable. La mission est prévue sur le reste de l'année 2025