Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Toulouse

Bonjour, Nous recherchons pour l'un de nos clients intégrateurs un Data Engineer. Contexte Dans le cadre d’un projet data, nous recherchons un Data Engineer expérimenté pour intervenir sur des problématiques de gestion de bases de données et de traitement de données à grande échelle , au sein d’un environnement international. Missions principales Concevoir, développer et maintenir des pipelines de données fiables et performants Intervenir sur la gestion et l’optimisation des bases de données Développer des traitements data en Java Exploiter et optimiser des traitements Apache Spark SQL Assurer la qualité, la cohérence et la performance des données Collaborer avec les équipes techniques et métiers dans un contexte anglophone Participer aux échanges, réunions et documentation en anglais

2 jours de télétravail / semaine - Toulouse - Expérience de 3 ans minimum Envie d’un nouveau challenge... CELAD vous attend ! Nous poursuivons notre développement et recherchons un(e) Data Engineer pour intervenir chez l’un de nos clients dans le domaine de l’environnement , disposant d’une plateforme Big Data exploitant de très grands volumes de données. Ces données alimentent des algorithmes d’analyse avancée et des services à forte valeur ajoutée (détection d’anomalies, prévisions, aide à la décision). Vous rejoignez une équipe data transverse avec un objectif clair : industrialiser et fiabiliser des traitements Big Data à grande échelle. Vos missions : Au sein d’une équipe Transformation & Modélisation pluridisciplinaire (data engineers, data scientists, développeurs), vous serez amené(e) à : Contribuer à la mise en place et à l’évolution de la stack Big Data Développer des jobs Spark pour l’ingestion, la préparation et l’enrichissement de données massives Alimenter et maintenir les données du data lake ou les rendre disponibles pour des usages IA / ML Travailler avec les outils de conteneurisation et d’orchestration comme Docker, Kubernetes et Helm Enrichir le serving layer et exposer les données via des web services Participer à la mise en production , à la maintenance et à l’amélioration continue des traitements Collaborer étroitement avec les équipes data, IT et métiers Compétences techniques : ️ Expérience confirmée en Data Engineering et traitement de données volumineuses Solide expérience en Java / Maven (J2EE / JDK 17) et Scala Maîtrise de Spark (SQL / DataFrame) pour traiter de grands volumes Bonne connaissance des architectures Big Data et des data lakes Expérience sur des pipelines data industrialisés Sensibilité aux problématiques de performance, robustesse et qualité des données Une connaissance des environnements ML / IA est un plus