Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD

Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet