Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

en bref : Développeur Scala / Lyon 3 / 50-60K€ / Editeur de logiciels Adsearch, cabinet de conseil en recrutement, vous propose un poste de Développeur Scala (H/F) chez son client éditeur de logiciels. Poste : Vous rejoignez une PME qui édite une gamme de logiciels dans le domaine du médical. Au sein du pôle R&D vous intégrez l'équipe backend composée de plusieurs développeurs Scala. En tant que Développeur Scala (H/F) vous travaillez sur l'architecture et le développement des services qui alimentent la plateforme. Au quotidien vous : - développez et maintenez les API Rest de la plateforme - concevez l'architecture backend - veillez à garantir performance, fiabilité et scalabilité - intégrez les systèmes tiers des partenaires - travaillez en collaboration avec l'équipe produit et frontend - participez aux choix techniques et à l'évolution de la stack. Stack technique : Scala, écosystème Typelevel PostgreSQL / MongoDB CleverCloud CI/CD

Pour renforcer son pôle Data Engineering, la Direction des Systèmes d'Information de notre client recherche un Ingénieur Data Engineering Java/Scala expérimenté, spécialisé en conception et développement de pipelines de données complexes, sous la responsabilité du Tech Lead. Missions principales Concevoir, développer et maintenir des pipelines de données robustes sur Google Cloud Platform (GCP) pour assurer la collecte, le traitement et l'analyse des données. Intégrer des solutions d'IA générative et des agents IA dans les flux de données pour optimiser les processus métiers. Collaborer avec les équipes pluridisciplinaires pour aligner les besoins opérationnels et décisionnels. Automatiser les workflows data via des outils de CI/CD (GitLab CI/CD, Docker Compose). Optimiser les traitements de gros volumes de données avec Apache Spark, Kafka, BigQuery et DBT.

ContexteDans le cadre du renforcement d'une équipe technique transverse intervenant sur un périmètre d'une quinzaine d'applications Data, nous recherchons 4 Data Engineers Séniors, capables d'intervenir principalement sur des activités de RUN, tout en pouvant ponctuellement contribuer aux activités BUILD. L'objectif est de renforcer la fiabilité et l'exploitation des applications Data tout en assurant une continuité forte entre développement, mise en production et RUN. Nous recherchons avant tout des Data Engineers expérimentés, avec une réelle culture de la production et du DevOps, et non des profils DevOps infrastructure purs. MissionsRUN & support techniqueAnalyser et résoudre les incidents de production. Diagnostiquer les anomalies sur les traitements, jobs et pipelines Data. Identifier et traiter les problèmes récurrents. Participer à la fiabilisation des applications et traitements Data. DevOps & automatisationAméliorer les processus de déploiement et de mise en production. Industrialiser et automatiser les tâches d'exploitation. Contribuer à la fiabilisation des déploiements et traitements Data. Participer à l'amélioration continue des pratiques RUN/BUILD. Supervision & monitoringAméliorer les mécanismes de supervision et d'alerting. Intégrer les dispositifs de contrôle directement dans les jobs et pipelines Data. Faciliter la détection, l'analyse et le diagnostic des anomalies. Maintien en conditions opérationnellesGérer les changements techniques. Participer à la sécurisation des environnements. Assurer la gestion des secrets applicatifs. Maintenir et améliorer la documentation d'exploitation. Renfort BUILDIntervenir ponctuellement sur les développements Data Engineering. Apporter une expertise technique aux équipes projets. Contribuer aux développements et à la sécurisation des livraisons lors des pics de charge.

Ne postulez pas si vous ne justifiez pas d'au moins 5 ans d'expérience et d'une parfaite maîtrise de Python et de Spark. Contexte de la mission Dans le cadre du renforcement de ses équipes Data, notre client, acteur majeur du secteur des services financiers, recherche un Data Engineer Scala ou Python / Spark. Vous intégrerez une équipe technique en charge de la conception, du développement et de la maintenance de solutions de traitement et d'exploitation de données à grande échelle. Missions principales Concevoir, développer et maintenir des pipelines de traitement de données. Développer des traitements distribués avec Apache Spark en Scala ou Python. Participer à la collecte, à la transformation et à l'intégration de données provenant de différentes sources. Optimiser les performances et la fiabilité des traitements Data. Garantir la qualité, la cohérence et la disponibilité des données. Participer à l'industrialisation et à l'automatisation des flux de données. Collaborer avec les équipes Data, IT et métiers. Contribuer aux bonnes pratiques de développement, de documentation et de mise en production. Compétences techniques requises Bonne maîtrise de Scala ou Python. Expérience significative avec Apache Spark. Bonne connaissance des architectures et traitements Big Data. Maîtrise des concepts ETL / ELT et des pipelines de données. Bonne compréhension des bases de données SQL. Connaissance des environnements distribués. Utilisation de Git et des bonnes pratiques de développement.

Nous rec herchons un(e) Data Engineer Hadoop Spark Scala capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : at9p10muxy

Dans le cadre d'une mission chez l'un de nos clients, SPI Informatique recherche un développeur senior pour renforcer la tribu Data Tech. Il n'y a pas d'autre développeur dans l'équipe : vous en serez la référence technique et vous travaillerez en lien direct avec les profils data et métier. Vos missions Participer à la conception et au développement des applications de la tribu Data Tech Développer les briques back-end en Java et en Scala Concevoir et faire évoluer les interfaces front-end en React Concevoir et optimiser les accès aux bases PostgreSQL et Oracle Prendre en charge la qualité du code : tests, revues, documentation Être force de proposition sur les choix techniques et les bonnes pratiques Environnement technique Java · Scala · React · PostgreSQL · Oracle

Qui sommes-nous ?Anafi Consulting est un cabinet de conseil spécialisé dans les transformations technologiques et organisationnelles. Nous accompagnons nos clients grands comptes dans leurs projets stratégiques autour de la Finance, de la Data, du Cloud, du DevOps et du développement applicatif, en combinant expertise technique, compréhension métier et qualité du delivery. Votre rôleDans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e) Data Engineer Senior / Lead spécialisé(e) dans les technologies Apache Spark, Scala et Azure Databricks. Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour des données de marché et des reportings financiers réglementaires. Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production. Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes. Vos missions principales Data Engineering & Traitement de donnéesConcevoir et développer des pipelines de traitement de données avec Apache Spark et Scala. Collecter, transformer et consolider des données issues de sources multiples. Développer des traitements distribués pour des volumes importants de données financières. Mettre en œuvre des contrôles de qualité et de cohérence des données. Automatiser les traitements de rapprochement et les calculs financiers. Garantir la fiabilité et la traçabilité des données produites. Architecture Data Lake & AzureParticiper à la conception et à l'évolution d'architectures Data Lake sur Microsoft Azure. Mettre en œuvre des solutions Delta Lake selon une architecture médaillon Bronze / Silver / Gold. Développer et maintenir des traitements sur Azure Databricks. Contribuer à l'optimisation du stockage et de l'exploitation des données sur Azure Data Lake Storage Gen2. Participer aux projets de modernisation et de migration des plateformes Data. Performance & Optimisation SparkOptimiser les performances des traitements Spark. Analyser les plans d'exécution et améliorer les stratégies de partitionnement. Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations. Participer aux migrations et montées de version des environnements Spark. Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines. Données financières & Reporting réglementaireDévelopper des traitements de calcul et d'agrégation de données financières. Contribuer à la production de reportings réglementaires tels que NSFR et COREP. Participer à la fiabilisation des données de marché et des référentiels financiers. Développer des mécanismes de rapprochement entre différentes sources de données. Garantir la qualité et la non-régression des calculs. Industrialisation & DevOpsIndustrialiser les traitements Data à travers des pipelines CI/CD. Automatiser les tests unitaires et d'intégration. Participer au déploiement des applications sur Kubernetes / AKS. Utiliser Helm pour la gestion des déploiements. Contribuer à l'amélioration continue des pratiques de développement et de livraison. Expertise technique & AccompagnementParticiper aux choix d'architecture et aux orientations techniques. Accompagner les ingénieurs Data dans leur montée en compétence. Réaliser des revues de code et promouvoir les bonnes pratiques de développement. Collaborer avec les équipes métiers, Data Analysts et équipes IT. Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques. Environnement techniqueData Engineering & Big Data Scala Apache Spark Azure Databricks Delta Lake SQL Cloud & Stockage Microsoft Azure Azure Data Lake Storage Gen2 (ADLS) Architecture Data Lake Architecture médaillon Bronze / Silver / Gold Bases de données & Restitution ClickHouse OpenSee DevOps & Industrialisation Jenkins GitHub Kubernetes / Azure AKS Helm Oozie CI/CD Développement Java Spring Boot Angular Qualité & Performance Tests unitaires et d'intégration Optimisation Spark Partitionnement et shuffle Monitoring des traitements Qualité et fiabilité des données

Participer à la conception des architectures Data et aux choix techniques. Assurer l'orchestration des flux de données et l'industrialisation des traitements. Mettre en œuvre les pratiques CI/CD et les processus de déploiement. Réaliser les tests unitaires, garantir la qualité du code et contribuer aux mises en production. Participer à l'optimisation des performances et à la fiabilisation des traitements. Collaborer avec les équipes techniques et métiers dans un environnement Agile. Contribuer à la résolution des incidents et à l'amélioration continue des pipelines de données. Environnement techniqueCompétences indispensables : Scala Apache Spark Hadoop Databricks Compétences complémentaires : PySpark et Python AWS Apache NiFi Shell Unix Git / GitHub CI/CD et industrialisation des traitements Data