Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

Solide expérience en développement avec des langages comme Scala et/ou Java, et une compréhension approfondie des concepts de programmation fonctionnelle. Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark. Expérience significative dans le domaine de la Data et du Cloud (GCP ou AWS), en particulier les services tels que Cloud Storage, BigQuery, Dataproc, Kubernetes, et d'autres outils pertinents pour la gestion et le traitement de données à grande échelle Bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données. Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l’automatisation des workflows data. Bonne connaissance de l’environnement Linux et des outils de ligne de commande. Connaissance approfondie des concepts d'architecture microservices et des bonnes pratiques de développement. Expérience dans l'écriture de tests unitaires et d'intégration pour garantir la qualité du code. Connaissance sur Kafka-stream, spring boot, Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires.

Au sein de l'équipe Data, vos fonctions consisteront notamment à : Participer à l'estimation de la complexité des chantiers techniques liés à la montée de version SPARK (3.4) Concevoir et développer les traitements applicatifs en collaboration avec les intervenants internes à l'équipe, ou externes à celle-ci (architectes techniques, architectes data, experts sur des technologies liées...) Rédiger les dossiers de conception et documentations techniques nécessaires Concevoir et exécuter les cas de tests unitaires / d'intégration Faire des revues de code croisées avec les collègues de l'équipe Contribuer à l'installation et au déploiement des composants Participer activement aux rétrospectives afin de garantir le process d’amélioration continue Assurer la qualité et le suivi des développements, en participant à la correction des problèmes de production

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Produit clé : Kiwi, plateforme de pilotage de petits actifs pour le demand-side management, connectée via edge devices ou APIs. Mission principale : Concevoir, développer, maintenir et supporter des services back-end temps réel (calcul et envoi de consignes toutes les 2-4 secondes, collecte de données). Responsabilités : -Analyse fonctionnelle avec experts métier. -Conception technique et propositions d'architecture (APIs, services). -Découpage agile et développements incrémentaux. -Développement back-end Scala, APIs, tests (unitaires, intégration, Pact). -Documentation, support utilisateurs, monitoring et support niveau 2.

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Almatek recherche pour l'un de ses clients Un Data Engineer Spark/Scala sur Bordeaux. Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : -Socle Big Data (OI1) : *Compute : Yarn *Storage: HDFS (avec chiffrement pour C3), Hive *Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : -MoveNAStoHDFS -Moteur d'ingestion v2 -Spark Scala -Dictionnaire de données -Socle Data Science : *DataiKu Automation Frameworks/langage/outils utilisés: -Spark 3 -HQL Localisation : Bordeaux + 2 à 3 jours de présence sur site requise

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. ➕ Les + de la mission Environnement technique structuré Enjeux Data à forte valeur métier Collaboration avec des équipes techniques expérimentées Mission longue durée 📍 Localisation Vannes / Nantes (1 jour par semaine sur site à Vannes requis) Mission longue

Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un.e Développeur Big Data Spark/Scala pour intervenir chez un de nos clients du secteur bancaire. 💻💼 Voici un aperçu détaillé de vos missions 🎯 : - Étudier et concevoir techniquement les batchs de traitement de données - Développer en Scala/Spark pour des traitements volumineux - Récupérer, transformer, enrichir et restituer les données - Créer et gérer des batchs de publication Kafka - Participer à la maintenance de la chaîne CI/CD (Jenkins, Gitflow) - Collaborer avec les Business Analysts pour garantir qualité et lisibilité des libellés - Gérer certains sujets de manière autonome : reporting, suivi, coordination

Almatek recherche pour l'un de ses clients, Un IED Java / Spark / Scala / SIG sur Ecully Profil recherché : IED Sénior Java / Spark / Scala / SIG Une expérience >5 ans sur des technologies SPARK & JAVA est nécessaire. Une connaissance des librairies géographiques dans Spark est un plus. Une connaissance d'une solution similaire (exemple Apache Beam) est un plus. Contexte client : Dans le cadre de la mise en place d'un socle SIG (Système d'Information Géographique) permettant la gestion des risques climatiques, notre client souhaite s'appuyer sur des expertises de développement en Spark Java, si possible avec une connaissance des librairies Géographiques, dans un environnement Google Cloud platform. Le projet consiste à industrialiser des modèles définis par la direction actuariale, afin d'intégrer des données géographiques, topographiques, satellites, des données métier, pour définir les scores de risque des différents risques climatiques (inondation, sécheresse, tempête, etc. Sur le périmètre confié, en coordination avec l'équipe projet de développement de notre client et l'intégrateur, les objectifs sont les suivants : • Comprendre et analyser les modèles de calculs définis par les actuaires • Participer avec l'intégrateur aux phases de conception de la solution • Réaliser le développement en Spark Java, en utilisant des librairies géospatiales • Accompagner la montée en compétence des équipes sur la mise en œuvre de traitements en Spark / Java • Déployer les développements dans un environnement Google Cloud Platform • Créer la documentation et la communiquer aux équipes concernées • Anticiper les phases d'exploitation en relation avec les équipes du client • Rendre compte à son chef de projet Livrables • Solution applicative développée et testée • Mises à jour de la documentation • Mise à jour du suivi interne de l'équipe Compétences Fonctionnelles: IARD : notion Compétences Techniques: JAVA / SCALA / SPARK : Expert Oracle / ITIL : Avancé Agile : avancé

🔍 Contexte Nous vous proposons de rejoindre un acteur majeur du digital , au sein du domaine Platform Engineering , en charge des outils, services et environnements standardisés mis à disposition des équipes de développement. Le domaine Platform Engineering est structuré autour de plusieurs équipes spécialisées , réparties entre Nantes, Paris et Lille , évoluant dans un environnement Agile, DevOps et Cloud Native . Vous intégrez l’équipe responsable de la stratégie, de l’outillage et de l’excellence opérationnelle autour des tests de performance, de charge et des quality gates , pour des applications critiques à très forte volumétrie . 🎯 Votre rôle En tant qu’ Expert Senior , vous intervenez comme référent technique transverse sur les sujets de performance, résilience et scalabilité . Votre rôle dépasse l’exécution : vous orientez les choix techniques , définissez les standards , et accompagnez la montée en maturité des équipes. 🧭 Vos responsabilités 🛠️ Build – Vision & Expertise Définir et faire évoluer la stratégie de tests de performance et de charge à l’échelle de la plateforme ; Piloter les choix d’outillage et les architectures de tests (Gatling, K6, MockServer, CI/CD, IaC) ; Concevoir des pipelines CI/CD robustes et industrialisés , intégrant des quality gates de performance ; Structurer et automatiser les campagnes de tests de charge et de performance ; Accompagner les équipes de delivery sur les bonnes pratiques d’ opérabilité : résilience, observabilité, capacity planning, performance by design. ⚙️ Run – Excellence opérationnelle Superviser les déploiements et l’exploitation des outils de tests, principalement en hors production ; Analyser les résultats des tests complexes et formuler des recommandations d’optimisation applicative et infrastructure ; Mettre en place des démarches d’ amélioration continue basées sur des indicateurs fiables ; Contribuer à la fiabilité et à la performance globale des applications à fort trafic. 🤝 Rôle transverse & vie d’équipe Être un acteur clé des cérémonies agiles et un partenaire de confiance pour les PO, Lead Dev et équipes de delivery ; Jouer un rôle de mentor et de référent auprès des profils plus juniors ; Porter une dynamique d’ innovation continue , de standardisation et de partage de bonnes pratiqu

Nous recherchons un freelance Analytics Engineer / Data Engineer pour intervenir sur un projet Data transverse d’envergure , au sein d’un grand groupe français du secteur médias & digital . Le projet vise à centraliser, harmoniser et fiabiliser les données de diffusion publicitaire digitale (impressions, chiffre d’affaires, performance, etc.) afin de fournir un reporting unifié et fiable selon différentes dimensions métiers (canaux de vente, équipes commerciales, annonceurs, origines des revenus…). Au sein d’une équipe Data expérimentée, vous interviendrez sur les missions suivantes : Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory Développer et optimiser des flux de transformation de données en Spark SQL Maintenir et faire évoluer des pipelines de traitement en Scala (part marginale) Développer et maintenir des indicateurs de qualité de données (KPI data) Participer au refactoring du code existant afin d’améliorer performance et maintenabilité (réécriture en DBT ) Garantir la qualité du code et le respect des standards de développement Mettre en place des tests unitaires et contribuer à la fiabilité des traitements Participer au monitoring des solutions Data Digital Produire les livrables attendus : code source, documentation et indicateurs qualité

Les livrables sont : Code Source Documentation KPI qualité Compétences techniques : Databricks - Expert - Impératif Spark SQL - Expert - Impératif Azure Data Factory - Confirmé - Important Scala - Confirmé - Souhaitable Description détaillée Contexte : Le projet Data PUB - Digital vise à centraliser et harmoniser l'ensemble des données relatives à la diffusion publicitaire digital (impressions, chiffre d'affaire etc) pour permettre un reporting fiable selon différentes dimensions (canal de vente, origine, équipes commerciales, annonceurs etc) et garantir une vision unifiée de la performance digitale. Environnement technique : Azure Data Factory, Databricks, Spark Scala, SQL, Azure DevOps et Power BI. Missions : - Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory. - Développer et optimiser des flux de transformation de données en Spark SQL. - Maintenir des pipelines de traitement de données en Scala (faible part) - Maintenir et développer de nouveaux indicateur de qualité de données - Participer au refactoring du code existant pour améliorer sa performance et sa maintenabilité (réécriture en DBT) - Garantir la qualité du code et veiller au respect des normes de développement au sein de l’équipe. - Implémenter des tests unitaires et assurer la fiabilité des solutions. - Maintenir les solutions de monitoring de l’application Digital. Profil recherché : - Profil orienté Analytics Engineer - Maîtrise avérée de Spark SQL - Bonne connaissance en modélisation BI - Expérience confirmée sur l’écosystème Microsoft Azure (Data Factory, Databricks, Azure DevOps). - Bonne connaissance de Git et des pratiques DevOps. - Sens de la communication, force de proposition et capacité à travailler en équipe. - Rigoureux, attaché aux bonnes pratiques de développement et à la qualité du code Le profil est garant du bon fonctionnement et de la disponibilité des données dont il a la responsabilité. Il assure la prévention des dysfonctionnements des données et contribue à la bonne utilisation de celles-ci

En tant que développeur logiciel, vous contribuerez avec l’équipe à l’ensemble des activités suivantes : Clarifier les besoins avec les analystes fonctionnels et les experts métier Concevoir les solutions techniques et formuler des propositions d’architecture , documentées par des diagrammes (API, services, interactions frontend / backend) Découper les propositions en évolutions progressives selon une approche agile Mettre en œuvre les chaînes de build et les outils associés de tests et de maintenance Développer des services backend et des API Rédiger des tests en collaboration avec les équipes métiers Documenter et produire des guides utilisateurs Fournir une assistance et un support aux utilisateurs Superviser les systèmes et assurer le support de niveau 2 , la résolution des incidents et l’ analyse des causes racines des incidents récurrents Environnement technique Scala Redis PostgreSQL API REST Environnements Linux Méthodologies Agile / Scrum

Dans le cadre d’un projet existant , vous rejoignez une équipe agile Cash Management , au sein du socle Trésorerie & Paiements d’un grand acteur institutionnel du secteur financier. Vous intervenez en tant qu’ expert technique , avec un fort niveau d’autonomie et un rôle clé dans les décisions techniques. 🛠️ Missions principales : Développement et maintenance d’applications backend à forte criticité Traitement de flux de données (événementiels et fichiers) à grande volumétrie Participation aux choix d’architecture et aux bonnes pratiques techniques Garantie de la qualité, de la performance et de la résilience des applications Supervision et suivi en production 💻 Environnement technique Back-end & Data Apache Spark Scala, Java, Python Akka / Kafka API REST (TYK) SQL DevOps & Qualité Jenkins Kubernetes Docker Sonar Datadog Hadoop

🎯 Contexte Au sein de la direction IT Data Management & BI , vous intégrez l’équipe Big Data & API / Squad Financing & Risk . L’équipe développe et maintient un datalake , utilisé comme plateforme de données par les équipes IT et métiers (finance, risque). 🚀 Missions En tant que Data Engineer , vous intervenez sur le datalake FinLake avec les responsabilités suivantes : Assurer la gestion de la production (suivi des flux, incidents, performance) Réduire et maîtriser la dette technique Analyser l’ architecture existante et proposer des évolutions Réaliser les développements Big Data liés aux projets métiers Participer aux déploiements et à l’industrialisation des traitements 🛠️ Environnement technique Big Data : Spark, PySpark, Scala, Hadoop (on-premise) Data & requêtage : Hive, SQL/HQL, Starburst, Indexima Scripting : Unix / Bash DevOps & industrialisation : Jenkins, CI/CD, XLDeploy, XLRelease Outils projet : Jira