Find your next tech and IT Job or contract Scala

Hanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to Belgium Advanced Data & Application Lifecycle Data Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...), Application design, development, testing & deployment, Requirement Analysis Advanced Data Processing & Programming Language Apache Spark, Scala, SQL Advanced Real-time Processing Streaming Technologies (Apache Spark) or Flink Advanced Data Storage Iceberg, Delta Table, Parquet, Avro, CSV,JSON Cloud Platforms AWS, Snowflake (preferred) or Zure Databricks Intermediate Development Tools GIT CI/CD, DBT, Containers Afin de répondre aux besoins de nos clients, nous n'acceptons que les candidatures de freelances travaillant au sein de leur propre entreprise (SAS, SASU, SARL, EURL, etc.). N'hésitez pas à me contacter si vous souhaitez discuter de ce poste plus en détail.

en bref : Développeur Scala / Lyon 3 / 50-60K€ / Editeur de logiciels Adsearch, cabinet de conseil en recrutement, vous propose un poste de Développeur Scala (H/F) chez son client éditeur de logiciels. Poste : Vous rejoignez une PME qui édite une gamme de logiciels dans le domaine du médical. Au sein du pôle R&D vous intégrez l’équipe backend composée de plusieurs développeurs Scala. En tant que Développeur Scala (H/F) vous travaillez sur l’architecture et le développement des services qui alimentent la plateforme. Au quotidien vous : - développez et maintenez les API Rest de la plateforme - concevez l’architecture backend - veillez à garantir performance, fiabilité et scalabilité - intégrez les systèmes tiers des partenaires - travaillez en collaboration avec l’équipe produit et frontend - participez aux choix techniques et à l’évolution de la stack. Stack technique : Scala, écosystème Typelevel PostgreSQL / MongoDB CleverCloud CI/CD

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Bonjour 👽, Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure. Missions principales : Participer au développement des User Stories (US) et réalisation des tests associés. Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d’exploitation. Mettre en place et maintenir le CI/CD sur l’usine logicielle. Assurer la mise en place du monitoring . Collaborer étroitement avec l’équipe projet ; pas de responsabilité de production individuelle. Travailler dans un environnement agile avec priorisation et gestion multi-projets. Compétences techniques indispensables : Maîtrise de Scala et Spark (batch principalement). Optimisation des jobs Spark et traitement de volumétries importantes / complexes . Bonnes pratiques de développement Scala et build Maven. Expérience en environnement cloud , idéalement Azure . Compétences techniques appréciées : Écosystème Databricks Azure Functions et Azure Data Factory Monitoring sous Datadog Déploiement avec Ansible Compétences transverses : Aisance relationnelle et esprit d’équipe Autonomie, rigueur et esprit d’analyse Capacité de synthèse et force de proposition Sens des priorités et respect des délais Appétence client et compréhension métier / fonctionnelle Mentoring et partage de connaissances

Data Engineer Spark/Scala Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandées Compétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Au sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d’intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks. Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9, etc.). Missions principales : -Participer au développement et à l’intégration de nouvelles sources de données au sein du Datalake Finance. -Assembler et distribuer les données aux consommateurs métiers tout en garantissant la pérennité et la performance des pipelines existants. -Contribuer à la conception technique, l’implémentation et les tests des flux sous Spark / Scala. -Veiller à la non-régression et à la qualité du code dans le cadre des évolutions du socle. -Travailler en méthodologie Agile (Scrum / Kanban) avec les équipes métiers, data et maintenance. -Participer à la documentation technique et aux revues de code. Profil recherché : -5 à 6 ans d’expérience en environnement Big Data / Datalake. -Solide maîtrise de Spark / Scala et des paradigmes de programmation fonctionnelle (ZIO, Monix, Cats appréciés). -Connaissance des écosystèmes Hadoop, Hive, Kafka, HBase, Kerberos. -Expérience dans un cadre Agile (Scrum / Kanban) et outils associés (Jira, Confluence). -Esprit analytique, autonomie, rigueur et bon relationnel.

Contexte du poste: Dans le cadre du développement de sa plateforme Data & Analytics, l'entreprise recherche un Développeur Spark/Scala expérimenté pour rejoindre une équipe agile en pleine croissance. Vous interviendrez sur des projets stratégiques de traitement de données massives et d’industrialisation de pipelines analytiques dans un environnement Cloud et DevOps. Missions principales: Conception et développement de pipelines Big Data avec Spark & Scala Traitement de données batch et temps réel Optimisation de performances et tuning Spark Implémentation de scripts d’industrialisation et automatisation via CI/CD Participation aux cérémonies Agile et collaboration avec les Data Engineers et Architectes Contribution à la mise en production et au MCO des solutions développées Environnement technique: Langages & Frameworks Scala & Spark (obligatoire) Python (confirmé) Java (optionnel, un plus) CI/CD & Automatisation Jenkins (maîtrise impérative) XLR / XLD (XL Release & XL Deploy) Git, Maven Data & Cloud (bonus) Kafka, Hadoop, HDFS Cloud GCP ou Azure (apprécié)

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

Espace Freelance recherche pour l'un de ses clients un : Architecte / Ingénieur Data Senior (H/F) Vos missions Concevoir l’architecture data pour l’ingestion, le stockage et l’exposition des données IoT. Développer des pipelines évolutifs pour données structurées et non structurées. Définir la stratégie technique et garantir l’intégration/déploiement continu (CI/CD). Maintenir et optimiser les pipelines existants pour de nouveaux cas d’usage (BI, maintenance prédictive, détection d’accidents…). Assurer la qualité, la gouvernance et la traçabilité des données. Contribuer à la communauté Data et participer au choix des outils et normes d’architecture.

Descriptif du poste Au sein de l'équipe informatique d'un grand groupe bancaire (350 personnes), la DSI Fonctions Centrales a en charge la gestion d'applications métiers pour le compte des clients corporate (Finance, risque, conformité, marketing, automobile, RH, ...) et des plateformes data. Elle opère pour le compte de ses clients en central, mais est également fournisseur d'applications pour l'ensemble des filiales sur ce périmètre transverse. La prestation se déroule sur le site principal au sein de la Tribe Data France. Missions principales Accompagner les projets de migration vers le Cloud interne Accompagner les équipes de développement dans les bonnes pratiques de développement en intégrant les enjeux data et sécurité Mettre en place des pratiques d'automation/industrialisation via DevSecOps Réaliser la première implémentation de Gen AI dans le contexte Data Participer à des chantiers transverses d'amélioration continue et de monitoring Participer à la définition de la stratégie Data pour le périmètre France

Contexte / Objectif : Renfort d’une équipe technique en charge de la migration du DataHub vers sa version 2. L’objectif est d’assurer le développement et l’industrialisation de traitements Big Data dans un environnement distribué à forte volumétrie, depuis la conception jusqu’au maintien en production. Missions principales : Étude et conception technique des batchs et pipelines data. Développement Spark/Scala pour traitements batch et streaming. Récupération, transformation, enrichissement et restitution des données (ETL/ELT). Création et publication de batchs Kafka (topics / événements). Participation à l’industrialisation : CI/CD, tests, déploiement et monitoring. Collaboration étroite avec les Business Analysts pour garantir la qualité et la lisibilité des libellés. Gestion autonome de sujets transverses (reporting, suivi, coordination, support niveau 2/3). Stack technique (obligatoire / souhaité) : Obligatoire : Apache Spark (maîtrise), Scala (langage principal), SQL (avancé). Souhaité : Java (notions confirmées), Kafka (bonnes bases), Apache Airflow (expérience appréciée), HDFS/Hive/YARN (bonnes bases), expérience Cloud (GCP ou AWS valorisée), CI/CD (Jenkins, Gitflow), notions DevOps. Méthodologie & environnement : Travail en mode Agile (backlog, rituels, communication proactive). Interaction régulière avec équipes Data, BI, infra et métiers.

Contexte & Enjeux Dans le cadre de la décarbonation et de la gestion de la flexibilité énergétique, cette mission s’intègre au sein d'une direction d’un grand groupe énergétique. Vous rejoindrez une équipe technique dédiée au développement et à l’évolution du logiciel interne, utilisé pour piloter la flexibilité de production (renouvelable, thermique), de stockage (batterie) et de consommation (DSM – Demand Side Management) sur des centaines de sites européens. Responsabilités principales En tant que Développeur Senior Scala , vous serez amené à : Proposer des architectures logicielles et documenter les choix (diagrammes, services, APIs) Développer les services backend et APIs (Scala principalement) Travailler en environnement agile avec le métier et les architectes Participer à la maintenance corrective et évolutive de l’application Kiwi Assurer le support de niveau 2 , résolution d’incidents, et analyse des causes racines Contribuer aux tests (unitaires, intégration, Pact) et au monitoring Rédiger la documentation technique et les manuels utilisateurs Stack technique utilisée Langages principaux : Scala (cats, http4s, fs2), Rust (IoT), Python (secondaire) Base de données : PostgreSQL, InfluxDB, Redis Architecture : Event-driven, microservices, MQTT CI/CD : GitLab, déploiement continu Cloud / Infra : AWS, Terraform Frontend (secondaire) : ReactJS Tests : unitaires, intégration, Pact

Nous recherchons un Lead Data Engineer / Data Engineer Senior pour renforcer une équipe data travaillant sur une plateforme moderne Azure / Databricks . Votre rôle : concevoir, industrialiser et optimiser des pipelines Big Data, tout en jouant un rôle de référent technique auprès de l’équipe. Compétences indispensables Big Data : Spark, Databricks Ingestion / Streaming : Kafka, Apache NiFi Cloud : Microsoft Azure Langages : Scala ou Java + Python + SQL Orchestration : Airflow CI/CD & DevOps : Azure DevOps, Git Compétences appréciées Dataiku Ansible Connaissance Data Lake / architectures medallion Vos missions Concevoir et industrialiser des pipelines Big Data (batch & streaming). Développer des flux d’ingestion avec NiFi, Kafka, Spark. Optimiser performance, qualité et scalabilité. Participer à l’architecture et aux choix techniques. Encadrer techniquement l’équipe (guidelines, bonnes pratiques, code review). Contribuer aux automatisations et à l’orchestration (Airflow, Ansible, DevOps).

Pour notre client dans le secteur de la banque d’investissement et des marchés financiers , nous recherchons un Lead Technical Architect / Principal Engineer afin d’accompagner la transformation et l’industrialisation de ses plateformes critiques dédiées aux activités de recherche quantitative , pricing , risk management , et traitement de données financières . L’environnement est international, collaboratif et techniquement exigeant, avec une forte interaction entre équipes Quant , Ingénierie , Data , IT et Production . Mission principale : Concevoir, piloter et optimiser l’architecture des systèmes quantitatifs et des chaînes de calcul haute performance, en garantissant leur robustesse, scalabilité et adéquation avec les besoins métier. Responsabilités : 1. Architecture & Design Concevoir et faire évoluer l’architecture globale des services quantitatifs (pricing, risk, simulations). Définir les standards technologiques et les bonnes pratiques pour des systèmes critiques. Repenser les composants historiques pour améliorer performances, latence, disponibilité et résilience. Sélectionner les langages, frameworks et paradigmes adaptés à des workloads intensifs. 2. Performance & Scalabilité Optimiser les infrastructures de calcul distribuées (compute grids, scheduling, parallélisation). Améliorer les pipelines de données financières (time-series, tick data, surfaces de volatilité). Assurer la haute disponibilité, la tolérance aux pannes, et des performances stables en charge. 3. Données de marché & Services Superviser l’architecture des systèmes de collecte, stockage et diffusion de données financières. Garantir la cohérence, la disponibilité et la performance des pipelines de données critiques. 4. Collaboration Transverse Travailler en étroite collaboration avec : les équipes Quant (modélisation, analytics), les équipes d’ingénierie logiciel et IT, la Data Engineering, les équipes Ops/Production. Transformer des besoins complexes en solutions industrielles fiables et pérennes. 5. Leadership Technique Être force de proposition sur l’évolution de la stack technique. Challenger les décisions technologiques et architecturales existantes. Encadrer techniquement des ingénieurs (sans dimension managériale obligatoire).