Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Nous recherchons un(e) Software Data Engineer pour l'un de nos clients grand compte. Missions : • Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark • Traiter et normaliser les données • Refactoriser des imports existants pour être compliant avec l'architecture médaillon (silver + gold layers) • Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud • Distribuer les données aux différents consommateurs/Métiers • Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog • Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) • Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, … • Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données • Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. • Être force de proposition pour améliorer les processus et les performances des systèmes. Compétences requises : • Expertise en Scala et Spark. • Expérience significative dans le développement d'ETL en contexte Big Data. • Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec expérience pratique • Compétences Dev/Ops • Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes. • Organisation, orientation résultats et intérêt marqué pour le fonctionnel. • Des compétences en Python et REACT seraient un plus pour le candidat

SCALA - Confirmé - Impératif JAVA - Confirmé - Impératif Connaissances linguistiques: Anglais Professionnel (Impératif) Description détaillée Dans le cadre du développement de nouvelles fonctionnalités business, nous cherchons à renforcer l'équipe de développement (front, back, techlead) en place sur un produit. Le langage de développement est le SCALA, à maîtriser impérativement. Télétravail : 3 jours sur site - 2 jours télétravail Le consultant doit donc OBLIGATOIREMENT résider dans la métropole Lilloise

Dans le cadre du développement de nouvelles fonctionnalités à forte valeur business, nous cherchons à renforcer l’équipe de développement déjà en place sur le produit LastMile , dédié à la gestion et à l’optimisation des livraisons du dernier kilomètre. L’équipe, composée de profils front, back et tech lead, travaille en mode agile. Nous recherchons un développeur confirmé maîtrisant impérativement Scala , langage central du projet, afin de contribuer à la conception, au développement et à l’évolution de la solution.

Notre client dans le secteur Biens et services de consommation recherche un/une Data Engineer H/F Description de la mission: Nous recherchons un(e) freelance pour intégrer l’équipe DATA/IA afin d'effectuer des travaux de dataprep dans le cadre d'un projet e-facturation. À ce titre vous serez amené à: - Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Participer au support N3 de la production - Aider les équipes en place à monter en compétence, - Etre force de proposition, - Documenter les réalisations Compétences / Qualités indispensables : Scala, Python, Spark, Gitlab Compétences / Qualités qui seraient un + : Airflow, Kafka, Hive, HDFS, Azure Databricks

CONTEXTE L'entité a donc également un but humain en assurant la réussite des développeurs en reconversion. La mission consiste à renforcer une équipe de Data Engineers pour réaliser des projets Scala/Spark pour le compte de l’un de nos clients. MISSIONS Vous assurerez le pilotage de plusieurs projets basés majoritairement sur les technologies Python sur le périmètre de la filiale Energie. Le pilotage concerne l’ensemble des projets de cette filiale confiés à D2D. Les engagements de l’entité D2D envers la filiale sont assurés grâce à un plateau projet composé de 2 à 4 développeurs, un ops et un architecte. Description détaillée des tâches qui constituent la mission Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous. S'agissant d'un projet mené en agilité, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est identique, seul le détail des US (User Stories) change. A noter que ces livrables sont réalisés par l'équipe projet, il n'y a pas de responsabilité de production individuelle. Les sprints projet s'échelonnent généralement sur 2 semaines. Sur la base des 3 mois de prestation, il y aurait donc 6 sprints. Livrables n°X : Sprint n°X Lot 1 : développement des US et tests associés ; Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d'exploitation ; Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; Lot 4 : Mise en place du monitoring ; Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées) : Le profil recherché pour la mission est celui d’un chef de projet SI/Data. Une expérience significative est requise pour ce poste. Il bénéficiera d’un accompagnement du responsable de domaine / directeur de mission sur le périmètre et du responsable de l’équipe Chefs de Projets Data pour les aspects outillage et méthodologie. Ce soutien sera plus important au début de la mission, notamment pour la prise en main des outils indispensables mais peu répandus comme TimePerformance. Qualités requises - Excellent relationnel - Capacité rédactionnelle - Capacité d’adaptation et de travail en équipe - Rigueur et esprit de synthèse - Esprit d’initiative - Autonomie

Nous recherchons un Développeur Back-End Java expérimenté pour participer à la mise en place d’une plateforme innovante de gestion et de diffusion de contenus déployée à l’international. Cette solution a pour objectif de centraliser différents catalogues, de moderniser les workflows existants et d’améliorer l’intégration avec des partenaires et plateformes de streaming. Vous interviendrez au sein d’une équipe Agile composée de Product Owners, DevOps, QA et autres développeurs, organisée en feature teams. Votre rôle sera de concevoir, développer et maintenir des microservices performants et évolutifs en Java, avec une ouverture vers Scala et la programmation fonctionnelle. Vous contribuerez activement à la qualité du code (TDD, CI/CD, revues de code) et à l’optimisation continue de l’architecture technique, tout en participant à la livraison en production des fonctionnalités.

Besoin à Lille, merci de respecter le TJM - Développeur Scala Dans le cadre du développement de nouvelles fonctionnalités métiers, nous recherchons un(e) Développeur(se) Scala afin de renforcer l’équipe de développement (front, back, tech lead) en charge du produit LastMile, solution de gestion de la livraison du dernier kilomètre. Le langage de développement principal est Scala, dont la maîtrise est indispensable. Stack technique requise : Scala : maîtrise confirmée – indispensable Java : maîtrise confirmée – indispensable Anglais : niveau professionnel – indispensable

Contexte et objectifs de la prestation : Le département informatique aligné avec les métiers en charge du pilotage financier du groupe. Cette tribu est en charge de la maitrise d'ouvrage, de la maitrise d'oeuvre et du support des produits (applications) nécessaire à la bonne exécution de ces processus financiers. Le Bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de certains de ses produits dédiés au pilotage opérationnel des directions centrales (BASYCOUT) et retail (AGENOR) mais aussi de la facturation interne (FI) et des expenses (Expenses Engagement), basés sur des technologies Datalake et cube OLAP, dans un cadre d'agilité à l'echelle (SAFE). Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre, la Prestation consistera à contribuer à/au(x) : - Code livré sous GIT - Tests unitaires développés et joués - Monitoring des traitements de production - Tickets JIRA & Unity mis à jour

Cherry Pick est à la recherche d'un Développeur Back-End Scala / Rust - MediaHub MAM pour l'un de ses clients dans le secteur médias. Dans le cadre de la transformation d'une chaîne de télévision linéaire payante française en un groupe Media International, un chantier ambitieux a été lancé pour développer une nouvelle plateforme de gestion des assets média du groupe, nommée MediaHub. Cette plateforme, construite en interne à partir de logiciels libres avec une méthodologie Agile (Scrum), vise principalement à : Mettre en commun les catalogues de médias entre la France et l'international, entre la TV et le cinéma, et à terme devenir la plateforme de référence du groupe. Remettre à plat l'ensemble des workflows avec les utilisateurs pour une meilleure efficacité opérationnelle (ergonomie et automatisation), une réactivité face aux nouveaux usages (UHD, HDR, IMF, etc.) et une meilleure intégration via des API à l'écosystème Média avec les Majors et les plateformes. D'un point de vue technique, l'application MediaHub MAM, en charge de la gestion des essences média (fichiers audio, vidéo, sous-titres, etc.), est composée d'un ensemble de Micro-Services développés en Scala (~50) et Rust (~5). Ces services sont hébergés dans le Cloud (AWS) et On Premise (VMWare). Un MacBook Pro est fourni à tous les développeurs. Le travail est organisé en sprints de 2 semaines, et l'équipe est constituée de plusieurs Feature Teams complètes (P.O/Devops/Recette/Dev) se partageant un Scrum Master et un UI/UX Designer. Compte tenu des enjeux importants tant au niveau fonctionnel et technique qu'au niveau du calendrier, nous recherchons des candidats : Dynamiques et motivés , capables de voir au-delà de leur tâche affectée, de s'inquiéter de la complétion du récit utilisateur dans son ensemble (incluant la conception, les tests, la cohérence des livrables) et d'être acteur de sa livraison en production. Sérieux et autonomes , permettant d'être un relais efficace des Lead Tech présents dans l'équipe, tout en n'hésitant pas à poser des questions si nécessaires. Les candidats répondront idéalement aux critères ci-après classés par ordre d'importance : Disposer d'au moins une expérience significative (5 ans minimum) dans le développement d'une plateforme composée de micro-services. Le candidat devra être obligatoirement à l'aise avec la programmation concurrente et asynchrone. Avoir une bonne connaissance d'un langage fortement typé (Scala, Java, C#, Haskell, Golang, etc.) et avoir des notions de programmation fonctionnelle (expressions lambda, immutabilité, types algébriques, etc.). Avoir l'envie de monter en compétence sur l'écosystème Scala (cats-effect, zio, etc.). Être capable de répondre à un besoin métier avec une architecture évolutive (DDD, Clean, Onion, Hexagonale) et testable (tests unitaires et d'intégration).

Fondé en 2003, Cosium est un éditeur de logiciel. Nos logiciels sont fournis en mode Saas sur le cloud privé que nous opérons de bout en bout. Cosium est détenu et dirigé par des ingénieurs. Votre mission Construire les systèmes médicaux les plus pointus du marché. Produire du code de qualité et dont vous êtes fiers Utiliser les stacks OpenSource les plus avancées du marché Mentorer des ingénieurs logiciels moins expérimentés que vous Contribuer à des projets OpenSource utilisés et/ou maintenus par Cosium. Voir . Assister à plusieurs conférences de développeurs tout au long de l'année. Jusque là, nous avons assisté à Paris JUG, Devoxx France, PGConf et FOSSDem. Certains d'entre nous ont même été speakers au Paris JUG et au Devoxx France.

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d’intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. Développement d’applications distribuées avec Apache Spark (Batch et Streaming) en Scala. Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. Mise en place d’architectures data : Data Lake, Data Warehouse, solutions temps réel. Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.

Bonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L’objectif de la mission est d’accompagner la Direction Financière à sortir d’Excel et aller vers Power BI. Pour cela, le data eng travaillera en binôme avec un PO pour comprendre l’existant et réaliser cette bascule. Vous aurez un rôle clé dans le développement, l'optimisation et la modélisation de traitements data complexes, avec un focus particulier sur la mise en place et la maintenance de cube tabulaires. Développement et intégration Optimisation Modélisation des données Recueil et analyse des besoins Documentation et support.

Bonjour, Nous recherchons pour l'un de nos clients intégrateurs un "Data Engineer confirmé Maintenance et Inspection pour la Digital Line". Objectifs et livrables : Conception, développement et maintenance de pipeline de données évolutifs sur la plateforme Data Fabric, incluant ingestion et optimisation des performances et de l'usage de la donnée Garantir la qualité, sécurité et intégrité des données tout au long des pipelines Collaboration transversale avec les équipes Data Science, BI, Devops Réalisation d'audits techniques et proposition d'améliorations continues

Bonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L’objectif de la mission est d’accompagner la Direction Financière à sortir d’Excel et aller vers Power BI. Pour cela, le data eng travaillera en binôme avec un PO pour comprendre l’existant et réaliser cette bascule. Vous aurez un rôle clé dans le développement, l'optimisation et la modélisation de traitements data complexes, avec un focus particulier sur la mise en place et la maintenance de cube tabulaires. Développement et intégration Optimisation Modélisation des données Recueil et analyse des besoins Documentation et support

Bonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L’objectif de la mission est d’accompagner la Direction Financière à sortir d’Excel et aller vers Power BI. Pour cela, le data eng travaillera en binôme avec un PO pour comprendre l’existant et réaliser cette bascule. Vous aurez un rôle clé dans le développement, l'optimisation et la modélisation de traitements data complexes, avec un focus particulier sur la mise en place et la maintenance de cube tabulaires. Développement et intégration Optimisation Modélisation des données Recueil et analyse des besoins Documentation et support