Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

Pour l’un de nos clients grands comptes, nous recherchons un Data Engineer confirmé maîtrisant Spark, Hadoop, Scala , pour intégrer une Squad data transverse. L’objectif de la mission est d'assurer un rôle de Data Engineer & développeur API , avec les responsabilités suivantes : Suivi et gestion de la production Réduction de la dette technique Évolution de l’architecture existante et proposition d’améliorations Développements projets et intégration dans les pipelines Possibilité d’évolution vers d’autres Squad Data selon les besoins Activités principales Acheminement, traitement et mise à disposition des données Industrialisation des traitements data Mise en production de modèles statistiques Suivi de projet, développement de jobs Spark Ingestion multi-format (batch & streaming) Développement de scripts et API de restitution Génération de Dashboard ou fichiers à destination des équipes métier Participation à la conception et administration de solutions Big Data Installation, configuration de clusters Hadoop Intégration Spring Boot pour extraction depuis Teradata → Kafka → Data Lake

Description Le consultant fera partie de l'équipe de développement de xxxx, une équipe aux pratiques modernes et efficaces. xxxx est une solution informatique et matérielle de "demand side management" pour clients industriels, contribuant à la transition énergétique. Le consultant interviendra sur la partie logicielle en: analyse de besoins, design, développement, support, maintenance corrective et évolutive. En design et développement, un haut niveau de qualité est attendu. Le consultant participera activement au design de l'architecture et développement du système; le consultant, souvent en collaboration, souvent en totale autonomie, comprendra les besoins et fera des propositions d'architecture évolutive (notamment modulaire) et documentée. Sont aussi importants: l'orientation qualité avec la documentation, les tests automatisés, le build et déploiement automatisés, la conception et le développement d'API bien pensées. La Mission à réaliser se déclinera notamment à travers: - La montée en compétence, tant fonctionnelle que technique, sur les applications existantes - Le design de propositions d'architecture, documentée dans des schémas, la définition des APIs, modules, librairies et écrans - La mise en place de builds et des outils de tests et de maintenance associés - Le lotissement des développements - L'implémentation des différents besoins - Les optimisations et évolutions diverses - La rédaction de tests en collaboration avec les Functional Analysts - La documentation et les manuels d'utilisations - L'assistance et le support aux utilisateurs - Le support niveau2, résolution d'incidents et résolution de problèmes (root causes d'incidents récurrents) - Le suivi post-release des livrables Maîtrise du langage Scala Très bonne connaissance des librairies : cats, http4s, doobie, fs2 À l’aise avec les tests unitaires, d’intégration et Pact Connaissance de Redis, MQTT, InfluxDB, Postgres Expérience en event-driven architecture Notre stack technique : Cloud & Infrastructure : AWS, Terraform Backend : Scala (cats, http4s, fs2), Rust (IOT) Data & Messaging : InfluxDB, PostgreSQL, Redis, MQTT Front-end : ReactJS CI/CD : déploiement continu

L'équipe de notre client a en charge la gestion d'applications métiers pour le compte de ses clients et des plateformes data. Le client est également fournisseur d'applications. Missions : Contribuer à l’estimation des User Stories et s’engager avec l’équipe sur un périmètre de réalisation au cours du prochain sprint, en adéquation avec la capacité à faire de l’équipe Développer les User Stories dans le respect des normes et standards de développement et de sécurité, en intégrant les enjeux data et sécurité Aider à définir et actualiser régulièrement les artefacts de l’équipe (DOR, DOD…) Durant le Sprint, partager l’avancement de ses travaux ainsi que les points de blocage à lever pour atteindre l’objectif fixé Contribuer à l’optimisation de la qualité du code (code review) et à sa maintenabilité Assurer les tests unitaires et contribuer aux autres activités de tests Mettre en œuvre les corrections nécessaires sur les anomalies détectées (build et run) Co-présenter en Sprint Review les résultats des stories prises en charge, les problèmes rencontrés et leur résolution, et répondre aux questions des participants Contribution à la documentation technique du produit Participer à la livraison du produit dans les différents environnements

Description Grâce à ses compétences alliant développement bigdata, appétences pour les modèles d’IA et architecture applicative, le data engineer participe à la conception d’applications mettant à l’échelle des algorithmes créateurs de valeur pour l’entreprise. Livrables • Définition et analyse des structures de données. • Contribution dans les assets des différentes équipes produits pour interconnecter et collecter les données. • Mise à disposition de la data et des recommandations à des systèmes externes (APIs, exports, injection de données). • Connaître et respecter dans nos propositions de valeur les exigences et problématiques liées aux réglementations en vigueur (RGPD, Data privacy, etc.) et aux standards et tendances du secteur (éco-conception, etc.). • Garant de la production (mise en place de monitoring et alerting et intervention si nécessaire). • Développement et maintien du continuous delivery (participer à l’intégration continue et à l’usine logicielle, déploiements et tests automatisés). • Présentation et explication des réalisations à des publics métiers et techniques.

A ce titre, nous cherchons un profil possédant la double compétence Data engineer et développeur backend Les activités attendues sont: - Ecrire les jobs spark de manipulation des collections de données pour des pipelines d'ingestion, de nettoyage, de preparation, d'enrichissement, de croisement des données - Développer des µService d'accès au données (API REST, serveur graphQL) pour mettre à disposition des applications internes ou directement à des clients externe - Développer jusqu'à la mise en production les traitements Big Data - Assurer la maintenance corrective des solutions Big Data développées - Collaborer avec l’ensemble des interlocuteurs concernés, transverses et métier Compétences attendues Java (J2EE / Jdk 21) Scala Spark / Spark Streaming Parquet Trino Delta Lake Kafka Docker – Kubernetes – Helm - Argo Workflow Web Services Rest / graphQL TU (JUnit / Mockito / PowerMock / ScalaMock) Git / Maven Les capacités d'innovation et de proposition seront appréciées. La maitrise de l'anglais est indispensable. La mission est prévue sur le reste de l'année 2025

Nous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur une mission de conseil et d’optimisation d’une Data Platform AWS Databricks . ✅ Vos missions principales Auditer l’existant de la Data Platform AWS Databricks Proposer des préconisations techniques & méthodologiques pour renforcer la performance et la fiabilité Conseiller les équipes sur les bonnes pratiques Data & Cloud Contribuer à l’évolution et à la roadmap de la plateforme Accompagner les équipes internes dans la mise en œuvre

En tant que Data Engineer Databricks, nous vous proposons d’intégrer une équipe d’ingénieurs expérimentés et multi-compétentes. Au sein de nos clients issus de différents secteurs d'activité (Industrie, Services, Transport, Logistique, Banque, Assurances, Énergie), vous jouez un rôle clé dans la migration des données et des tâches de l'environnement Cloudera vers Databricks. Vous êtes également chargé d'automatiser le déploiement des jobs via le CI/CD. Pour réussir ces différents challenges, nous vous proposerons des actions de formation, des parrainages, des certifications sur les outils concernés et un dispositif d’évaluation personnel régulier.

Bonjour, Pour le compte de notre client nous recherchons un TECH LEAD BIG DATA Le domaine d’intervention du Tech Lead Data Engineering comprend les études, l’architecture du SI Big Data, le choix des solutions et outils, le pilotage technique du Build et du Run. Comme référent technique Big Data, vous assurez le lead technique de l’équipe de développeurs, avec en responsabilité, la conception et la mise en œuvre des solutions Big Data, ainsi que le pilotage technique de projets. Sous la responsabilité du responsable du SI Big Data, vous piloterez techniquement les activités de Data Engineering : - étude et prise en compte des besoins de traitement de la data, - gestion des priorités et de la cohérence des besoins, - choix des outils et solutions - conception et mise en œuvre des architectures de données évolutives et performantes, sécurisées et résilientes - direction et encadrement technique d’une équipe de data ingénieurs composée d’intervenants externes : suivi, support, adoption des bonnes pratiques de développement sécurisé - suivi de la qualité, de la sécurité des données et des traitements, de la performance opérationnelle des traitements - participation et support au delivery nécessitant l’expertise technique et data - veille technologique pour rester à l’état de l’art en matière de traitement massif des données, et d’utilisation de l’IA pour l’automatisation, la prédiction, la génération de data et de code. - support des équipes Data Science et R&D sur le cycle de déploiement/optimisation et industrialisation des solutions d’IA - conception et mise en place d'API pour l'intégration des solutions Big Data avec d'autres systèmes, - développement et intégration de modèles d'IA générative pour des applications spécifiques, - assurer la maintenance et l'évolution des API et des modèles d'IA générative.

Tâches : - Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de l’équipe client, tout en respectant les règles de gestion et les critères d’acceptation associés. Contexte Equipe de 12 personnes composée d'un PO et d'un Scrum Master, a pour objectif de constituer une vision 360 des clients en temps réel afin de servir des usages digitaux communautaires. En plus de contribuer pleinement aux enjeux majeurs de modernisation du système d’information Marketing. L'équipe assure aussi au quotidien le bon fonctionnement de produits à valeur ajoutée L’équipe évolue dans un cadre Scrum basé sur les valeurs et pratiques agiles. Attendu : Contribuer et recueillir les besoins - Définir les architectures des solutions avec le reste de l’équipe - Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests - Déployer dans les différents environnements - Garantir le bon fonctionnement en production - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Nous recherchons un(e) DATA SCIENCE / MACHINE LEARNING ENGINEER pour l'un de nos clients grand compte. Missions : - Travaux de Data Science. - Fouille de données et mise en place de modèle Machine Learning). - Développement de programmes de traitements de données (micro-services) en Python/Spark - Développement d'algorithmes Machine Learning dans un contexte de Big Data Expertise : o Création, entrainement, optimisation, et mise en production de modèle o Données tabulaires à grande volumétrie avec des données déséquilibrées (imbalanced) o Secteur banque/finance -> problématique de détection de fraude / AML Stack technique python, scala, spark, git, linux Base de données : hbase, PostgreSQL, ElasticSearch DS : Pandas, PySpark, H2O, MLOPS, NLP, ML

Contexte et objectifs de la prestation : Dans ce cadre, la prestation consiste à contribuer à/au(x) : 1. Projets de migration vers notre nouveau Datalake sur infra “Azure” 2. Projets de maintenance évolutive des Use Cases Data déjà existants 3. Cadrage et chiffrage du projet (et validation) et assistance et expertise dans la définition de la stratégie et solution technique. 4. L'assistance et l'expertise sur l’architecture technique (design et conception) des couches datalake et des moyens de restitutions, 5. La conduite du changement dans la mise en œuvre et l’uniformisation des pratiques Craft 6. La définition des normes et standards de qualité édictés sur le périmètre (qualité de code, sécurité, performance, build automatique, analytics) 7. La définition du bon niveau de la documentation technique et mise à jour associée Diverses étapes de développements notamment sur les développements complexes : chiffrage, conception, spécifications techniques,mise en place, tests, déploiement, revue de code 8. Challenge des choix techniques pour qu’ils soient en adéquation avec : le besoin du client, les normes et standards des entités d’architectures, l’innovation et les principes de la transformation digitale de la banque Expertises : 1. Spark Scala 2. Cloudera, Azure 3. Mode Agile (Scrum) 4. Environnement anglophone.

Dans le cadre de la transformation d’un groupe média international, un ambitieux projet de développement d’une nouvelle plateforme de gestion des assets médias (MediaHub) est en cours. Construite en interne à partir de logiciels libres et suivant une méthodologie Agile (Scrum) , cette plateforme a pour objectifs : Mutualiser les catalogues de médias entre les différentes entités du groupe (TV et cinéma). Repenser l’ensemble des workflows utilisateurs afin d’améliorer l’efficacité opérationnelle (ergonomie, automatisation). Intégrer rapidement de nouveaux usages (UHD, HDR, IMF, etc.) et faciliter l’interconnexion avec l’écosystème média (majors, plateformes de streaming, etc.). Fournir une application MediaHub MAM assurant la gestion des essences média (fichiers audio, vidéo, sous-titres, etc.), composée de micro-services développés en Scala et Rust , déployés dans le Cloud (AWS) et On Premise (VMWare) . Organisation : Équipes en Feature Teams complètes (PO, DevOps, QA, Développeurs) avec Scrum Master et UI/UX Designer. Méthodologie Agile avec sprints de 2 semaines. Matériel fourni : MacBook Pro. Missions : Développer et maintenir des micro-services back-end au sein de la plateforme MediaHub. Participer activement aux cérémonies Agile (sprint planning, daily, rétrospectives). Contribuer à l’ensemble du cycle de vie des User Stories (conception, développement, tests, cohérence des livrables, mise en production). Être force de proposition dans l’amélioration continue des pratiques techniques et organisationnelles. Collaborer avec les Lead Tech et les équipes transverses pour garantir la qualité et la fiabilité des développements.

Contexte Équipe IT Data Management & BI – Squad Big Data & API. Le data lake “ESG” sert de plateforme de données pour des équipes IT et métiers. La mission peut évoluer vers d’autres squads Data selon les besoins. Missions Assurer le rôle de Data Engineer et développeur d’API au sein de la squad. Exploitation/production : supervision des traitements, corrections, optimisation des performances. Gestion de la dette technique : refactor, qualité, sécurité. Architecture : revue de l’existant et propositions d’évolutions . Développements projets : pipelines de données et APIs d’exposition.

Nous recherchons un Data Engainer Scala/Spark pour rejoindre une équipe Data/IT Agile au sein d’un grand compte du secteur financier . L’application sur laquelle vous interviendrez est une solution batch critique permettant le traitement de Data à travers des calculs d’indicateurs et la restitution via un front React et des APIs REST. La solution est cloud native , déployée sur : AWS pour les imports et l’ETL (S3, Glue, Athéna, Lambda) ; Azure pour les calculs complexes et le stockage SQL Server. Au sein de l’équipe projet, vous interviendrez sur : La prise en main de l’application existante (Scala/Spark, C#) L’ implémentation de nouvelles User Stories , issues de la Roadmap métier La conception technique de solutions évolutives sur le Cloud L’ implémentation des évolutions fonctionnelles et techniques La mise en production , le suivi post-release La rédaction des spécifications et documentation technique La rédaction et exécution de tests unitaires et d’intégration Le monitoring de la production (via Splunk) Le support utilisateurs et l’ amélioration continue

Le poste Vos missions ? En tant que Lead Data vous serez en charge des missions suivantes: - Accompagner et faire monter en compétence les membres de l'équipe Data - Définir la vision et la roadmap data de l'entreprsie - Compréhension du besoin client et être capable de le traduire aux équipes métier - Veiller à la cohérence et la qualité des données utilisées - Suivi de l'évolution des outils data - Développer des algorythmes et des modèles Machine Learning - Mettre en production des solutions data en collaboration avec les équipes IT et DevOps La stack Technique : - MongoDB, PostgreSQL - Talend - Python (lib : Pandas, Scikit Learn, Tensorflow, Matplotlib, Plotly...) - Scala, R, - Docker, Jenkins - Gitlab/Github

Missions principales Concevoir, développer et maintenir des pipelines d’ingestion et de traitement de données à forte volumétrie . Participer à la migration Scala vers Java/Spring et à l’intégration dans Snowflake/Snowpark . Travailler sur l’ architecture et l’optimisation des solutions data (batch & stream). Garantir la qualité du code : tests unitaires et d’intégration, CI/CD, documentation, monitoring. Collaborer avec le Tech Lead et l’équipe , en agile (daily scrums, code reviews, pair programming). Être un référent technique pour l’équipe et contribuer aux choix technologiques. Participer à des projets transverses et assurer la veille technologique sur les nouvelles solutions data. Architecture & concepts Expérience avec architecture medaillon data : Bronze → Silver → Gold. Compréhension des transformations et de la gestion des données selon cette architecture. Capacité à proposer et mettre en œuvre des améliorations pour la performance et la scalabilité. Stack & compétences recherchées Technologies principales : Java (expert, orienté Spark) Spring Snowflake / Snowpark Connaissances attendues : Databricks (full service managé, migration complète) Airflow, GitLab CI SQL Expérience Cloud (préférence GCP, AWS également possible) Compétences complémentaires : Conception de pipelines de données scalables Tests automatisés, monitoring, CI/CD Autonomie et capacité à driver techniquement l’équipe