Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

🎯 Contexte Au sein de la direction IT Data Management & BI , vous intégrez l’équipe Big Data & API / Squad Financing & Risk . L’équipe développe et maintient un datalake , utilisé comme plateforme de données par les équipes IT et métiers (finance, risque). 🚀 Missions En tant que Data Engineer , vous intervenez sur le datalake FinLake avec les responsabilités suivantes : Assurer la gestion de la production (suivi des flux, incidents, performance) Réduire et maîtriser la dette technique Analyser l’ architecture existante et proposer des évolutions Réaliser les développements Big Data liés aux projets métiers Participer aux déploiements et à l’industrialisation des traitements 🛠️ Environnement technique Big Data : Spark, PySpark, Scala, Hadoop (on-premise) Data & requêtage : Hive, SQL/HQL, Starburst, Indexima Scripting : Unix / Bash DevOps & industrialisation : Jenkins, CI/CD, XLDeploy, XLRelease Outils projet : Jira

Mission : Le Tech Lead Big Data est le référent technique sur les plateformes Big Data on-premise . Il conçoit, développe et optimise des solutions data basées sur Spark / Scala au sein d’environnements Hadoop / Cloudera , tout en accompagnant les équipes de développement. Responsabilités : Être le lead technique Big Data de l’équipe Concevoir et faire évoluer des pipelines de données distribués Développer des traitements Big Data en Scala / Spark Garantir la performance, la fiabilité et la qualité des données Réaliser des revues de code et accompagner les développeurs Collaborer avec les équipes infra et production Environnement technique : Langages : Scala, SQL Framework : Apache Spark Écosystème : Hadoop (HDFS, YARN, Hive, HBase, Impala) Distribution : Cloudera Architecture : On-premise Outils : Git, CI/CD, ordonnanceur (Airflow / Oozie ou équivalent)

Contexte : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Financing & Risk qui aujourd'hui développe et gère un datalake (FinLake). Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. Missions : L'objectif de la mission est d'assurer le rôle de Data Engineer du FinLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Les livrables sont : Code Source Documentation KPI qualité Compétences techniques Databricks - Expert - Impératif Spark SQL - Expert - Impératif Azure Data Factory - Confirmé - Important Scala - Confirmé - Souhaitable Description détaillée Contexte : Le projet Data PUB est le datamart TV qui vise à centraliser et fiabiliser les données nécessaires au pilotage et à l’analyse de l’activité publicitaire TV linéaire. Le datamart se source principalement d’OptiPub, base de référence regroupant les informations issues des différentes applications métiers de la régie publicitaire. Côté restitution, Ouranos fonctionne principalement avec une logique de self-BI : nous mettons à disposition des métiers un univers BusinessObjects et/ou un dataset Power BI standardisé, que les utilisateurs exploitent pour construire leurs propres tableaux de bord et analyses. La finalité est de fournir un socle de données unique et cohérent permettant aux équipes métier d’accéder rapidement à des informations fiables sur l’activité pub TV et de gagner en autonomie dans le reporting. Environnement technique : Azure Data Factory, Databricks, Spark Scala, SQL, Azure DevOps et Power BI. Missions : - Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory. - Développer et optimiser des flux de transformation de données en Spark SQL. - Maintenir des pipelines de traitement de données en Scala (faible part) - Maintenir et développer de nouveaux indicateur de qualité de données - Participer au refactoring du code existant pour améliorer sa performance et sa maintenabilité - Garantir la qualité du code et veiller au respect des normes de développement au sein de l’équipe. - Implémenter des tests unitaires et assurer la fiabilité des solutions. - Maintenir les solutions de monitoring de l’application Digital. Profil recherché : - Profil orienté Analytics Engineer - Maîtrise avérée de Spark SQL - Bonne connaissance en modélisation BI - Expérience confirmée sur l’écosystème Microsoft Azure (Data Factory, Databricks, Azure DevOps). - Bonne connaissance de Git et des pratiques DevOps. - Sens de la communication, force de proposition et capacité à travailler en équipe. - Rigoureux, attaché aux bonnes pratiques de développement et à la qualité du code. Ingenieur Data 5-8 ans Définition du profil Il est garant du bon fonctionnement et de la disponibilité des données dont il a la responsabilité. Il assure la prévention des dysfonctionnements des données et contribue à la bonne utilisation de celles-ci

Missions : • Collecter, analyser et formaliser sous forme de spécifications les besoins fonctionnels et/ou techniques et définir les tests d’acceptances. • Participer au découpage sous forme de ticket JIRA avec les développeurs et compléter leur rédaction (pendant les phases de préparation de PI, ou pendant le PI planning). • Tester les développements, et qualifier les releases. Dans ce cadre, définir la stratégie de tests, formaliser les cahiers de recette et réaliser les tests fonctionnels afin de garantir la bonne adéquation des solutions développées avec les exigences client d’une part et garantir la sécurité et la stabilité des solutions déployées d’autre part. Organiser et assurer la communication avec les différents partenaires (Front, Risques) • Participer à la production des livrables liées aux releases : release note, document d’homologation, documentation fonctionnelle, etc • Maitriser et faire évoluer les outils d’analyses (basés sur PowerBI, Python). • Assurer le support de production, en particulier sur les analyses fonctionnelles. Créer les tickets JIRA associé lorsque des correctifs sont nécessaires. • Participer aux différents rituels Agile.

Nous recherchons pour l'un de nos clients un(e) Business Analyst QA Intégration pour travailler sur les évolutions Odoo en lien avec les autres applications du SI (spécifications et tests). Il et sera intégré dans une squad agile et devra se coordonner avec les autres squads dont les systèmes sont adhérents à Odoo pour la conception / validation des contrats d'interface et pour organiser et effectuer les tests. A ce titre, vos principales missions seront les suivantes : Rédiger les user stories et les faire valider par le PO, évaluer la complexité et faire une proposition de lotissement le cas échéant. Durant cette phase, le Business Analyst devra également préparer les arbitrages éventuels pour prise de décision Définir la stratégie de recette, décrire l’ensemble des cas de tests à effectuer, préparer les jeux de données en lien avec les autres équipes IT, dérouler la recette et fournir un état d’avancement (outillage : SQUASH) Construire une documentation fonctionnelle de la solution au fur et à mesure des lots (outillage : Confluence) Agilité : Le business analyst participera aux rituels agiles (Daily meeting, Sprint planning, sprint review, retrospective, grooming) Livrables attendus : Spécifications fonctionnelles (EPIC, User Stories) Plan de tests et résultats de recette (utilisation de squash) Reporting d’avancement

Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l’analyse de leurs données et KPI. Les infrastructures et projets incluent : AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI, AI/GenAI Architectures Big Data sophistiquées pour ingérer plus de 100 par jour (Datalake, Event-Driven, Streaming, etc.) Exemples de projets : Chatbot AI Socle vidéo, navigation et calcul des audiences Recommandation de programmes via IA Feature Store et modernisation des flux financiers Plateformes CRM et partage de données partenaires Kubernetes et applications de data self-service Missions En tant que Data Engineer , vous serez en charge de : Concevoir, développer et maintenir des pipelines de données scalables et performants (ingestion, traitement et stockage de données massives). Développer des architectures Big Data sur AWS (S3, EMR, Lambda, Kinesis, Batch…), Snowflake et Spark. Développer en Scala et Python pour le traitement massif des données. Automatiser les workflows et orchestrer les pipelines avec Airflow et DBT . Concevoir et exposer des APIs customer-facing performantes. Optimiser les performances et garantir la scalabilité pour gérer un volume important d’utilisateurs. Collaborer avec les équipes Data Science, Produit et DevOps pour une intégration fluide.

Compétences techniques requises : Expertise confirmée sur Snowflake, Snowpark et Scala Expérience significative en migration de données Hadoop vers Snowflake Maîtrise du framework DBT est un plus Bonne connaissance de Spark/Scala (notamment pour la migration) Expérience sur le Cloud public Azure Maîtrise des principes de conception logicielle : design patterns, clean code, testing, refactoring Connaissance de l'écosystème Hadoop Cloudera Développement dans un environnement CI/CD Maîtrise de GIT Travail en agilité (Scrum) Compétences non techniques requises Capacité à résoudre des problèmes complexes Aptitude à la communication et à la vulgarisation technique Expérience dans un cadre international Collaboration interdisciplinaire Respect des normes de développement

Le poste Vos missions ? En tant que Lead Data vous serez en charge des missions suivantes: - Accompagner et faire monter en compétence les membres de l'équipe Data - Définir la vision et la roadmap data de l'entreprsie - Compréhension du besoin client et être capable de le traduire aux équipes métier - Veiller à la cohérence et la qualité des données utilisées - Suivi de l'évolution des outils data - Développer des algorythmes et des modèles Machine Learning - Mettre en production des solutions data en collaboration avec les équipes IT et DevOps La stack Technique : - MongoDB, PostgreSQL - Talend - Python (lib : Pandas, Scikit Learn, Tensorflow, Matplotlib, Plotly...) - Scala, R, - Docker, Jenkins - Gitlab/Github

Objectifs de la mission Intervenir en tant qu’expert technique sur des applications critiques de Cash Management dédiées au traitement de flux financiers à forte volumétrie. La mission couvre l’ingestion, la transformation et la diffusion de flux batch et temps réel , ainsi que l’intégration sécurisée avec l’écosystème bancaire international via SWIFTNet et les messages ISO 20022 , dans un environnement distribué basé sur Scala, Java, Python, Kafka, Spark et Hadoop . Rôle et responsabilités Concevoir, développer et maintenir des composants back-end robustes en Scala / Java / Python Intervenir sur des architectures orientées événements et streaming ( Kafka, Spark, ) Garantir la performance, la qualité du code et la stabilité des traitements de flux critiques Contribuer aux choix d’architecture, d’optimisation et de supervision ( Docker, Kubernetes, Jenkins, Sonar, Datadog ) Travailler en étroite collaboration avec les équipes métier Cash Management / Paiement dans un cadre agile

Les livrables sont Code Source Documentation KPI qualité Compétences techniques Databricks - Expert - Impératif Spark SQL - Expert - Impératif Azure Data Factory - Confirmé - Important Scala - Confirmé - Souhaitable Connaissances linguistiques Français Courant (Impératif) Description détaillée Contexte : Le projet Data PUB - Digital vise à centraliser et harmoniser l'ensemble des données relatives à la diffusion publicitaire digital (impressions, chiffre d'affaire etc) pour permettre un reporting fiable selon différentes dimensions (canal de vente, origine, équipes commerciales, annonceurs etc) et garantir une vision unifiée de la performance digitale. Environnement technique : Azure Data Factory, Databricks, Spark Scala, SQL, Azure DevOps et Power BI. Missions : - Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory. - Développer et optimiser des flux de transformation de données en Spark SQL. - Maintenir des pipelines de traitement de données en Scala (faible part) - Maintenir et développer de nouveaux indicateur de qualité de données - Participer au refactoring du code existant pour améliorer sa performance et sa maintenabilité (réécriture en DBT) - Garantir la qualité du code et veiller au respect des normes de développement au sein de l’équipe. - Implémenter des tests unitaires et assurer la fiabilité des solutions. - Maintenir les solutions de monitoring de l’application Digital.

Le rôle du Data Engineer dans ce projet consistera à : * Concevoir et implémenter les composants/pipelines d'ingestion de données en scala spark (glue jobs, sans utilisation de solutions managées type Databricks) * Traiter et normaliser les données * Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers) et notre modèle uniformisé/harmonisé à toutes les plateformes (aggrégateurs, market exchanges) * Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud * Distribuer les données aux différents consommateurs/Métiers * Implémenter les règles de Data Quality (DataQuality framework : great expectation) et gérer le data calatog * Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) * Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, … * Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données * Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. * Être force de proposition pour améliorer les processus et les performances des systèmes.