Trouvez votre prochaine offre d’emploi ou de mission freelance Scala à Paris

Contexte Dans le cadre du développement d’une Data Marketplace interne pour un grand groupe international du secteur de l’énergie, nous recherchons un Data Engineer expérimenté afin de renforcer une équipe produit data. La plateforme permet de centraliser l’ensemble du parcours data des utilisateurs : découverte de données, data quality, data governance, transformation de données, monitoring de pipelines et BI. Elle sera progressivement déployée auprès de plusieurs milliers d’utilisateurs dans un environnement international. Le consultant interviendra sur la conception et l’évolution des pipelines de données ainsi que sur l’optimisation de la qualité et de la performance des flux. Missions Développement et maintenance de pipelines de données en Python et Scala Conception et évolution d’une architecture data scalable et modulaire Gestion et optimisation des flux de données Mise en place de processus de data quality et validation des données Optimisation des performances des ingestions de données Participation aux rituels agiles et aux revues de code Documentation des choix techniques et de l’architecture Environnement technique Python Scala / Spark Cloud : AWS et Azure AWS : Lambda, Glue, Redshift, Step Functions, DynamoDB Streaming : Kafka, Kinesis, EventHub, EventGrid API REST Git CI/CD Big Data Architecture Connaissance de Langchain ou Langgraph appréciée.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Teksystems recherche pour un de ses client grand compte un Tech Lead Databricks ( H/F) . Missions principales1. Ingestion & Traitement de Données Concevoir et mettre en œuvre des pipelines d’ingestion de données en temps réel via Kafka . Assurer le traitement, la préparation, la qualité et la structuration des données sur la plateforme Databricks Data Intelligence Platform . Développer et optimiser les jobs de transformation avec Spark (Scala, PySpark si nécessaire). 2. Modélisation & Architecture Concevoir et maintenir des modèles de données robustes , scalables et alignés avec les besoins métiers. Définir une architecture technique viable, performante et pérenne , en lien avec les standards Data de l’entreprise. Encadrer les choix technologiques et identifier les solutions les plus adaptées aux cas d’usage. 3. Leadership Technique & Coordination Animer les ateliers techniques avec l’équipe Data (squad, data engineers, data analysts…). Assurer la gestion des risques techniques , anticiper les points de blocage et sécuriser la roadmap. Fournir un guidage technologique basé sur une expertise éprouvée des projets DATA. Accompagner la squad dans les bonnes pratiques de développement, de CI/CD et de gouvernance Data. 4. Méthodologie & Qualité Travailler dans un cadre Agile (Scrum / Kanban), avec participation active à la planification, aux revues et aux rétrospectives. Garantir la qualité des livrables : documentation, code propre, tests, performance.

Dans le cadre du renforcement d’une équipe projet Data, nous recherchons un chef de projet Data senior pour notre client engagé dans une mise en place d’une Data Platform . L’objectif est de reprendre la maîtrise technique en interne en constituant une équipe d’experts, avec un appui initial de prestataires externes. Dans ce cadre, un projet stratégique autour de la connaissance des usages et de la mobilité est en cours de refonte de réalisation "mode agile" et en lien avec plusieurs équipes techniques et métiers. Missions principales : Pilotage de projet en méthodologie Agile Gestion du backlog et animation des sprints (JIRA) Coordination d’équipes pluridisciplinaires : Data Engineer, Data Viz, UX/UI, OPS/métiers. Animation des rituels Agile (daily, comités, ateliers) Suivi des charges, priorités et budgets Contribution aux choix stratégiques Supervision des tests et du delivery Maintien en condition opérationnelle (MCO) Environnement technique: Cloud & Data : Azure Data Factory, Data Lake Traitement Data : Spark, Databricks Langages : Python, Scala, SQL Data Viz : Power BI CI/CD & outils : Jenkins, Git, Maven, Ansible Gouvernance & communication : Remonter les informations clés aux équipes de pilotage et sponsors Participer aux instances de gouvernance (comités projet, tribu, etc.) Contribuer aux orientations et choix stratégiques Organisation agile : Animer l’ensemble des cérémonies Agile (daily, sprint planning, review, retrospective) Piloter le backlog : priorisation, chiffrage et réestimation du reste à faire Garantir la bonne application des pratiques Agile

Le rôle du Data Engineer dans ce projet consistera à : • Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark (glue jobs, sans utilisation de solutions managées type Databricks) • Traiter et normaliser les données • Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers) et notre modèle uniformisé/harmonisé à toutes les plateformes (aggrégateurs, market exchanges) • Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud • Distribuer les données aux différents consommateurs/Métiers • Implémenter les règles de Data Quality (DataQuality framework : great expectation) et gérer le data calatog • Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) • Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, … • Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données • Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. • Être force de proposition pour améliorer les processus et les performances des systèmes.

Nous recherchons un Analytics Engineer pour rejoindre une équipe dédiée à la centralisation et à la fiabilisation des données dans un environnement data-driven. Votre mission consistera à concevoir et maintenir des pipelines de données (Azure Data Factory, Databricks, Spark SQL) pour alimenter un datamart utilisé par les métiers via des outils self-BI (Power BI, BusinessObjects). Vos missions principales : Concevoir et développer des pipelines d’ingestion via Azure Data Factory , en assurant leur robustesse et leur évolutivité. Transformer et optimiser les données en utilisant Spark SQL (Databricks) pour répondre aux besoins métiers. Maintenir et améliorer les indicateurs de qualité des données , en garantissant leur cohérence et leur fiabilité. Implémenter des tests unitaires pour sécuriser les pipelines et assurer la stabilité des solutions. Collaborer avec les équipes techniques et métiers pour affiner les besoins et proposer des améliorations continues. Participer à la maintenance des outils de monitoring pour suivre les performances et la santé des applications. Ce poste est idéal pour un professionnel souhaitant impacter directement la stratégie data d’une organisation en pleine transformation digitale.

Profil recherché – Data Analyst Lead (Expert) Nous recherchons un Data Analyst Lead senior (10+ ans d’expérience) disposant d’une forte expertise en analyse et conception de solutions data, dans un environnement Grande Distribution . Le candidat devra : Posséder une expérience significative en Grande Distribution (impératif) Être capable de concevoir, challenger et sécuriser des solutions data complexes Avoir une solide maîtrise de la modélisation de données Être reconnu pour son leadership transverse Savoir accompagner et faire monter en compétence une équipe de Data Analysts Être à l’aise dans l’animation d’ateliers, de communautés et d’instances de gouvernance Comprendre les enjeux business retail et les usages métiers de la donnée 🛠 Compétences techniques attendues 🔴 Compétences impératives Connaissance opérationnelle de la Grande Distribution KPI : ventes, marge, stock, approvisionnement Pilotage de la performance magasin Logiques multienseignes Compréhension des usages métiers Analyse de données (niveau confirmé / expert) Modélisation de données (niveau confirmé / expert) Conception de solutions data SQL avancé 🟠 Compétences importantes Environnements Big Data (Databricks, Azure) Python / Scala Conception de modèles de données communs Structuration et alignement des KPI métiers Data Quality / Data Observability Documentation et bonnes pratiques de développement Expérience en méthodologie SAFe / Agile 🟢 Outils & Environnement technique SQL Databricks Microsoft Azure Python / Scala Power BI MicroStrategy PowerDesigner DataGalaxy SODA Jira 🎯 Compétences comportementales (soft skills) Leadership et posture de référent Capacité à challenger et arbitrer Excellente communication transverse (IT / Métiers) Esprit structurant et rigoureux Orientation solution et performance Capacité à vulgariser des sujets complexes