Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

Contexte Dans le cadre du développement d’une Data Marketplace interne pour un grand groupe international du secteur de l’énergie, nous recherchons un Data Engineer expérimenté afin de renforcer une équipe produit data. La plateforme permet de centraliser l’ensemble du parcours data des utilisateurs : découverte de données, data quality, data governance, transformation de données, monitoring de pipelines et BI. Elle sera progressivement déployée auprès de plusieurs milliers d’utilisateurs dans un environnement international. Le consultant interviendra sur la conception et l’évolution des pipelines de données ainsi que sur l’optimisation de la qualité et de la performance des flux. Missions Développement et maintenance de pipelines de données en Python et Scala Conception et évolution d’une architecture data scalable et modulaire Gestion et optimisation des flux de données Mise en place de processus de data quality et validation des données Optimisation des performances des ingestions de données Participation aux rituels agiles et aux revues de code Documentation des choix techniques et de l’architecture Environnement technique Python Scala / Spark Cloud : AWS et Azure AWS : Lambda, Glue, Redshift, Step Functions, DynamoDB Streaming : Kafka, Kinesis, EventHub, EventGrid API REST Git CI/CD Big Data Architecture Connaissance de Langchain ou Langgraph appréciée.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Nous recherchons un Développeur Scala pour intervenir sur une plateforme logicielle critique de pilotage et d’optimisation en temps réel de systèmes distribués. Vous rejoindrez une équipe transverse composée de développeurs, d’architectes et d’experts métiers afin de concevoir, faire évoluer et maintenir des services à haute disponibilité. Vos missions : Analyse et clarification des besoins fonctionnels avec les équipes produit. Conception technique et propositions d’architecture (API, micro-services, interactions back-end). Découpage des fonctionnalités en lots agiles. Développement de services back-end et d’API. Mise en place des outils de build, tests et maintenance. Rédaction de tests unitaires et d’intégration. Documentation technique et accompagnement utilisateurs. Supervision applicative, support niveau 2 et résolution d’incidents récurrents.

ACCROCHE SI TU ADORES CONSTRUIRE DES PIPELINES SOLIDES COMME LE ROC, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d’une équipe dynamique Participer à des projets innovants d’envergure Relever des défis liés à l’ingénierie des données, aux flux et aux performances Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’un acteur majeur du secteur , tu participeras : Les pipelines de données, tu développeras La qualité, la fiabilité et la sécurité des données, tu garantiras L’intégration et la transformation des données, tu automatiseras Les architectures data (batch & temps réel), tu concevras La scalabilité et la performance des traitements, tu optimiseras Les outils de monitoring et de gestion des flux, tu mettras en place Ton équipe projet, tu accompagneras Aux rituels agiles et instances data, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d’une expérience de ans minimum en ingénierie de la donnée ou en développement data Expert(e) en Habile avec les outils AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n’aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l’essentiel Capacité d’adaptation : tu es un vrai caméléon Sens de la communication : les mots n’ont pas de secret pour toi Force de proposition : tu es l’Aladdin de l’informatique Esprit d’équipe : un pour tous et tous pour un !

Teksystems recherche pour un de ses client grand compte un Tech Lead Databricks ( H/F) . Missions principales1. Ingestion & Traitement de Données Concevoir et mettre en œuvre des pipelines d’ingestion de données en temps réel via Kafka . Assurer le traitement, la préparation, la qualité et la structuration des données sur la plateforme Databricks Data Intelligence Platform . Développer et optimiser les jobs de transformation avec Spark (Scala, PySpark si nécessaire). 2. Modélisation & Architecture Concevoir et maintenir des modèles de données robustes , scalables et alignés avec les besoins métiers. Définir une architecture technique viable, performante et pérenne , en lien avec les standards Data de l’entreprise. Encadrer les choix technologiques et identifier les solutions les plus adaptées aux cas d’usage. 3. Leadership Technique & Coordination Animer les ateliers techniques avec l’équipe Data (squad, data engineers, data analysts…). Assurer la gestion des risques techniques , anticiper les points de blocage et sécuriser la roadmap. Fournir un guidage technologique basé sur une expertise éprouvée des projets DATA. Accompagner la squad dans les bonnes pratiques de développement, de CI/CD et de gouvernance Data. 4. Méthodologie & Qualité Travailler dans un cadre Agile (Scrum / Kanban), avec participation active à la planification, aux revues et aux rétrospectives. Garantir la qualité des livrables : documentation, code propre, tests, performance.

Dans le cadre du développement de nos activités, nous recherchons un(e) Data Engineer pour renforcer l'équipe technique de notre client et intervenir sur des projets à forte valeur ajoutée autour de la data. En tant que Data Engineer, vous serez amené(e) à : Assurer le suivi technique des projets : suivi des développements, réalisation de revues de code et respect des bonnes pratiques Gérer les incidents techniques : analyse, résolution et mise en production des correctifs Proposer des améliorations techniques : identification des axes d’évolution et optimisation des performances et de la stabilité des applications Garantir la qualité du code : mise en place de tests unitaires et gestion de l’intégration continue Assurer la documentation technique : maintien à jour de l’architecture et de la documentation

Au sein du pôle Big Data d'un grand groupe, l'objectif principal de ce poste est de réaliser et de maintenir les développements nécessaires à l'alimentation du Datalake sur une plateforme Cloudera Hadoop, de mettre en place des extractions de données et d'accompagner les utilisateurs. Rattaché(e) au responsable Big Data, vous évoluerez dans un contexte de production à fortes attentes où la tenue des délais de livraison et le pilotage opérationnel sont primordiaux. Vos principales missions seront les suivantes : Développement et intégration : Prendre en charge les évolutions des données à intégrer et reprendre les développements existants pour l'alimentation du Datalake. Vous développerez également des extractions avec un niveau d'expertise en SQL et créerez des scripts Shell avancés pour l'automatisation. Expertise technique et mentorat : Spécifier techniquement les tâches, fournir des requêtes de référence, effectuer des revues de code et accompagner les collaborateurs juniors, stagiaires ou alternants. Support et accompagnement : Assurer le support de niveau 2, faire appliquer les bonnes pratiques et consignes aux utilisateurs, et rédiger la documentation requise (guides, description de processus). Optimisation et maintenance : Garantir la maintenabilité, les performances et l'exploitabilité de la plateforme en respectant l'utilisation des modèles référencés par la Gouvernance de la Donnée. Vous optimiserez les traitements de la plateforme et ceux des utilisateurs, et mènerez des investigations (reverse engineering) dans une architecture héritée complexe

Qui sommes-nous ? Clostera est une société de conseil & intégration de solutions IT à taille humaine et localisée à Paris, résolument tournée vers l'humain et l’innovation : l’innovation génératrice de valeur ! CLOSTERA place le bien-être de ses CONSULTANTS au cœur de la stratégie de réussite des projets IT sur lesquels nous intervenons au travers d’une approche « employee centric » individualisée. Nos domaines d’expertise : Cloud et Infrastructures Systèmes, Réseaux & Cybersécurité ; Service Management & ITSM ; Project management ; Data & IA ; Services Applicatifs métiers & Digitaux. Rejoignez-nous ! Aujourd’hui nous recherchons un Senior Data Engineer F/H pour intégrer un grand groupe du retail qui renforce ses équipes data afin de soutenir une architecture data-centric . Ce que vous ferez : Développement de la Plateforme Data Développer et maintenir des pipelines de données au sein de la plateforme Participer à la mise en œuvre de projets métiers basés sur l’ETL interne Intervenir sur les traitements ELT via DBT Développement et maintenance Développer et documenter du code data robuste Corriger les incidents et anomalies liés aux traitements data Appliquer les bonnes pratiques de développement Architecture et traitement de données Travailler sur des volumétries importantes de données Participer à la conception et à l’évolution des architectures data Contribuer à l’automatisation des processus de livraison DevOps & industrialisation Mettre en œuvre les pratiques DevOps Participer à l’automatisation du delivery Contribuer aux chiffrages techniques et aux releases Collaboration & méthodes Travailler en équipe Scrum Collaborer avec les équipes data, plateforme et métiers Participer à la montée en compétence de l’équipe

Dans le cadre du renforcement de l'équipe Data de notre client, nous recherchons un(e) Data Engineer AWS expérimenté(e) (5 à 7 ans d’expérience minimum), capable d’intervenir sur des plateformes data à forte volumétrie et à forts enjeux de performance, de sécurité et de coûts. Missions 1️⃣ Maintien en condition opérationnelle de la plateforme Contrôler et garantir la disponibilité des données et des services Assurer le suivi des traitements et la gestion des incidents Répondre aux demandes de données ad hoc et analyser les anomalies Développer des correctifs et des évolutions si nécessaire Contribuer à la qualité des données et à l’industrialisation de la plateforme Communiquer avec les utilisateurs et accompagner les équipes 2️⃣ Design & construction de services et pipelines data Concevoir et mettre en place des flux de données (acquisition, transformation, exposition) Développer des pipelines robustes et performants (batch et temps réel) Réaliser des modélisations de données adaptées aux usages métiers Mettre en place les traitements sur différents formats (CSV, XML, JSON, Parquet) Ordonnancer les traitements et gérer les dépendances (Airflow) Développer et maintenir des flux temps réel via Kafka (MSK) Réaliser les tests unitaires et d’intégration Participer aux revues de code et veiller au respect des standards Gérer les déploiements sur l’ensemble des environnements Enrichir et maintenir la documentation technique Environnement technique AWS : S3, EMR, EKS, EC2, Lambda, Athena Spark (Scala), Python, SQL Kafka Airflow Dataiku GitLab & GitLab CI Terraform

Dans le cadre du développement de ses activités, le client recherche pour son équipe un(e) Développeur(se) Fullstack Angular / Scala, avec une forte orientation Frontend. Vos responsabilités Vous interviendrez principalement sur la conception et le développement des interfaces web et mobiles de l’Espace Client, tout en collaborant ponctuellement sur la partie back-end. Vous travaillerez au sein d’une équipe pluridisciplinaire composée d’un Product Owner, Business Analyst, Scrum Master et plusieurs développeurs, en interaction directe avec les parties prenantes métiers. Vos missions · Vous évoluez dans un cadre agile (Scrum) et collaboratif. · Vous concevez, développez, testez, déployez et monitorerez vos réalisations. · Vous maintenez et enrichissez les applications Web et Mobile (Angular, Capacitor) ainsi que les APIs back-end (Scala). · Vous contribuez à l’amélioration continue et à la modernisation des solutions existantes. · Vous devenez un·e référent·e technique sur votre domaine applicatif.

Dans le cadre du renforcement d’une équipe projet Data, nous recherchons un chef de projet Data senior pour notre client engagé dans une mise en place d’une Data Platform . L’objectif est de reprendre la maîtrise technique en interne en constituant une équipe d’experts, avec un appui initial de prestataires externes. Dans ce cadre, un projet stratégique autour de la connaissance des usages et de la mobilité est en cours de refonte de réalisation "mode agile" et en lien avec plusieurs équipes techniques et métiers. Missions principales : Pilotage de projet en méthodologie Agile Gestion du backlog et animation des sprints (JIRA) Coordination d’équipes pluridisciplinaires : Data Engineer, Data Viz, UX/UI, OPS/métiers. Animation des rituels Agile (daily, comités, ateliers) Suivi des charges, priorités et budgets Contribution aux choix stratégiques Supervision des tests et du delivery Maintien en condition opérationnelle (MCO) Environnement technique: Cloud & Data : Azure Data Factory, Data Lake Traitement Data : Spark, Databricks Langages : Python, Scala, SQL Data Viz : Power BI CI/CD & outils : Jenkins, Git, Maven, Ansible Gouvernance & communication : Remonter les informations clés aux équipes de pilotage et sponsors Participer aux instances de gouvernance (comités projet, tribu, etc.) Contribuer aux orientations et choix stratégiques Organisation agile : Animer l’ensemble des cérémonies Agile (daily, sprint planning, review, retrospective) Piloter le backlog : priorisation, chiffrage et réestimation du reste à faire Garantir la bonne application des pratiques Agile

Almatek recherche pour l'un de ses clients, Un Tech Lead Sénior Java/kafka/Scala sur Massy ENVIRONNEMENT TECHNIQUE ET EXPERTISES NÉCESSAIRES. ? Solide expérience en développement avec des langages comme Scala et/ou Java, et une compréhension approfondie des concepts de programmation fonctionnelle. ? Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark. ? Expérience significative dans le domaine de la Data et du Cloud (GCP ou AWS), en particulier les services tels que Cloud Storage, BigQuery, Dataproc, Kubernetes, et d'autres outils pertinents pour la gestion et le traitement de données à grande échelle ? Bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données. ? Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l’automatisation des workflows data. ? Bonne connaissance de l’environnement Linux et des outils de ligne de commande. ? Connaissance approfondie des concepts d'architecture microservices et des bonnes pratiques de développement. ? Expérience dans l'écriture de tests unitaires et d'intégration pour garantir la qualité du code. ? Connaissance sur Kafka-stream, spring boot, ? Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires. MÉTHODES, ORGANISATIONS ET INTERACTIONS. ? Excellente communication écrite et orale : Bonne communication écrite et orale en français pour des interactions fluides avec le métier. ? Esprit d'analyse et d'amélioration continue : Capacité à évaluer le code et ses impacts, ainsi qu'à remettre en question les solutions existantes pour les améliorer. ? Capacité de prise de recul : Aptitude à évaluer les problématiques avec objectivité et à proposer des solutions d'amélioration. ? Capacité à respecter les délais tout en maintenant des standards élevés. ? Esprit d'équipe : Capacité à collaborer efficacement avec les membres de l'équipe pour atteindre des objectifs communs NIVEAU ET TYPE D’EXPERTISE REQUIS. ? Diplômé(e) d’un Bac+5 en école d'ingénieur ou équivalent universitaire avec une spécialisation en informatique, ou justifiant d'une expérience significative équivalente ? Expérience de plus de 7 ans en Scala/Java ? Une expérience dans le secteur du commerce de détail ou de la grande distribution serait un plus. MATÉRIEL. Le/la consultant(e) doit disposer de son propre matériel, adapté aux besoins de la mission : ? OS & CPU : Windows (Intel Core i7 ou i9, AMD Ryzen 7 ou 9), MacOS (M2 ou supérieur), Linux (AMD Ryzen 7 ou 9) ? RAM : minimum 16 Go, idéalement 32 Go ou plus ? Stockage SSD) : minimum de 512 Go, idéalement 1 To ou plus ? S’assurer que le/la consultant(e) puisse installer les outils et applications et effectuer les paramétrages nécessaires au bon déroulement de sa mission.

Au sein de l'équipe Data, vos fonctions consisteront notamment à : Participer à l'estimation de la complexité des chantiers techniques liés à la montée de version SPARK (3.4) Concevoir et développer les traitements applicatifs en collaboration avec les intervenants internes à l'équipe, ou externes à celle-ci (architectes techniques, architectes data, experts sur des technologies liées...) Rédiger les dossiers de conception et documentations techniques nécessaires Concevoir et exécuter les cas de tests unitaires / d'intégration Faire des revues de code croisées avec les collègues de l'équipe Contribuer à l'installation et au déploiement des composants Participer activement aux rétrospectives afin de garantir le process d’amélioration continue Assurer la qualité et le suivi des développements, en participant à la correction des problèmes de production

Le rôle du Data Engineer dans ce projet consistera à : • Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark (glue jobs, sans utilisation de solutions managées type Databricks) • Traiter et normaliser les données • Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers) et notre modèle uniformisé/harmonisé à toutes les plateformes (aggrégateurs, market exchanges) • Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud • Distribuer les données aux différents consommateurs/Métiers • Implémenter les règles de Data Quality (DataQuality framework : great expectation) et gérer le data calatog • Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) • Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, … • Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données • Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. • Être force de proposition pour améliorer les processus et les performances des systèmes.