Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

Nous sommes actuellement à la recherche de profils Data Engineer pour une mission en Freelance, basée à Nantes. Le client recherche un profil maîtrisant parfaitement PySpark et Scala, avec une solide expérience sur cet environnement. -Localisation : Nantes -Secteur : Transport -Mode de travail : Hybride -TJM : 450 Les détails de la mission (contexte, cadre de la mission, stack technique, projet, etc.) vous seront présentés lors d'un entretien avec le responsable du besoin. Client réactif - Retours rapides

Sur le plan technique technique, l'application est en charge de la gestion des essences du metier de notre client. Elle est composée par un ensemble de Micro-Services développés en Javascript pour la partie Front (~10 MFE React, 1 legacy Angular), Scala (~50) et Rust (~5) qui sont hébergés dans le Cloud (AWS) et On Premise (VMWare). Le travail est organisé suivant des sprints de 2 semaines et l'équipe est constituée de plusieurs Feature Teams complètes (P.O / Devops / Recette / Dev) se partageant un Scrum Master et un UI/UX Designer. Compte tenu des enjeux importants tant au niveau fonctionnel et technique qu'au niveau du calendrier, nous recherchons des candidats : - Dynamiques et motivés, capables de voir au-delà de leur tâche affectée, de s'inquiéter de la complétion du récit utilisateur dans son ensemble (incluant la conception, les tests, la cohérence des livrables) et d'être acteur de sa livraison en production. - Sérieux et autonomes, permettant d'être un relais efficace des Lead Tech présents dans l'équipe, mais n'hésitant pas à poser des questions si nécessaires. Les candidats répondront idéalement aux critères ci-après classés par ordre d'importance : 1

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Dans le cadre d'un projet stratégique en Banque / Finance, nous recherchons 2 Tech Leads Big Data / Data Engineering expérimentés pour rejoindre une équipe intervenant sur des sujets à fort enjeu autour des environnements BFI et Risk. 🎯 Profil recherchéExpérience confirmée en Big Data / Data Engineering Bonne connaissance des environnements Banque de Financement et d'Investissement (BFI) et des problématiques Risk Capacité à évoluer dans des environnements techniques complexes et à accompagner les équipes 💻 Compétences techniques indispensablesSpark / PySpark / Scala Python Hive / SQL Elasticsearch / Kibana Jenkins Ansible Oozie Méthodologie Agile 🚀 Vos missionsConcevoir et développer des solutions Big Data performantes Accompagner les équipes sur les choix techniques et les bonnes pratiques Participer à l'industrialisation des traitements et à l'optimisation des performances Intervenir sur des projets stratégiques à fort impact dans le secteur bancaire 📍 2 postes à pourvoir immédiatement 👉 Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé.

Contexte de la mission Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire) Une experience de flux réalisés sur Databricks/Azure serait un plus important. Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI Objectifs et livrables Objectifs et livrables Activités principales Développement et intégration Développer et maintenir des pipelines de données sur l'infrastructure existante (batch, streaming, API) Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala) Assurer l'intégration et la gestion de flux de données via Kafka et HDFS Exploiter et administrer des bases de données NoSQL (Cassandra) Gestion du run (rôle tournant) Surveiller la performance et la scalabilité des processus Prendre en charge la résolution des incidents et l'amélioration continue en production Escalader auprès des sachants les anomalies critiques Communiquer les incidents aux parties prenantes le cas échéant. Relation métier et vulgarisation Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l'équipe et les parties prenantes Profil recherché Formation : Bac+5 en informatique, data engineering ou équivalent Expérience : Minimum 3 ans sur un poste similaire Compétences techniques requises Maîtrise du développement Spark (Scala) Bonne connaissance de l'écosystème Big Data : HDFS, Kafka, Cassandra Expérience sur des architectures batch, streaming et API Pratique du versioning (git) et des outils d'intégration continue Bonus : experience en env Databricks/Azure Compétences complémentaires (atouts) Databricks Expérience sur Airflow Expérience sur des environnements cloud (Azure) Développement Node.js Pratique de la CI/CD et des outils de monitoring Savoir-être Esprit d'équipe, sens du service et de la communication Capacité à vulgariser et à transmettre ses connaissances Capacité d'analyse Autonomie, rigueur et sens de l'organisation

CONTEXTE Au sein d'un acteur du transport en commun, la mission consiste à intervenir comme référent architecture et Tech Lead auprès des squads projets. Le consultant accompagnera les projets Data de la phase de cadrage jusqu'à la mise en production, en garantissant les choix d'architecture, la qualité des développements et l'application des bonnes pratiques sur un socle AWS / Databricks. Missions principales / Responsabilités • Accompagner les squads métiers dès le cadrage et jusqu'à la mise en service des cas d'usage • Challenger les choix techniques et architecturaux des projets • Assister les Tech Leads dans la définition des architectures et la rédaction des DAT • Concevoir et optimiser des pipelines d'ingestion et de transformation de données • Garantir les bonnes pratiques de développement, de performance, de FinOps et d'éco-conception • Contribuer à l'amélioration des frameworks et briques techniques de la plateforme • Participer au MCO des applications Data et intervenir en support N3 • Réaliser des PoC, audits techniques et études d'architecture Livrables attendus • Architectures solution • DAT • Pipelines d'ingestion et de transformation de données • PoC • Audits techniques • Études d'architecture Compétences / Qualités indispensables : Databricks, AWS, Spark / Scala, Architecture Solution Data, Data Engineering, Scrum Agile Compétences / Qualités qui seraient un + : Data Mesh, Power BI, FinOps, éco-conception numérique, industrialisation Data Platform, PoC et études d'architecture, accompagnement de squads Agile Informations concernant le télétravail : Oui — 2 jours/semaine

Contexte et objectif de la mission Au sein d'une organisation du secteur du transport en commun, la mission consiste à accompagner les squads métiers sur l'ensemble du cycle de vie des projets Data. Le consultant intervient comme référent architecture et Tech Lead auprès des équipes projets afin de garantir la qualité des solutions, l'application des bonnes pratiques Data et l'alignement avec les standards de la plateforme. Missions principales / responsabilités • Assurer l'expertise plateforme auprès des squads projets dès le cadrage et jusqu'à la mise en production • Accompagner les Tech Leads dans leurs choix d'architecture et dans la rédaction des DAT • Réaliser l'onboarding des équipes projets sur les standards et bonnes pratiques de la plateforme • Challenger les architectures proposées et identifier les risques techniques • Superviser les contributions des Data Engineers et des experts Data Management, Dataviz et Data Science • Participer aux Go/NoGo, VSR, audits, PoC et études techniques • Contribuer au support N3 et au MCO des solutions Data en production • Accompagner la montée en compétence des équipes projets sur Databricks et les pratiques Big Data Livrables attendus • DAT • Contributions d'architecture et recommandations techniques • Audits, PoC et études techniques • Participation aux jalons Go/NoGo et VSR • Support N3 et activités de MCO sur les solutions Data

Contexte de la mission # Enjeux Intégrer une équipe d'exploitation afin de garantir le bon fonctionnement du provisonning OSS Fixe Exploiter une application au coeur de la vie des clients Fixe Contribuer à l'automatisation des processus Garantir le partage de connaissance # Soft skills Proactivité, curiosité, esprit d'analyse, engagement Le candidat doit être réactif et doté de bonnes capacités d'adaptation, d'analyse, de rédaction. Il fait preuve de pédagogie et d'une bonne aptitude à la conduite de réunion. Objectifs et livrables # Compétence Ce poste requiert de bonnes connaissances des systèmes informatiques orientés services et de leur exploitation Posséder des compétences en BPMN (Business Process Modeling Notation) et Camunda Mettre en place l'automatisation de process sous Camunda Mettre en place une supervision automatisée sous Kibana Développer l'automatisation des tests de performance et fonctionnels sous Jenkins / Scala Contribuer à l'analyse et à la résolution d'incidents

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL

ACCROCHE SI TU AIMES PILOTER DES APPLICATIONS COMME UN CHEF D'ORCHESTRE, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d'une équipe dynamique Participer à des projets innovants d'envergure Relever des défis liés à la gestion des applications métiers Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d'un acteur majeur du secteur de la grande disctribution, tu participeras à la gestion, l'évolution et la performance d'un portefeuille d'applications stratégiques, en lien étroit avec les équipes métiers, techniques et projets : Les besoins métiers et leur priorisation, tu piloteras Les évolutions fonctionnelles et techniques, tu cadreras La qualité de service et la continuité applicative, tu assureras Les prestataires et contributeurs IT, tu coordonneras Les tests, la documentation et les livraisons, tu superviseras Les incidents et demandes utilisateurs, tu suivras Ton équipe ou ton écosystème projet, tu accompagneras Aux instances de gouvernance et de pilotage, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d'une expérience de 4 à 10 ans minimum en gestion ou pilotage d'applications SI Expert(e) des processus Azure Datafactory, Spark SQL, Scala Habile avec les outils ITIL, Agile, AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n'aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l'essentiel Capacité d'adaptation : tu es un vrai caméléon Sens de la communication : les mots n'ont pas de secret pour toi Force de proposition : tu es l'Aladdin de l'informatique Esprit d'équipe : un pour tous et tous pour un !

Bonjour à tous 😀 Contexte : Dans le cadre de l'évolution d'une plateforme Data stratégique de l'un de nos clients, nous recherchons un Architecte Solution Databricks / Tech Lead afin d'accompagner les équipes dans la conception, l'industrialisation et la gouvernance des solutions Data. L'environnement est fortement orienté plateforme Data, avec des enjeux de : conformité réglementaire et sécurité des données ; gouvernance et intégration des données à l'échelle du groupe ; industrialisation des pipelines Data ; Le consultant jouera un rôle de référent technique Databricks auprès des équipes de développement et des métiers. Vos missions : Vous interviendrez notamment sur : Concevoir l'architecture technique des solutions Databricks Accompagner les équipes de développement sur les bonnes pratiques Développer et industrialiser des pipelines Data batch et temps réel Participer aux choix techniques et aux études d'architecture Réaliser des audits techniques et analyses de risques Produire la documentation d'architecture (DAT, dossiers techniques...) Accompagner les PoC Participer aux cérémonies Agile Être le référent technique Databricks de la plateforme Les livrables : Développements Scripts techniques DAT Documents de cadrage Reporting Estimations techniques Analyses de risques Audits Supports de PoC Cahiers de tests Procédures d'installation Documentation d'exploitation Rapport de fin de mission Profil recherché : MUST HAVE : Expérience : 6 ans minimum en Data Engineering / Architecture Data Expérience significative en environnement DSI Au moins 2 ans au sein d'équipes Agile Scrum Expertise technique : Databricks (5 ans minimum) Spark / Scala Développement de pipelines batch et streaming Certification officielle Databricks Terraform Jenkins ou Docker ou Kubernetes Gouvernance Data RGPD Connaissances appréciées : AWS Power BI GitLab CI Okta Jira Confluence Soft Skills : Excellent relationnel Leadership technique Forte capacité rédactionnelle Organisation Gestion de plusieurs sujets en parallèle Animation de réunions techniques Capacité à intervenir lors des Go/NoGo Les + : Databricks sur AWS Data Mesh Animation de formations Databricks Coaching technique Audit d'architecture Accompagnement d'équipes de développement Environnement technique : Databricks Spark Scala AWS Terraform Jenkins Docker Kubernetes GitLab CI Power BI Jira Confluence Okta

Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum

Acteur majeur dans le domaine IT, depuis notre création en 1993, nous n'avons cessé de croître et d'évoluer. Avec une équipe dévouée de près de 1.400 collaborateurs répartis sur plusieurs sites en Belgique, au Luxembourg, en France et au Canada, NSI a suivi une trajectoire exceptionnelle. Notre entreprise est à la pointe de la révolution numérique, offrant une gamme complète de services IT, de l'analyse au développement de logiciels, en passant par l'architecture et la gouvernance IT. Votre rôle au sein de NSI Nous recherchons un(e) Développeur(se) Big Data & Cloud (H/F) afin d'intervenir au sein d'un grand acteur du secteur bancaire, sur le développement d'applications Big Data s'appuyant sur les API et l'automatisation. Descriptif des missions Vous rejoignez un centre de services partagés dédié aux solutions Digital et Data, qui accompagne les entités et filières du groupe dans la valorisation et l'accès agile aux données. Au sein de cette équipe, vous développez des solutions informatiques basées sur les technologies Big Data et les API, en validant la faisabilité technique des cas d'usage, en précisant leur intérêt métier et en définissant leur aspect opérationnel. Missions Développer des applications et des API REST avec le framework Spring Mettre en place et implémenter une stratégie de test (TDD/BDD) Assurer le déploiement automatisé des applications (containers) Réaliser le fine-tuning de la JVM afin d'optimiser et de garantir la stabilité des applications sous forte charge Développer sur les technologies Big Data (HDFS, Spark, Oozie) Intervenir sur les environnements Cloud (AWS, Azure) Rédiger la documentation nécessaire au partage et à la maintenance du code Assister les Business Analysts lors des tests fonctionnels et contribuer à l'aide au diagnostic Maintenir la production opérationnelle dans le respect des SLA

NB : La maîtrise de Myrtea Metric est obligatoire et Golang constitue le langage principal utilisé sur les projets. Dans le cadre du renforcement d'une squad de développement chez un grand compte du secteur logistique, nous recherchons un Tech Lead Data / BAM pour intervenir sur des solutions de supervision métier et technique en temps réel. Vous aurez notamment pour missions de : piloter techniquement les développements de la squad participer à la conception et à l'évolution des architectures BAM développer et faire évoluer des applications principalement en Golang concevoir de nouveaux connecteurs de données mettre en place des indicateurs, règles métier et mécanismes d'alerte superviser des flux de données en temps réel accompagner les développeurs et réaliser les revues de code garantir la qualité, la performance et la maintenabilité des solutions contribuer aux tests techniques, à l'intégration, aux recettes et aux mises en production produire et maintenir la documentation technique Les projets concernent notamment la supervision des échanges de données, la détection d'anomalies, le suivi des traitements et le contrôle de la qualité des flux.

Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD

Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet