Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé, pour rejoindre une équipe qui construit les socles de données au service de l'intelligence artificielle. Vous participerez à la mise en production de cas d'usage IA à forte valeur ajoutée, en lien étroit avec les équipes Data Science. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables pour alimenter les cas d'usage d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Collaborer avec les équipes Data Science / ML pour transformer les modèles en services de production (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, data lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Garantir la sécurité des flux et la gouvernance de la donnée (catalogue, lineage). Environnement : Python, PySpark, Scala/Java, Spark, Kafka, Oracle, Clickhouse, S3, Airflow, Dagster, Docker, CI/CD. Vous êtes recruté en CDI cadre chez Ingéniance, au sein d'une communauté d'experts de la data et de la finance. Ref : O-RPIRS

Localisation : Lyon Démarrage : ASAP Fin de mission : 16/11/2027 Télétravail : 3 jours par semaine (2 jours sur site) TJM : 330 € HT/jour Expérience : 3 à 7 ans Contexte de la missionDans le cadre du développement de sa Data Platform, notre client recherche un Data Engineer Java / Scala pour concevoir et développer des services digitaux centrés sur la donnée. L'objectif est de mettre à disposition des équipes des données fiables et accessibles via API, de simplifier les traitements analytiques et de renforcer l'alignement entre les besoins opérationnels et décisionnels. Le consultant interviendra notamment sur des projets liés aux référentiels articles et magasins. Missions principalesConcevoir, développer et maintenir des pipelines de données performants et fiables. Participer à la mise à disposition des données via des API et des services adaptés aux besoins métiers. Développer des traitements distribués et des flux de données en temps réel. Exploiter les environnements Cloud et les services de la plateforme data. Optimiser les requêtes SQL et les traitements sur des volumes importants de données. Mettre en œuvre les bonnes pratiques de qualité, de tests et d'industrialisation du code. Contribuer à l'amélioration continue de la plateforme et partager les bonnes pratiques au sein de l'équipe. Compétences techniques requisesLangages : Java et/ou Scala, avec une bonne compréhension de la programmation fonctionnelle. Traitement de données : Apache Spark, Apache Kafka. Cloud & Data : Google Cloud Platform (GCP), BigQuery, SQL avancé. Pipelines de données : DBT (Data Build Tool). Streaming : Pub/Sub et gestion des flux en temps réel. Industrialisation : GitLab CI/CD, Docker Compose. Environnement : Linux, ligne de commande et Git. Méthodologie : Agile / Scrum.

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer expert. Vous rejoignez une plateforme de données dédiée aux activités de marché, au cœur de use cases d'intelligence artificielle. Vous travaillez au quotidien avec des équipes Data Science et ML sur des sujets à fort enjeu. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables qui alimentent des use cases d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Accompagner les équipes Data Science/ML dans la mise en production des modèles (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, Data Lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Veiller à la sécurité des flux et à la gouvernance de la donnée (catalogue, lineage). Vous êtes recruté en CDI cadre chez Ingéniance et vous rejoignez une communauté d'experts de la data et de la finance de marché. Ref : O-LWDVQ

Dans le cadre de plusieurs projets stratégiques de mise en œuvre d'assiettes communes pour les usages Finance et Risques, nous sommes à la recherche d'un(e) Data Engineer confirmé(e). Vos missions : Architecture & Conception : Contribuer activement aux choix d'architecture et de conception technique en étroite collaboration avec les architectes, Tech Leads et développeurs. Développement & Implémentation : Mettre en œuvre et développer les solutions techniques Big Data retenues pour fiabiliser et industrialiser les flux de données. Industrialisation & Qualité : Assurer l'industrialisation des développements et des tests en s'appuyant sur des solutions Open Source et l'ordonnancement des flux (UC4). Collaboration Internationale : Travailler au sein d'un environnement anglophone dynamique en appliquant rigoureusement les méthodologies Agile.

Contexte Dans le cadre de la transformation du système d'information du Groupe et de la modernisation de sa plateforme Data Hub, la Direction Transformation SI recherche un expert Data Platform afin de renforcer les équipes du Socle Data. Cette mission s'inscrit dans plusieurs chantiers stratégiques : • Mise en œuvre d'une approche Data Driven. • Accompagnement des travaux liés à la montée de version de la plateforme Cloudera. • Maintien en condition opérationnelle de la plateforme Data Hub du Groupe . • Accompagnement des évolutions technologiques autour des architectures événementielles. • Étude et intégration de technologies Lakehouse. • Travaux d'interopérabilité entre plateformes Data. • Réflexions autour des modèles de partage de données (Data Sharing). • Préparation de scénarios d'hybridation et d'évolution vers des approches proches du Data Mesh. L'objectif est d'accompagner les équipes métiers, projets et d'exploitation dans la mise en œuvre et l'évolution des services de la plateforme Data Hub. MISSIONS : • L'évolution technique de la plateforme Data Hub. • La modernisation des services Data mis à disposition des consommateurs. • La réussite du projet de montée de version Cloudera. • Le support expert de niveau 3 sur les incidents de production. • L'amélioration continue de la robustesse, des performances et de la sécurité de la plateforme. • L'industrialisation et l'automatisation des processus d'administration et d'exploitation. Sous la responsabilité du Product Owner du domaine et piloté par un backlog de demandes, le prestataire sera amené à : Études et expertise • Réaliser des études techniques d'évolution autour de l'écosystème Cloudera. • Analyser les impacts techniques et fonctionnels des évolutions envisagées. • Produire des dossiers d'architecture et notes de cadrage. • Présenter les conclusions et recommandations aux responsables techniques et métiers. Exploitation et support expert • Assurer le support de niveau 3 sur l'ensemble de la plateforme Data Hub. • Participer aux cellules de crise lors d'incidents majeurs de production. • Réaliser les analyses de causes racines et définir les plans de remédiation. • Accompagner les équipes d'exploitation DataOps N2. __________ Interventions • Possibilité d'interventions en Heures Non Ouvrées (HNO). • Participation à des opérations sensibles de production. __________ Environnement technique Expertise obligatoire • Cloudera CDP • Administration et exploitation de clusters Hadoop Cloudera • Maintien en condition opérationnelle de plateformes Data • Support expert N3 Niveau avancé • Linux Red Hat Enterprise Linux (RHEL) • Ansible • AWX • Talend • Scripting Shell Compétences appréciées • Kubernetes • Docker • Git • GitLab • Jenkins • OpenShift • Terraform • Python • Java • Scala __________ Activités d'exploitation La mission comprend : • Support N3 • Gestion des incidents de production • Participation aux cellules de crise • Gestion des changements • Capacity Planning • Performance Tuning • Maintien en condition opérationnelle • Sécurisation et durcissement des systèmes • Interventions HNO ponctuelles __________ Profil recherché Séniorité • Consultant confirmé __________ Critères de sélection Critères obligatoires • Expérience significative sur Cloudera CDP. • Expérience d'administration et d'exploitation de plateformes Hadoop. • Expertise Linux RHEL. • Expérience en support de production de niveau 3. Critères différenciants • Expérience Data Driven / Data Mesh. • Connaissance des architectures événementielles. • Connaissance des solutions Lakehouse. • Connaissance des environnements Kubernetes et OpenShift. • Expérience dans des environnements critiques à forts enjeux de disponibilité.

Smartpoint, ESN spécialisée dans la Data et l'IA, recherche un Tech Lead Big Data / Data Engineer expérimenté pour renforcer une équipe Data au sein de la DSI d'un grand environnement SI. Vous interviendrez sur des enjeux de gestion de l'obsolescence technique, d'optimisation des traitements Big Data et d'accompagnement des équipes Data Engineering, avec pour objectif d'améliorer la performance, la qualité et la pérennité des applications. Vos missions En tant que Tech Lead Big Data, vous serez amené(e) à : Piloter la gestion de l'obsolescence : auditer les versions des composants applicatifs, identifier les risques et planifier les migrations techniques. Définir et diffuser les bonnes pratiques de développement auprès des équipes Data Engineer. Analyser et optimiser les traitements Big Data afin d'améliorer les performances, de maîtriser les coûts et de contribuer aux objectifs FinOps. Intervenir sur les développements de données et accompagner la résolution de bugs complexes. Accompagner les équipes techniques dans leurs choix d'architecture, leurs évolutions technologiques et leurs montées de version. Collaborer avec les équipes Socle et Infrastructure pour organiser et réaliser les migrations des composants. Animer les instances de suivi de l'obsolescence et communiquer les risques, les avancées et les recommandations aux équipes de pilotage. Proposer des orientations techniques et des solutions innovantes pour faire évoluer l'écosystème Data.

Au sein de la Direction des Systèmes d'Information d'un groupe d'assurance de premier plan, vous intégrez l'équipe dédiée à la gestion courante et au pilotage du socle décisionnel. Dans un écosystème Big Data d'envergure collectant les données des différents back-offices métiers pour alimenter un lac de données (Data Lake) et un entrepôt communautaire hébergé sur une architecture de haute performance (Oracle Exadata), vous garantissez la continuité d'activité, la qualité de service et l'évolution des pipelines de traitement. Vos principales responsabilités : Suivi de production & exploitation : Assurer la supervision et le monitoring quotidien des chaînes de traitement de données distribuées (batch et streaming). Gestion des incidents & reprises de données : Diagnostiquer, instruire et résoudre les incidents fonctionnels et applicatifs sur les jobs Spark / Scala, en orchestrant les reprises de données nécessaires sans altérer la qualité de service. Maintenance évolutive & corrective : Développer et implémenter les correctifs et les évolutions mineures demandées par les métiers ou les équipes projets. Recette, tests et déploiements : Rédiger les plans de tests, exécuter les scénarios de validation unitaire et d'intégration, puis assurer la livraison sécurisée des patchs en environnement de production. Documentation & gouvernance : Rédiger les spécifications des correctifs, maintenir à jour la documentation d'exploitation et assurer un reporting rigoureux auprès du chef de projet.

Missions principalesDans le cadre de ses activités Data, nous recherchons un(e) Ingénieur DataOps pour assurer l'exploitation quotidienne et le maintien en conditions opérationnelles des environnements DEV, RCT et PRÉPROD. À ce titre, vos principales missions seront : Gestion des environnements : actualisation des données (refresh) et synchronisation des environnements en termes de versions applicatives et logicielles, de configurations et de paramétrages. Déploiement et installations applicatives : installation et mise à jour des traitements Spark/Scala, des ETL Informatica, des scripts SQL Oracle et des scripts Shell. Monitoring et observabilité : création et maintenance de tableaux de bord permettant de suivre les exécutions, les volumes de données et l'état des environnements. Automatisation des contrôles : développement et maintenance de scripts et d'outils pour détecter les écarts entre environnements, valider les installations et les refreshs, et contrôler la cohérence des bases de données. Maintien en conditions opérationnelles (MCO) : exécution des jobs Spark, analyse des logs, vérification des dépendances et suivi des traitements batch. Ordonnancement des traitements : supervision, suivi et relance des batchs via Opcon. Alerting et reporting : mise en place et suivi des alertes, analyse des anomalies et production de reportings sur l'état des environnements. Profil recherchéExpérience confirmée en DataOps, exploitation de plateformes Data ou production informatique. Maîtrise experte d'Opcon et d'Oracle PL/SQL : compétences indispensables et éliminatoires. Bonne connaissance des environnements Spark/Scala, Informatica, SQL Oracle et Shell. Expérience dans l'exploitation de traitements batch, l'analyse de logs et la gestion des incidents. Compétences en automatisation des contrôles, monitoring et synchronisation d'environnements. Rigueur, autonomie et capacité à diagnostiquer et résoudre les anomalies techniques. Environnement techniqueOpcon, Oracle PL/SQL, Spark, Scala, Informatica, SQL, Shell, batchs, monitoring, alerting, DataOps.

Contexte Dans le cadre du renforcement d'une équipe Data agile, nous recherchons un Data Engineer / Développeur Big Data Senior pour intervenir sur une plateforme de données à fort volume. Vous participerez à la conception, au développement et à l'amélioration continue de solutions permettant de valoriser et exploiter des données en temps réel et en batch. Vos missions Développer et maintenir de nouvelles fonctionnalités au sein d'une équipe agile. Concevoir et faire évoluer les architectures de traitement de données. Participer aux choix techniques et accompagner les autres membres de l'équipe. Garantir la qualité, la performance et la maintenabilité du code. Mettre en place et améliorer les processus d'automatisation des tests. Contribuer à l'amélioration continue des pratiques de développement et d'exploitation Environnement technique Big Data : Spark (batch & streaming), Kafka Langages : Scala, Java API : Conception et développement d'API Data Platform : Hadoop, HDFS, Hive, HBase, Phoenix DevOps & CI/CD : GitLab CI/CD, Jenkins, Artifactory Qualité & Monitoring : SonarQube, ELK, Grafana Tests : JUnit, Xray, automatisation des tests Profil recherché Expérience solide en développement Big Data et architectures distribuées. Maîtrise de Spark, Kafka et de l'écosystème Hadoop. Bonne culture DevOps et intégration continue. Expérience des environnements Agile/Scrum. Esprit d'équipe, capacité à challenger les besoins et à être force de proposition. Sens de la qualité, de l'automatisation et de l'amélioration continue. Atouts Expérience sur des projets de traitement de données à forte volumétrie. Sensibilité aux problématiques de performance, scalabilité et fiabilité des plateformes Data. Mission idéale pour un profil souhaitant intervenir sur un environnement Big Data moderne, au sein d'une équipe agile mature et orientée qualité.

Dans le cadre d'un programme de transformation et de modernisation d'une plateforme Data stratégique, nous recherchons un Expert Data Platform confirmé pour renforcer une équipe en charge d'un Data Hub d'entreprise. Tu interviens à la fois sur l'évolution technique de la plateforme, son maintien en conditions opérationnelles, le support expert de niveau 3 et les travaux de modernisation autour des architectures Data. Tes missions principales : Réaliser des études techniques autour de l'écosystème Cloudera CDP Accompagner les travaux de montée de version de la plateforme Analyser les impacts techniques et fonctionnels des évolutions envisagées Produire des dossiers d'architecture et notes de cadrage Présenter les recommandations aux équipes techniques et métiers Assurer le support N3 sur la plateforme Data Participer aux cellules de crise lors d'incidents majeurs Réaliser les analyses de causes racines et définir les plans de remédiation Accompagner les équipes d'exploitation DataOps Participer au maintien en conditions opérationnelles de la plateforme Contribuer au Capacity Planning et au Performance Tuning Participer à la gestion des changements Renforcer la sécurité et le durcissement des environnements Industrialiser et automatiser les activités d'administration et d'exploitation Contribuer aux réflexions autour des architectures événementielles, Lakehouse, Data Sharing et hybridation des plateformes Data

Dans le cadre du renforcement d'une équipe Gestion Courante Décisionnel / Datalake, vous intervenez sur un environnement Big Data permettant de collecter, traiter et valoriser des données issues de différents systèmes métiers. Votre mission principale consiste à assurer le maintien en conditions opérationnelles (MCO) des applications décisionnelles développées principalement en Spark / Scala, tout en participant à leurs évolutions. Vos principales responsabilités seront : Assurer le suivi quotidien des traitements Spark / Scala. Analyser et corriger les incidents applicatifs fonctionnels. Réaliser les éventuelles reprises et corrections de données associées aux incidents. Prendre en charge les évolutions applicatives confiées. Réaliser les tests des corrections et développements. Préparer et effectuer les livraisons en production. Rédiger et mettre à jour les spécifications techniques et fonctionnelles. Élaborer les plans et cas de tests. Mettre à jour la documentation et les outils de suivi de l'équipe. Assurer un reporting régulier auprès du chef de projet. Contribuer au maintien de la qualité de service (QOS) sur le périmètre applicatif.

Vos missions : - Concevoir, développer, tester, déployer et superviser des applications principalement en Java 8 - Maintenir et faire évoluer des APIs Scala ainsi que des interfaces frontend Dojo - Contribuer à la modernisation progressive du patrimoine applicatif - Réaliser et maintenir des tests automatisés en Scala avec Playwright - Participer à l'intégration de nouvelles solutions et architectures - Développer une expertise fonctionnelle et technique sur des périmètres stratégiques du domaine Votre quotidien : - Cérémonies et pratiques Agile (Kanban & Scrum) - Utilisation quotidienne d'outils d'IA (MIA, Claude...) pour améliorer qualité, maintenabilité et productivité - Pair programming, revues de code et partage de bonnes pratiques au sein de la communauté de développeurs - Accompagnement de la montée en compétences de vos collègues

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet