Trouvez votre prochaine mission ou futur job IT.

Au sein d'un grand groupe du secteur assurance, sur une architecture Big Data permettant de collecter les données de l’ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata. Cette exploitation est réalisée par la conception de nouveaux traitements Spark/Scala manipulant les données raffinées du DataLake avec des règles métiers décisionnelles. Au sein de l'équipe projet Business Intelligence et Big Data, nous recherchons un profil Data expérimenté SPARK/SCALA.

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements.

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre des projets de lutte contre la fraude / la cybercriminalité basés sur des technologies innovantes de Machine Learning et de Big Data. Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique en lien avec les projets de lutte contre la fraude et de la banque à distance. Dans ce cadre, la prestation consiste à contribuer à/au(x) : L’assistance aux comités transverses socle (évolutions, obsolescence…) Gestion des incidents de PROD (investigation, coordination, aide à la communication) Recherche des solutions techniques optimales, arbitrage La conduite du changement Activités de développements (data ingénieur big data) Mise en œuvre une stratégie visant à réduire la dette technique du périmètre, améliorer la sécurité, veiller au décommissionnement des ressources non utilisées La veille technique

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

Le titulaire intégrera l’équipe de développement (14 développeurs) qui travaille selon les principes de la méthode AGILE - Scrum. Il aura l’occasion de se familiariser avec l’ensemble des technologies utilisées sur le projet même si dans un premier temps ce sont principalement les compétences en Spark-Scala qui sont requises. Si un premier palier du système est en production il reste de nombreux sujets à traiter. - Fiabiliser la MCO des différents services et ajout de fonctionnalités qui facilitent l’exploitation du système. Cela représente 20% de l’activité. o Ajout de nouvelles fonctionnalités : supervision, traçabilité, identification des maj de données, queue de traitement temps réel. o Amélioration du code : Ajout de TU, failles de sécurité, harmonisation des logs, mise en place de pattern de développement, scalabilité pour garantir les performances. o Correction d’anomalie, gestion d’incident. - Alimenter la Zone Normalisée du Datalake (transformation de données du format fichier au format table). Il s’agit de la partie Hadoop en Scala/spark. Cela représente 30% de notre activité jusqu’à la fin de l’année. - Réaliser des évolutions sur la partie front (Angular 15) et sur la partie back end (Java/spring Boot) qui peuvent être ou non en interaction avec des services Big Data. Cela représente 20% de notre activité. - Réaliser les migrations techniques. Nouvelle version d’Hadoop (2.6.5 → 3.x), migration de la partie Front vers une architecture CAAS et traitement de l’obsolescence de l’ensemble des briques techniques. Cela représentera 30% de notre activité.

Fiche de Poste : Data Engineer Scala Description du Poste En tant que Data Engineer spécialisé en Spark et Scala, vous intégrerez notre équipe technique pour concevoir, développer et optimiser des solutions de traitement de données massives. Vous serez amené à travailler principalement sur des projets batch et à utiliser des technologies de pointe dans un environnement cloud. Votre rôle consistera également à mentor et à partager vos connaissances avec les membres de l'équipe. Responsabilités - Concevoir et développer des pipelines de données utilisant l'API Scala Spark, principalement pour des traitements batch. - Optimiser les performances des applications Spark pour gérer de grandes volumétries de données complexes. - Mettre en place et maintenir des bonnes pratiques de développement en Scala. - Utiliser Maven pour la gestion du build et des dépendances. - Travailler dans un environnement cloud, idéalement Azure ou AWS, pour déployer et gérer les solutions de données. - Collaborer avec l'équipe pour comprendre les besoins métier et proposer des solutions adaptées. - Participer à des projets multi-projets et gérer les priorités et les délais. - Assurer un mentoring et partager des connaissances avec les autres membres de l'équipe. Compétences Technologiques Indispensables : - Maîtrise de l'API Scala Spark pour les traitements batch. - Connaissance approfondie des techniques d'optimisation Spark. - Expérience avérée dans le traitement de volumétries de données importantes et complexes. - Compétences en développement et bonnes pratiques Scala. - Expérience avec le build Maven. - Expérience de travail en environnement cloud (Azure ou AWS de préférence). Appréciées : - Connaissance de l'écosystème Databricks. - Compétences en développement d’API HTTP. - Connaissances en développement Python.

Contexte de la mission Sur une architecture Big Data permettant de collecter les données de l’ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata. Cette exploitation est réalisée par la conception de nouveaux traitements Spark/Scala manipulant les données raffinées du DataLake avec des règles métiers décisionnelles. Objectifs et livrables Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements.

En tant que Senior Software Engineer spécialisé en Scala, tu interviendras sur la conception et le développement des produits actuels et à venir. Tu intègreras une belle équipe de passionnés dédiée au backend, en étroite collaboration avec les Product Owner, l’équipe de QA et l’équipe de développement front-end. Tes missions, organisées en sprints seront : Assurer le rôle de référent technique au sein de l’équipe backend Développer de nouvelles fonctionnalités utilisateur au travers d’API Participer à l’évolution du coeur des produits Participer à la conception des nouveaux produits Participer aux mises à jour des librairies et des frameworks de la stack technique Participer aux cérémonies Scrum

Dans le cadre de la refonte de notre système de calcul vers une modern data stack, l'équipe a besoin d’un Data Engineer expérimenté sur cette dernière. Dans un contexte d'entreprise en pleine transformation, notre équipe a pour mission d'implémenter les différentes règles de calculs qui répondent aux différents business model présents dans le monde (exemples : shelfService, marketplace...) afin de consolider nos KPIs d'entreprise (marge, CA, GMV...). Nous sommes également en charge d'entretenir le système de calcul actuel réalisé en Talend - RedShift - Opcon que nous appellerons LEGACY Objectifs et livrables Vous rejoindrez une équipe aguerrie avec le rôle de Tech Lead sur les deux produits. L'équipe est en pleine phase de BUILD sur la refonte et en phase de MCO sur LEGACY avec un horizon de décommissionnement en 2025. L’objectif du projet est de permettre au groupe de mieux suivre l’évolution économique de l'entreprise Pour remplir à bien sa mission, le Data Engineer devra : - Développer des flux de données reliant les systèmes opérationnels d'encaissement au dataLake pour ensuite exposer les KPIs consolidés à l'ensemble de l'entreprise - Participer activement au RUN (you build it you run it) : prise en charge de ticket, investigation, reprise de données, astreinte... -Maîtriser les modèles de données et les outils de transformations -Maîtriser des outils de la modern data stack -Avoir des connaissances sur la stack LEGACY -Avoir des connaissances en SpringBoot pour l'exposition de nos données Livrables attendus : -Revue de code de ses pairs -Documentation de sa production -Schéma d'architecture à jour des différents flux -Data Lineage de nos tables -Etude de faisabilité & impact des futurs épic Notre stack technique (non exhaustive) est la suivante : -DataWarehouse :Redshift -Datalake : S3 -Transfo : Spark en Scala et utilisant la bibliothèque Zio -Orchestration : Airflow, OpCon -Langage : SQL, Scala, Python -execution des jobs sur EMR et Databricks -Github + Github Action -Code Artifact -Container : K8S -API : SpringBoot + ELS

SI LA GESTION DES DONNEES EST TON DADA, TU PEUX GAGNER LA COURSE EN LISANT CETTE ANNONCE … Ce que tu recherches : • Evoluer au sein d’une équipe dynamique • Participer à des projets innovants d’envergure • Relever des défis • Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi ! Au sein d’acteurs majeurs du secteur Bancaire et assurantiel, tu participeras à des projets d’envergure : • Analyse des besoins, tu feras • Spécifications techniques, tu rédigeras • L’architecture et/ou socle technique, tu définiras • Bonnes pratiques, tu instaureras • De nouvelles fonctionnalités, tu développeras • Zéro bug, tu laisseras • Ton équipe, tu accompagneras • Aux instances de pilotage, tu participeras

Développeur spark /scala dans le secteur de l'assurance ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;;

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

Principales responsabilités : - Collecte de données provenant de sources externes - Exploitation des capacités du Datalake (GCP) - Implémentation de la chaîne de traitement - Développement en conformité avec les normes architecturales établies - Élaboration et documentation des user stories - Création de scripts de déploiement - Priorisation de la résolution des anomalies - Contribution à la mise en place de la chaîne de livraison continue - Automatisation des tests fonctionnels - Encadrement et supervision des travaux des ingénieurs de données de l'équipe Environnement technique : GCP, Spark, Kafka, Scala

Notre client du domaine de l'Assurance recherche un profil Ingénieur Développement Spark Scala Expérimenté (+10 ans d'expérience). Sur une architecture Big Data permettant de collecter les données de l’ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata. Cette exploitation est réalisée par la conception de nouveaux traitements Spark/Scala manipulant les données raffinées du DataLake avec des règles métiers décisionnelles.

Je recherche un Data Ingénieur Spark / Scala Séniorité : à partir de 5 ans d'expérience Localisation : Orléans Télétravail : 3 jours Secteur : Prévoyance / Assurance Il s'agit d'un CDI ! Contexte de recrutement : renforcement équipe Mission : Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en oeuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire