Dans le cadre du renouvellement d'un partenaire stratégique et de l'évolution de ses plateformes décisionnelles, notre client recherche un Data Engineer Big Data confirmé H/F pour rejoindre les équipes Risque et Finance de la filière Reporting Finance, Data & Marketing. Vous évoluerez dans un environnement bancaire exigeant, où les enjeux de qualité des données, de performance, de sécurité, de traçabilité et de conformité réglementaire sont au cœur des projets. Vous contribuerez à la conception, au développement et à l'industrialisation de traitements data à forte volumétrie permettant d'alimenter les datamarts réglementaires et les systèmes de reporting Risque et Finance. Vos missionsAu sein d'une équipe Data Engineering, vous intervenez sur l'ensemble du cycle de vie des traitements de données. Conception et développementRecueillir et analyser les besoins fonctionnels et techniques. Concevoir des architectures de traitement distribuées performantes et évolutives. Développer des pipelines batch robustes en environnement Big Data. Réaliser des traitements Spark en Scala et des transformations SQL avancées. Intégrer des données provenant de sources multiples et hétérogènes. Participer aux choix de conception et aux revues techniques. Data Quality et gouvernanceMettre en œuvre des contrôles de qualité, de complétude et de cohérence des données. Identifier, analyser et corriger les anomalies de traitement. Garantir la traçabilité et la reproductibilité des flux de données. Assurer le respect des exigences réglementaires et de gouvernance des données. Performance et optimisationOptimiser les traitements Spark et SQL sur des volumes importants. Travailler sur les problématiques de partitionnement, parallélisme et gestion des ressources. Améliorer les performances des traitements et réduire les temps d'exécution. Identifier et résoudre les goulots d'étranglement techniques. Industrialisation et DevOpsConcevoir et maintenir les workflows d'orchestration sous Apache Airflow. Participer à la mise en œuvre des pipelines CI/CD. Industrialiser les déploiements et automatiser les processus. Mettre en place les mécanismes de supervision, d'alerting et de gestion des erreurs. Garantir la robustesse, l'idempotence et la résilience des traitements. Run et support de productionAssurer le suivi quotidien et mensuel des traitements. Participer à l'analyse et à la résolution des incidents de production. Suivre les rejets de données et piloter leur correction. Contribuer à l'amélioration continue de la plateforme data. Environnement techniqueTechnologies principalesScala Apache Spark SQL avancé Apache Airflow Hadoop / HDFS Apache Hive Presto / Trino Industrialisation & DevOpsGit CI/CD Automatisation des déploiements Monitoring & Logging Technologies complémentairesKafka Bases relationnelles (Oracle, PostgreSQL, SQL Server...) Bases NoSQL
en bref : Développeur Scala / Lyon 3 / 50-60K€ / Editeur de logiciels Adsearch, cabinet de conseil en recrutement, vous propose un poste de Développeur Scala (H/F) chez son client éditeur de logiciels. Poste : Vous rejoignez une PME qui édite une gamme de logiciels dans le domaine du médical. Au sein du pôle R&D vous intégrez l'équipe backend composée de plusieurs développeurs Scala. En tant que Développeur Scala (H/F) vous travaillez sur l'architecture et le développement des services qui alimentent la plateforme. Au quotidien vous : - développez et maintenez les API Rest de la plateforme - concevez l'architecture backend - veillez à garantir performance, fiabilité et scalabilité - intégrez les systèmes tiers des partenaires - travaillez en collaboration avec l'équipe produit et frontend - participez aux choix techniques et à l'évolution de la stack. Stack technique : Scala, écosystème Typelevel PostgreSQL / MongoDB CleverCloud CI/CD
Nous sommes actuellement à la recherche de profils Data Engineer pour une mission en Freelance, basée à Nantes. Le client recherche un profil maîtrisant parfaitement PySpark et Scala, avec une solide expérience sur cet environnement. -Localisation : Nantes -Secteur : Transport -Mode de travail : Hybride -TJM : 450 Les détails de la mission (contexte, cadre de la mission, stack technique, projet, etc.) vous seront présentés lors d'un entretien avec le responsable du besoin. Client réactif - Retours rapides
Nous recherchons pour l'un de nos clients spécialisés dans le domaine de l'assurance un Développeur Sunbelt / Cobol H/F au Luxembourg. Les équipes sont organisées par domaine métier . Vous intégrerez le domaine Vie Individuelle à plein temps où vous aurez la charge de : ▪ Travailler dans un environnement agile ▪ Concevoir, réaliser, tester, déployer, monitorer vos réalisations en Sunbelt ▪ Effectuer du support pour nos services métiers ▪ D'adhérer aux principes d'améliorations continues et de modernisation du domaine ▪ De devenir un expert dans certaines parties du domaine applicatif avec une mission longue Les équipes se composent d'un Product Owner, 1 ou plusieurs Business Analyst, 1 Agile Manager et de plusieurs développeurs qui évoluent dans la méthodologie Scrum et travaillent étroitement avec les parties prenantes du côté métier. Compétences souhaitées ▪ Vous maîtrisez la programmation procédurale (Ex : Cobol) ▪ Vous avez de l'expérience avec les DB non relationnelles (Fichiers indexés) ▪ Vous êtes capable de faire monter en compétence vos pairs au travers de code-review, pair programming, … ▪ Vous maîtrisez l'entièreté d'une chaine de développement, et avez la capacité de pousser et de justifier des choix d'architecture ▪ Vous avez un intérêt certain pour l'assurance Vie ▪ Vous savez collaborer avec des développeurs d'autres équipes afin d'améliorer les systèmes et les processus dans un environnement organisé par domaines ▪ Vous êtes proactif, appréciez le travail en équipe et désireux d'apprendre ▪ Vous êtes sensibilisés à la programmation objet ou fonctionnelle et nouvelles technologie (API, Eventsourcing, …) ▪ Vous êtes capable de restituer votre avancement et estimer votre reste à faire.
Développeur SUNBELT / COBOL (H/F) Les équipes sont organisées par domaine métier. Vous intégrerez le domaine Vie Individuelle à plein temps où vous aurez la charge de : § Travailler dans un environnement agile § Concevoir, réaliser, tester, déployer, monitorer vos réalisations en Sunbelt § Effectuer du support pour nos services métiers § D'adhérer aux principes d'améliorations continues et de modernisation du domaine § De devenir un expert dans certaines parties du domaine applicatif avec une mission longue Les équipes se composent d'un Product Owner, 1 ou plusieurs Business Analyst, 1 Agile Manager et de plusieurs développeurs qui évoluent dans la méthodologie Scrum et travaillent étroitement avec les parties prenantes du côté métier. Compétences souhaitées § Vous maîtrisez la programmation procédurale (Ex : Cobol) § Vous avez de l'expérience avec les DB non relationnelles (Fichiers indexés) § Vous êtes capable de faire monter en compétence vos pairs au travers de code-review, pair programming, … § Vous maîtrisez l'entièreté d'une chaine de développement, et avez la capacité de pousser et de justifier des choix d'architecture § Vous avez un intérêt certain pour l'assurance Vie § Vous savez collaborer avec des développeurs d'autres équipes afin d'améliorer les systèmes et les processus dans un environnement organisé par domaines § Vous êtes proactif, appréciez le travail en équipe et désireux d'apprendre § Vous êtes sensibilisés à la programmation objet ou fonctionnelle et nouvelles technologie (API, Eventsourcing, …) § Vous êtes capable de restituer votre avancement et estimer votre reste à faire. Compétences appréciées (non obligatoire) § [BACK] La connaissance de la programmation événementielle (event sourcing) avec KAFKA est un réel atout. § [BACK] Vous avez des connaissances dans la conception d'APIs REST § [BACK] La maîtrise de la programmation fonctionnelle (Scala, ...) est un réel atout § [BACK] La connaissance en DB non relationnelles (MongoDB) est un réel atout § [FRONT] Vous avez une bonne expérience dans la conception d'architecture basée sur des composants utilisant Angular. React ou Vue.js § [FRONT] Vous maîtrisez HTML / CSS / JS § [FRONT] Vous êtes en mesure de consommer des APIs REST § [FRONT] Vous savez intégrer des maquettes réalisées par des designers (dans Figma) § Vous utilisez des outils de déploiement continu (K8s, Jenkins, …) et de monitoring (Instana et Sentry) § Vous êtes familier avec un outil de versionning de code tel que Git - Vous êtes en mesure de venir sur site à Leudelange (à raison d'au moins 3 jours par semaine) § En plus: - Expérience avec des frameworks de tests unitaires - Utilisation du standard JSON-API
Nous recherchons pour l'un de nos clients spécialisés dans le domaine de l'assurance un Développeur Fullstack Java H/F au Luxembourg. Notre client est à la recherche de plusieurs profils, pour intervenir sur une mission longue durée dans le domaine Contrats Marché Local, organisé autour d'une équipe pluridisciplinaire fonctionnant selon les méthodologies Agile (Kanban et Scrum). Missions principales : Au sein de cette équipe, vous serez amené à : • Participer activement aux cérémonies et pratiques Agile. • Concevoir, développer, tester, déployer et superviser des applications principalement en Java 8. • Maintenir et faire évoluer des APIs développées en Scala ainsi que des interfaces frontend basées sur Dojo. • Contribuer à la modernisation progressive du patrimoine applicatif. • Développer une expertise fonctionnelle et technique sur des périmètres stratégiques du domaine. • Participer à l'intégration de nouvelles solutions et architectures. • Utiliser quotidiennement des solutions d'intelligence artificielle (MIA, Claude, etc.) pour améliorer la qualité, la maintenabilité et la productivité du développement. • Réaliser et maintenir des tests automatisés en scala avec Playwright. • Participer à la communauté des développeurs afin de partager les bonnes pratiques et les retours d'expérience. • Accompagner la montée en compétences de vos collègues à travers le pair programming, les revues de code et le partage de connaissances.
Sur le plan technique technique, l'application est en charge de la gestion des essences du metier de notre client. Elle est composée par un ensemble de Micro-Services développés en Javascript pour la partie Front (~10 MFE React, 1 legacy Angular), Scala (~50) et Rust (~5) qui sont hébergés dans le Cloud (AWS) et On Premise (VMWare). Le travail est organisé suivant des sprints de 2 semaines et l'équipe est constituée de plusieurs Feature Teams complètes (P.O / Devops / Recette / Dev) se partageant un Scrum Master et un UI/UX Designer. Compte tenu des enjeux importants tant au niveau fonctionnel et technique qu'au niveau du calendrier, nous recherchons des candidats : - Dynamiques et motivés, capables de voir au-delà de leur tâche affectée, de s'inquiéter de la complétion du récit utilisateur dans son ensemble (incluant la conception, les tests, la cohérence des livrables) et d'être acteur de sa livraison en production. - Sérieux et autonomes, permettant d'être un relais efficace des Lead Tech présents dans l'équipe, mais n'hésitant pas à poser des questions si nécessaires. Les candidats répondront idéalement aux critères ci-après classés par ordre d'importance : 1
Contexte de la mission Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire) Une experience de flux réalisés sur Databricks/Azure serait un plus important. Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI Objectifs et livrables Objectifs et livrables Activités principales Développement et intégration Développer et maintenir des pipelines de données sur l'infrastructure existante (batch, streaming, API) Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala) Assurer l'intégration et la gestion de flux de données via Kafka et HDFS Exploiter et administrer des bases de données NoSQL (Cassandra) Gestion du run (rôle tournant) Surveiller la performance et la scalabilité des processus Prendre en charge la résolution des incidents et l'amélioration continue en production Escalader auprès des sachants les anomalies critiques Communiquer les incidents aux parties prenantes le cas échéant. Relation métier et vulgarisation Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l'équipe et les parties prenantes Profil recherché Formation : Bac+5 en informatique, data engineering ou équivalent Expérience : Minimum 3 ans sur un poste similaire Compétences techniques requises Maîtrise du développement Spark (Scala) Bonne connaissance de l'écosystème Big Data : HDFS, Kafka, Cassandra Expérience sur des architectures batch, streaming et API Pratique du versioning (git) et des outils d'intégration continue Bonus : experience en env Databricks/Azure Compétences complémentaires (atouts) Databricks Expérience sur Airflow Expérience sur des environnements cloud (Azure) Développement Node.js Pratique de la CI/CD et des outils de monitoring Savoir-être Esprit d'équipe, sens du service et de la communication Capacité à vulgariser et à transmettre ses connaissances Capacité d'analyse Autonomie, rigueur et sens de l'organisation
Développement et maintenance d'applications Java 8 Évolution d'API REST en Scala Maintenance des interfaces Dojo Tests automatisés avec Playwright Participation à la modernisation du SI Contribution aux choix d'architecture et à la CI/CD Monitoring / observabilité Participation aux pratiques Agile, code review et pair programming Utilisation d'outils d'IA générative pour améliorer la productivité Compétences indispensables:Java 8+ / POO HTML / CSS / JavaScript API REST Bases relationnelles, idéalement DB2 Git Tests automatisés / Playwright Maîtrise du cycle de développement logiciel Compétences appréciées:Scala Dojo MongoDB Kafka / architectures événementielles Bash COBOL / EGL Kubernetes Datadog / Sentry Angular JSON:API
Dans le cadre d'un projet stratégique en Banque / Finance, nous recherchons 2 Tech Leads Big Data / Data Engineering expérimentés pour rejoindre une équipe intervenant sur des sujets à fort enjeu autour des environnements BFI et Risk. 🎯 Profil recherchéExpérience confirmée en Big Data / Data Engineering Bonne connaissance des environnements Banque de Financement et d'Investissement (BFI) et des problématiques Risk Capacité à évoluer dans des environnements techniques complexes et à accompagner les équipes 💻 Compétences techniques indispensablesSpark / PySpark / Scala Python Hive / SQL Elasticsearch / Kibana Jenkins Ansible Oozie Méthodologie Agile 🚀 Vos missionsConcevoir et développer des solutions Big Data performantes Accompagner les équipes sur les choix techniques et les bonnes pratiques Participer à l'industrialisation des traitements et à l'optimisation des performances Intervenir sur des projets stratégiques à fort impact dans le secteur bancaire 📍 2 postes à pourvoir immédiatement 👉 Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé.
🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données
CONTEXTE Au sein d'un acteur du transport en commun, la mission consiste à intervenir comme référent architecture et Tech Lead auprès des squads projets. Le consultant accompagnera les projets Data de la phase de cadrage jusqu'à la mise en production, en garantissant les choix d'architecture, la qualité des développements et l'application des bonnes pratiques sur un socle AWS / Databricks. Missions principales / Responsabilités • Accompagner les squads métiers dès le cadrage et jusqu'à la mise en service des cas d'usage • Challenger les choix techniques et architecturaux des projets • Assister les Tech Leads dans la définition des architectures et la rédaction des DAT • Concevoir et optimiser des pipelines d'ingestion et de transformation de données • Garantir les bonnes pratiques de développement, de performance, de FinOps et d'éco-conception • Contribuer à l'amélioration des frameworks et briques techniques de la plateforme • Participer au MCO des applications Data et intervenir en support N3 • Réaliser des PoC, audits techniques et études d'architecture Livrables attendus • Architectures solution • DAT • Pipelines d'ingestion et de transformation de données • PoC • Audits techniques • Études d'architecture Compétences / Qualités indispensables : Databricks, AWS, Spark / Scala, Architecture Solution Data, Data Engineering, Scrum Agile Compétences / Qualités qui seraient un + : Data Mesh, Power BI, FinOps, éco-conception numérique, industrialisation Data Platform, PoC et études d'architecture, accompagnement de squads Agile Informations concernant le télétravail : Oui — 2 jours/semaine
Tâches : Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de la Squad, tout en respectant les règles de gestion et les critères d'acceptation associés. Aider et conseiller les autres membres de la squad sur les pratiques de développement et de qualité. Attendus : Contribuer au sein d'une équipe agile à répondre aux besoins : Définir les architectures des solutions avec le reste de l'équipe Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests Déployer dans les différents environnements Garantir le bon fonctionnement en production Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code
Contexte et objectif de la mission Au sein d'une organisation du secteur du transport en commun, la mission consiste à accompagner les squads métiers sur l'ensemble du cycle de vie des projets Data. Le consultant intervient comme référent architecture et Tech Lead auprès des équipes projets afin de garantir la qualité des solutions, l'application des bonnes pratiques Data et l'alignement avec les standards de la plateforme. Missions principales / responsabilités • Assurer l'expertise plateforme auprès des squads projets dès le cadrage et jusqu'à la mise en production • Accompagner les Tech Leads dans leurs choix d'architecture et dans la rédaction des DAT • Réaliser l'onboarding des équipes projets sur les standards et bonnes pratiques de la plateforme • Challenger les architectures proposées et identifier les risques techniques • Superviser les contributions des Data Engineers et des experts Data Management, Dataviz et Data Science • Participer aux Go/NoGo, VSR, audits, PoC et études techniques • Contribuer au support N3 et au MCO des solutions Data en production • Accompagner la montée en compétence des équipes projets sur Databricks et les pratiques Big Data Livrables attendus • DAT • Contributions d'architecture et recommandations techniques • Audits, PoC et études techniques • Participation aux jalons Go/NoGo et VSR • Support N3 et activités de MCO sur les solutions Data
Contexte de la mission # Enjeux Intégrer une équipe d'exploitation afin de garantir le bon fonctionnement du provisonning OSS Fixe Exploiter une application au coeur de la vie des clients Fixe Contribuer à l'automatisation des processus Garantir le partage de connaissance # Soft skills Proactivité, curiosité, esprit d'analyse, engagement Le candidat doit être réactif et doté de bonnes capacités d'adaptation, d'analyse, de rédaction. Il fait preuve de pédagogie et d'une bonne aptitude à la conduite de réunion. Objectifs et livrables # Compétence Ce poste requiert de bonnes connaissances des systèmes informatiques orientés services et de leur exploitation Posséder des compétences en BPMN (Business Process Modeling Notation) et Camunda Mettre en place l'automatisation de process sous Camunda Mettre en place une supervision automatisée sous Kibana Développer l'automatisation des tests de performance et fonctionnels sous Jenkins / Scala Contribuer à l'analyse et à la résolution d'incidents
