Dans le cadre d'un programme de transformation digitale et de la mise en place d'une plateforme data Big Data, un grand groupe d'assurance français renforce son dispositif avec plusieurs développeurs et tech leads Java / Spark. Vous prendrez en charge le design et le développement des traitements batch et streaming de traitement des données, depuis les sources jusqu'à leur exposition dans des zones dédiées ou via des API. Vos missions : • Analyser les spécifications et les besoins des métiers avec les Product Owners • Designer et développer les traitements batch et streaming via Spark SQL et Java Spark • Produire la documentation technique sous Confluence • Assurer le support et la maintenance des produits déjà en production • Participer à l'ensemble des cérémonies agiles de votre Squad (Scrum) Environnement technique : distribution Big Data Cloudera/MapR, Spring Boot, Java 11, Kafka, MongoDB, Jenkins, K8S, ArgoCD, Sonar, et plusieurs autres technologies à la pointe.
Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum
Vous intégrez une équipe en charge de l'infrastructure de gestion de la donnée d'un acteur bancaire en ligne à très forte volumétrie, sur un système d'information majoritairement construit en briques open source. L'équipe couvre l'intégralité du cycle de vie des plateformes data — conception, déploiement, administration, supervision — sans séparation build/run ni logique de procédures cloisonnées. Vous n'êtes pas administrateur de bases de données au sens classique : vous concevez, scalez, sécurisez et industrialisez les moteurs de données. L'optimisation de requêtes reste marginale. Volumétrie de référence : 180 instances MySQL avec sharding, cluster Hadoop d'environ 3 Po, stockage objet S3 de plusieurs pétaoctets. Vos missions : Traitement N3 des incidents de production sur l'ensemble des briques de gestion de la donnée Industrialisation des moteurs de données via déploiement automatisé (Terraform, sur VM pré-outillées EDR/hardening) Conception et exploitation des mécanismes de haute disponibilité, scalabilité, réplication et sharding à l'échelle Définition et exécution des stratégies de backup/restauration sur gros volumes Traitement de l'obsolescence : montée de version MySQL vers 8.x sur l'ensemble du parc Qualification et industrialisation de nouvelles briques techniques Pilotage de la couche système sous-jacente et des couches d'exposition (ex. Consul) Suivi des KPIs de production et mise en œuvre d'actions correctives Traitement des sujets de sécurité sur les plateformes data Interface quotidienne avec les équipes de développement et l'infrastructure Environnement technique : Socle commun : Linux (Debian/RHEL) niveau confirmé à avancé, Terraform/Ansible/Puppet, CI/CD, Git, Docker, Kubernetes (RKE2) en trajectoire GitOps (ArgoCD) Bigdata/Hadoop (cœur du poste) : Hadoop, Hive, Hue, Yarn, Zeppelin, Spark Streaming — niveau confirmé Autres : Cassandra, Kafka, Airflow niveau confirmé ; MySQL niveau avancé ; suite ELK Supervision : Zabbix, Prometheus, Grafana, Loki
Rejoignez une squad data au sein d'un grand groupe du secteur financier, en charge de la construction d'une vision client 360 en temps réel. Vous contribuerez à la modernisation de l'écosystème data marketing et à l'évolution d'une stack big data ambitieuse (Spark, Kafka, Hadoop Cloudera) dans un environnement Agile structuré. Notre client, un acteur majeur du secteur bancaire, constitue une équipe de 12 personnes autour d'une Squad Profil Client 360 pilotée par un Product Owner et un Scrum Master. L'objectif : servir des usages digitaux avancés tout en assurant la modernisation continue du système d'information et le bon fonctionnement des produits existants. Vous évoluerez dans un cadre Scrum rigoureux, fondé sur les pratiques agiles et l'amélioration continue de la qualité. En tant que Data Engineer confirmé, vous serez responsable de la conception, du développement et de la mise en production de solutions data robustes. Vous travaillerez sur des architectures de données complexes, des pipelines streaming et batch, et participerez activement à l'automatisation des tests et au déploiement en environnements multi-niveaux. Vous accompagnerez également vos pairs dans l'adoption des bonnes pratiques de développement et contribuerez au transfert progressif du patrimoine applicatif historique vers les équipes propriétaires en cible. Responsabilités : - Concevoir et développer de nouvelles fonctionnalités data (user stories) selon les critères d'acceptation définis, en respectant les règles de gestion applicables - Définir les architectures techniques des solutions de données en collaboration avec la squad - Implémenter des pipelines Spark (streaming et batch) performants et scalables, en exploitant Kafka pour l'ingestion événementielle - Développer et maintenir les API de données et les couches d'exposition (Hive, HBase, Phoenix) - Automatiser les tests (JUnit, XRay) et appliquer les principes de software craftmanship pour garantir la qualité du code - Assurer le déploiement régulier dans les différents environnements (GitLab CI/CD, Jenkins, Artifactory) - Monitorer et garantir la stabilité en production à l'aide des outils de supervision (ELK, Grafana, SonarQube) - Accompagner l'équipe dans l'amélioration continue des pratiques agiles et de la qualité du code - Participer à la migration et au transfert progressif des produits existants vers les squads cibles Télétravail : 3 jours par semaine sur site Localisation : Nantes
