Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Nous avons besoin d’un renfort de profil développeur pour notre client grand compte dans le secteur bancaire, dont les missions sont les suivantes : Tâches : - Développer des User story relatives à l’ingestion /transformation de données avec des technos de type ETL sur une plateforme Cloudera customisée ou des procédures stockées - Mettre en œuvre les tests unitaires, participer à la recette fonctionnelle avec les Business analyst - Déployer le produit dans différents environnements - Produire la documentation associée à ces développements - Participer à l’affinage et chiffrage des solutions - Garantir et assurer le fonctionnement des produits en production (suivi du run) - Participer aux cérémonies et démarche agile Scrum Attendus : Prise en charge des récits de développement du backlog et des travaux associés (conception /DevTU/Recette/Déploiement ) du périmètre et de la trajectoire des produits de la squad Environnement techniques : Indispensables : ETL Jobfacto / Spark / HIVE / Oozie … Indispensables : Devops : Gitlab, Artifactroy

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage