Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Tâches : - Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de l’équipe client, tout en respectant les règles de gestion et les critères d’acceptation associés. Contexte Equipe de 12 personnes composée d'un PO et d'un Scrum Master, a pour objectif de constituer une vision 360 des clients en temps réel afin de servir des usages digitaux communautaires. En plus de contribuer pleinement aux enjeux majeurs de modernisation du système d’information Marketing. L'équipe assure aussi au quotidien le bon fonctionnement de produits à valeur ajoutée L’équipe évolue dans un cadre Scrum basé sur les valeurs et pratiques agiles. Attendu : Contribuer et recueillir les besoins - Définir les architectures des solutions avec le reste de l’équipe - Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests - Déployer dans les différents environnements - Garantir le bon fonctionnement en production - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Contexte et objectifs de la prestation : Dans ce cadre, la prestation consiste à contribuer à/au(x) : 1. Projets de migration vers notre nouveau Datalake sur infra “Azure” 2. Projets de maintenance évolutive des Use Cases Data déjà existants 3. Cadrage et chiffrage du projet (et validation) et assistance et expertise dans la définition de la stratégie et solution technique. 4. L'assistance et l'expertise sur l’architecture technique (design et conception) des couches datalake et des moyens de restitutions, 5. La conduite du changement dans la mise en œuvre et l’uniformisation des pratiques Craft 6. La définition des normes et standards de qualité édictés sur le périmètre (qualité de code, sécurité, performance, build automatique, analytics) 7. La définition du bon niveau de la documentation technique et mise à jour associée Diverses étapes de développements notamment sur les développements complexes : chiffrage, conception, spécifications techniques,mise en place, tests, déploiement, revue de code 8. Challenge des choix techniques pour qu’ils soient en adéquation avec : le besoin du client, les normes et standards des entités d’architectures, l’innovation et les principes de la transformation digitale de la banque Expertises : 1. Spark Scala 2. Cloudera, Azure 3. Mode Agile (Scrum) 4. Environnement anglophone.

Contexte de la mission Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming. Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux. Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud. Stack technique & environnement Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours) Orchestration : StreamSets, Airflow Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy) Langages : Python, Scala, SQL CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE) Monitoring : Grafana, Prometheus, Elastic Stack

Pour le besoin de mon client basé à Aix/Marseille ,je suis à la recherche d'un Data Architect SSOT / Real-Time Missions Architecture & Design Définir l’architecture globale de la Single Source of Truth et de ses trois composantes (Access, Knowledge, Trust). Concevoir et documenter les modèles de données et les cadres d’architecture alignés avec les standards du groupe. Définir les points d’interaction avec les solutions du Groupe, et recommander des fusions si nécessaire. Intégrer des capacités temps réel et streaming (event-driven architecture) dans la conception globale.Compétences Techniques Solide connaissance des architectures data et cloud (Snowflake, modélisation de données, Semarchy ou équivalent). Bonne compréhension des solutions de catalogage et de qualité de données. Expérience avec des architectures temps réel et streaming (Kafka, Spark, frameworks de streaming). Bonne compréhension du MDM (Master Data Management). Sensibilité aux standards de gouvernance, conformité et sécurité. Fonctionnelles et interpersonnelles

A ce titre, nous cherchons un profil possédant la double compétence Data engineer et développeur backend Les activités attendues sont: - Ecrire les jobs spark de manipulation des collections de données pour des pipelines d'ingestion, de nettoyage, de preparation, d'enrichissement, de croisement des données - Développer des µService d'accès au données (API REST, serveur graphQL) pour mettre à disposition des applications internes ou directement à des clients externe - Développer jusqu'à la mise en production les traitements Big Data - Assurer la maintenance corrective des solutions Big Data développées - Collaborer avec l’ensemble des interlocuteurs concernés, transverses et métier Compétences attendues Java (J2EE / Jdk 21) Scala Spark / Spark Streaming Parquet Trino Delta Lake Kafka Docker – Kubernetes – Helm - Argo Workflow Web Services Rest / graphQL TU (JUnit / Mockito / PowerMock / ScalaMock) Git / Maven Les capacités d'innovation et de proposition seront appréciées. La maitrise de l'anglais est indispensable. La mission est prévue sur le reste de l'année 2025

Contexte Nous recherchons un Développeur Senior possédant une double expertise en Développement Backend et en Ingénierie des Données, pour intégrer une équipe dédiée à l’Observabilité. Le consultant interviendra dans un environnement Azure et DevOps, avec un fort enjeu de fiabilité, performance et gouvernance des données. Localisation et modalités Lieu : Levallois-Perret Hybridation : 2 à 3 jours sur site / semaine Durée : engagement long terme (jusqu’à 3 ans) Démarrage : 13/10/2025 Fin prévue : 12/10/2026 Seniorité : +8 ans d’expérience minimum Missions et Responsabilités Développement Backend Concevoir, développer et maintenir des services backend (Python, PySpark). Exposer des APIs et intégrations orientées Observabilité. Data Engineering Construire et orchestrer des pipelines ELT/ETL robustes (Airflow, Spark, Python). Assurer la qualité, le lineage, la sécurité et l’observabilité des données. Stockage & Visualisation Gérer les données via PostgreSQL, Azure Blob Storage et ADLS. Créer des dashboards avancés avec Grafana pour la supervision des performances. Collaboration & Méthodologie Travailler avec les équipes de développement et le Product Owner (Agile/Scrum). Intégrer les pratiques d’observabilité dans les cycles de développement pour améliorer résilience et visibilité. Compétences techniques requises Langages : Python, PySpark, SQL, NoSQL (ElasticSearch). Data & orchestration : Spark, Airflow, PostgreSQL, ADLS, Azure Blob Storage. Observabilité : ELK Stack, Logstash, Azure Log Analytics (KQL), Grafana. Cloud & Infrastructure : Azure (AKS, Azure Functions, Event Hub, Delta Lake). CI/CD : GitHub Actions, intégration et déploiement continus. Bonus : Kafka, Spark Structured Streaming. Qualifications & Profil Diplôme en informatique/ingénierie ou équivalent. Expérience : 6+ ans en Data Engineering / Développement backend (dont plusieurs en environnement Azure & DevOps). Langues : Français et Anglais courants (écrit et oral). Résumé Mission longue (1 à 3 ans) sur Levallois-Perret, orientée sur le développement backend et l’ingénierie de données pour renforcer l’observabilité des systèmes critiques.

Contexte du projet : Dans le cadre d’un vaste programme de transformation digitale, CBX Group accompagne un grand acteur dans la mise en place et l’industrialisation d’une plateforme Big Data. Nous recherchons un Tech Lead Data Engineer expérimenté pour renforcer l’équipe Data et piloter la conception, le développement et la mise en production de traitements batch et temps réel, tout en encadrant les Data Engineers de la squad. Missions principales : Piloter la conception et le développement de pipelines en Spark SQL et Java Spark (batch & streaming). Définir les standards de développement et garantir la qualité technique de la squad (revues de code, bonnes pratiques, CI/CD). Concevoir et optimiser des traitements temps réel (Kafka, MongoDB, event-driven). Accompagner le design des usages Data en lien avec les Product Owners et le métier. Assurer l’optimisation et le tuning des traitements Spark pour garantir performance et scalabilité. Encadrer et coacher les Data Engineers de l’équipe, favoriser le partage de connaissances. Documenter l’architecture et les traitements dans Confluence, assurer le support et la maintenance. Participer aux rituels agiles et contribuer à la roadmap technique de la plateforme. Stack technique : Cloudera / MAPR, Java 11/17/21, Spark 2/3, Spring Boot, Kafka, MongoDB, Jenkins, Kubernetes, ArgoCD, SonarQube ; cloud GCP

Description de la mission : Nous recherchons un expert Big Data pour intervenir sur un projet stratégique autour du traitement et de la valorisation de données à grande échelle. Le consultant sera intégré à une équipe Data et interviendra sur la conception, l’optimisation et la mise en production de pipelines de données. Compétences attendues : Maîtrise avancée de Apache Spark (batch et streaming) Expertise sur Airflow (orchestration de workflows complexes, bonnes pratiques CI/CD) Connaissance approfondie de Superset (construction et industrialisation de dashboards) Bonnes pratiques en architecture Big Data et Data Lake Connaissances appréciées : Python, SQL, Cloud (AWS / GCP / Azure)

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d’intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. Développement d’applications distribuées avec Apache Spark (Batch et Streaming) en Scala. Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. Mise en place d’architectures data : Data Lake, Data Warehouse, solutions temps réel. Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d’intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. Développement d’applications distribuées avec Apache Spark (Batch et Streaming) en Scala. Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. Mise en place d’architectures data : Data Lake, Data Warehouse, solutions temps réel. Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.