Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Data Engineer Experimenté chez CATS à Vannes Renfort du Chapitre Data d'un profil Data Engineer Experimenté qui sera amené à intervenir au sein d'une squad du domaine régalien, dans un environnement Cloudera - en utilisant un framework interne entreprise – en lien avec PO/BA de la squad ainsi que l'équipe de Dev., ceci dans un cadre agile sujets : adaptations et réécritures des traitements réglementaires autour des arrêtés comptables, évolution des traitements de supervision, montée de version, documentation technique, 📝 Activités - Affiner les US avec le PO/BA, concevoir puis développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers : -- Concevoir et développer des pipelines via ETL interne basé sur spark / Automatiser l'ingestion de données depuis diverses source / Orchestrer les flux de données batch et temps réel - Mettre en œuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents y compris mise en place et optimisation du monitoring - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code 🏦 Domaine d'activité : Domaine bancaire - équipe régalien (Expérience dans le domaine Bancaire très fortement apprécié) ⚙️ Compétences Techniques : Langage / ETL : Spark - streaming et batch (requis), Semarchy xDI (apprécié) Framework Big Data : Hadoop Cloudera (très fortement apprécié) Sensibilité forte aux enjeux métiers, de préférence avec le milieu bancaire 🧠 Compétences Humaines : Bonne communication / Pédagogue Prise de Lead / Force de proposition, Sait challenger les besoins Autonomie, Adaptabilité 🚀 XP : Experimenté (4 à 7 ans) 🗺️Localisation : Vannes : 3 jours sur le site

Dans le cadre d'un projet stratégique en Banque / Finance, nous recherchons 2 Tech Leads Big Data / Data Engineering expérimentés pour rejoindre une équipe intervenant sur des sujets à fort enjeu autour des environnements BFI et Risk. 🎯 Profil recherchéExpérience confirmée en Big Data / Data Engineering Bonne connaissance des environnements Banque de Financement et d'Investissement (BFI) et des problématiques Risk Capacité à évoluer dans des environnements techniques complexes et à accompagner les équipes 💻 Compétences techniques indispensablesSpark / PySpark / Scala Python Hive / SQL Elasticsearch / Kibana Jenkins Ansible Oozie Méthodologie Agile 🚀 Vos missionsConcevoir et développer des solutions Big Data performantes Accompagner les équipes sur les choix techniques et les bonnes pratiques Participer à l'industrialisation des traitements et à l'optimisation des performances Intervenir sur des projets stratégiques à fort impact dans le secteur bancaire 📍 2 postes à pourvoir immédiatement 👉 Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé.

Dans le cadre d'un programme de transformation digitale et de la mise en place d'une plateforme data Big Data, un grand groupe d'assurance français renforce son dispositif avec plusieurs développeurs et tech leads Java / Spark. Vous prendrez en charge le design et le développement des traitements batch et streaming de traitement des données, depuis les sources jusqu'à leur exposition dans des zones dédiées ou via des API. Vos missions : • Analyser les spécifications et les besoins des métiers avec les Product Owners • Designer et développer les traitements batch et streaming via Spark SQL et Java Spark • Produire la documentation technique sous Confluence • Assurer le support et la maintenance des produits déjà en production • Participer à l'ensemble des cérémonies agiles de votre Squad (Scrum) Environnement technique : distribution Big Data Cloudera/MapR, Spring Boot, Java 11, Kafka, MongoDB, Jenkins, K8S, ArgoCD, Sonar, et plusieurs autres technologies à la pointe.

Nous recherchons pour l'un de nos clients un(e) Architecte d'intégration & Business Analyst (H/F) Missions : Partie Architecte d'intégration Concevoir et piloter les architectures d'intégration sur l'ensemble du cycle de vie projet Maîtriser et appliquer les principaux patterns d'intégration : API, Event, Streaming Concevoir des architectures REST et rédiger les spécifications techniques associées Intervenir sur les phases de design, de développement et d'exploitation Définir et proposer des standards d'architecture communs à plusieurs zones et business platforms Accompagner les équipes dans l'utilisation des solutions iPaaS du marché Partie Business Analyst Intégration Comprendre et analyser les besoins fonctionnels Rédiger les spécifications fonctionnelles Cadrer les évolutions et les besoins métiers Piloter les développeurs et suivre l'avancement des sujets Réaliser les tests fonctionnels Suivre les projets dans ServiceNow Planifier les mises en production Suivre les flux en production et contribuer à l'optimisation du RUN

Résumé :Recherche un Ingénieur Systèmes & Réseaux orienté Infrastructure Data pour rejoindre une équipe en charge des plateformes critiques de stockage, transport et exploitation des données. L'objectif principal est de garantir le bon fonctionnement des infrastructures de données et de travailler dans un environnement technique majoritairement open source. Responsabilités :Gestion des incidents de production en escalade des équipes d'exploitation. Support de niveau 3 sur des environnements critiques. Suivi des KPI et actions correctives. Gestion de l'obsolescence des infrastructures. Déploiement et évolution de plateformes à haute disponibilité. Installation et administration de bases de données (MySQL, Cassandra, etc.). Déploiement de VM dans les datacenters. Mise en place des mécanismes de sauvegarde et gestion des logs. Industrialisation et qualification de nouvelles briques techniques. Must Haves :Expertise en MySQL. Maîtrise des systèmes Linux. Expérience avec des outils comme ELK, Kafka, Airflow, Docker, Git, Ansible, CI/CD, Cassandra, Hadoop / Hive / Yarn, et Spark Streaming. Nice to Haves :Compréhension des concepts d'infrastructure. Curiosité technique et capacité d'apprentissage rapide. Capacité à travailler de façon autonome. Détails supplémentaires :Équipe actuelle : 12 personnes. Localisation : Nancy, avec 2 jours de télétravail par semaine. Durée de la mission : 30 à 36 mois, contrats renouvelables.

Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum

Vous intégrez une équipe en charge de l'infrastructure de gestion de la donnée d'un acteur bancaire en ligne à très forte volumétrie, sur un système d'information majoritairement construit en briques open source. L'équipe couvre l'intégralité du cycle de vie des plateformes data — conception, déploiement, administration, supervision — sans séparation build/run ni logique de procédures cloisonnées. Vous n'êtes pas administrateur de bases de données au sens classique : vous concevez, scalez, sécurisez et industrialisez les moteurs de données. L'optimisation de requêtes reste marginale. Volumétrie de référence : 180 instances MySQL avec sharding, cluster Hadoop d'environ 3 Po, stockage objet S3 de plusieurs pétaoctets. Vos missions : Traitement N3 des incidents de production sur l'ensemble des briques de gestion de la donnée Industrialisation des moteurs de données via déploiement automatisé (Terraform, sur VM pré-outillées EDR/hardening) Conception et exploitation des mécanismes de haute disponibilité, scalabilité, réplication et sharding à l'échelle Définition et exécution des stratégies de backup/restauration sur gros volumes Traitement de l'obsolescence : montée de version MySQL vers 8.x sur l'ensemble du parc Qualification et industrialisation de nouvelles briques techniques Pilotage de la couche système sous-jacente et des couches d'exposition (ex. Consul) Suivi des KPIs de production et mise en œuvre d'actions correctives Traitement des sujets de sécurité sur les plateformes data Interface quotidienne avec les équipes de développement et l'infrastructure Environnement technique : Socle commun : Linux (Debian/RHEL) niveau confirmé à avancé, Terraform/Ansible/Puppet, CI/CD, Git, Docker, Kubernetes (RKE2) en trajectoire GitOps (ArgoCD) Bigdata/Hadoop (cœur du poste) : Hadoop, Hive, Hue, Yarn, Zeppelin, Spark Streaming — niveau confirmé Autres : Cassandra, Kafka, Airflow niveau confirmé ; MySQL niveau avancé ; suite ELK Supervision : Zabbix, Prometheus, Grafana, Loki

Plateforme On-Premise & Cloud Synthèse de la Mission : Rôle : Ingénieur Data Senior (> 7 ans d'expérience) Localisation : Paris ou Rennes (3 jours/semaine sur site, 2 jours en télétravail) TJM Max : 770 € / jour Date de démarrage : ASAP Durée : 5 à 6 mois (jusqu'au 27/11/2026) Contexte & Objectif de la Mission : Au sein d'un grand groupe média, l'objectif principal est de concevoir et construire le MVP d'une plateforme Data On-Premise basée sur des technologies Open Source. La plateforme permettra de : Gérer les transformations de données On-Premise et alimenter un Data Lake local. Servir de plateforme d'ingestion pour le Big Data sur GCP (Cloud Public). Faciliter la transition du mode Batch vers le Streaming (Temps réel). Valider la faisabilité de migration de flux ETL legacy (OpenText / Genio). Responsabilités & Missions Principales : Conception & Déploiement du MVP : Architecturer et intégrer la plateforme sur un socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Installer et configurer la stack Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Validation Technique & Cas d'Usage : Migrer quelques flux ETL clés pour valider la valeur de la plateforme. Déployer des pipelines streaming (Kafka + Spark Structured Streaming). Mettre en place l'alimentation du Data Lake (Iceberg + Trino) et assurer l'interopérabilité avec GCP. Collaboration & Documentation : Travailler en synergie avec les équipes Data/IA et DevOps/Infra. Documenter l'architecture, les choix techniques et transmettre les compétences aux équipes internes.

Vous rejoindrez un grand groupe du secteur audiovisuel et médias pour concevoir et développer le MVP d'une plateforme Data On-Premise innovante. Ce projet stratégique vise à moderniser l'infrastructure data existante en intégrant une stack Open Source performante (Kafka, NiFi, Spark, Iceberg, Trino) et à faciliter la transition vers le traitement temps réel tout en validant l'interopérabilité avec les services cloud publics. Au sein de la Direction IT Transverse, vous piloterez l'architecture et la mise en œuvre d'une plateforme data scalable et robuste, intégrée au socle technique existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Vous travaillerez en collaboration étroite avec les équipes métiers et techniques du groupe pour transformer des flux ETL existants, démontrer la faisabilité de migration depuis les systèmes actuels, et établir les bonnes pratiques de la nouvelle plateforme. Ce rôle combine architecture data, ingénierie de plateforme et mentorat technique dans un environnement moderne et exigeant, avec un fort impact sur la modernisation de l'écosystème data du groupe. Responsabilités : - Architecturer une plateforme Data On-Premise scalable, robuste et intégrée à l'infrastructure existante (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) - Sélectionner, configurer et déployer les composants Open Source clés : Apache Kafka (streaming), Apache NiFi (ingestion et orchestration), Apache Spark (traitement distribué), Apache Iceberg (gestion de tables analytiques) et Trino (requêtage SQL distribué) - Implémenter des cas d'usage concrets en transformant des flux ETL existants et en mettant en place des pipelines de données en streaming (Kafka + Spark Structured Streaming) - Alimenter et optimiser un datalake On-Premise basé sur Iceberg, avec requêtage via Trino - Valider l'interopérabilité et les patterns d'intégration avec les services Big Data en environnement cloud public (GCP) - Collaborer avec l'équipe Data et IA pour aligner les besoins métiers et techniques, et avec les équipes DevOps/Infrastructure pour l'intégration du socle - Documenter les choix architecturaux, les décisions techniques et établir les bonnes pratiques de la plateforme - Former et accompagner les équipes internes sur les nouveaux outils, processus et méthodologies Télétravail : 2/3 jours par semaine Localisation : Paris / Rennes

CONTEXTE Client final : grand groupe média & audiovisuel français. Au sein de la Direction IT Transverse, l'équipe Services & Automatisation met en place les plateformes de services du groupe. Nous recherchons un Ingénieur Data expérimenté (5 ans et plus) pour construire un MVP de plateforme Data On-Premise reposant sur des briques Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Le MVP s'intègre au socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) ; projet mené avec l'équipe Data & IA. OBJECTIFS DE LA PLATEFORME - Gérer la transformation de données On-Premise et alimenter un datalake On-Premise - Servir de plateforme d'ingestion pour la plateforme Big Data hébergée sur GCP - Passer les traitements du mode batch au temps réel (streaming) - Démontrer la faisabilité de la migration des flux ETL portés par un outil propriétaire (type OpenText/Genio) : quelques flux dans le MVP, migration complète hors scope MISSIONS 1. Conception et développement du MVP - Architecturer une plateforme On-Premise scalable et robuste, intégrée au socle existant - Choisir, configurer et déployer les briques Open Source : Kafka (streaming), NiFi (ingestion et orchestration de flux), Spark (traitement distribué), Iceberg (tables analytiques), Trino (requêtage SQL distribué) - Intégrer la plateforme avec Kubernetes, GitLab CI (pipelines de déploiement et tests) et Prometheus/OpenTelemetry (monitoring et observabilité) 2. Validation technique et faisabilité - Transformer quelques flux ETL existants pour démontrer la valeur ajoutée - Mettre en place des pipelines streaming (Kafka + Spark Structured Streaming) - Alimenter le datalake On-Premise (Iceberg + Trino) - Valider l'interopérabilité avec la plateforme Big Data GCP 3. Collaboration et transmission - Travailler avec l'équipe Data & IA (besoins métiers/techniques) et les équipes DevOps/Infrastructure (intégration au socle) - Documenter les choix techniques, architectures et bonnes pratiques - Former et accompagner les équipes internes sur les nouveaux outils

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

Rôle : Data Engineer Senior Databricks / GCP TJM : 430 € / jour Localisation : Meudon (3 jours par semaine sur site / 2 jours de télétravail) Date de début : ASAP Durée de la mission : Jusqu'au 31/12/2026 Contexte de la missionAu sein d'une équipe pluridisciplinaire (chefs de projet, architectes, DevOps, Data Engineers), vous interviendrez sur la conception et le développement de projets d'intégration de données à forte valeur ajoutée. Vos principales responsabilités incluent : Développement de jobs d'intégration de données en PySpark, Spark et Python (modes streaming et batch) sur la plateforme Databricks. Mise en œuvre du CI/CD (GitHub, DevOps, Databricks Asset Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs existants et des ressources Cloud (GCP et Databricks). Mise en place de Dashboards FinOps afin de suivre et piloter l'usage des ressources GCP / Databricks. Participation aux astreintes et au support en production de l'application. Assurer une formation continue, le partage de connaissances et la rédaction de la documentation technique. Compétences clés requisesDatabricks : Excellente maîtrise de l'administration, de la gestion des catalogues (Unity Catalog), de Delta Lake et de l'optimisation des performances. Technologies Data : Maîtrise approfondie de PySpark, Spark, Python, SQL et GIT. Cloud (GCP) : Bonne connaissance de l'écosystème Google Cloud Platform, notamment GCS, Pub/Sub, GKE et les outils d'Alerting. Qualités professionnellesEsprit d'équipe, curiosité intellectuelle et envie d'évoluer dans un environnement collaboratif. Excellente capacité à communiquer, à vulgariser et à partager vos connaissances avec les différents membres de l'équipe.