Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Mission : Data Engineer Confirmé – Python / Spark / Databricks / AWS Dans le cadre de l’évolution d’une plateforme Data centralisée, nous recherchons un Data Ingénieur confirmé pour intervenir sur le développement et l’optimisation de pipelines de données dans un environnement Big Data et Cloud AWS. Stack technique : Python • Spark • Databricks • SQL AWS (S3, Airflow, Glue, CloudWatch) Git • CI/CD • Agile / Scrum ✅ Profil recherché : Expérience confirmée en Data Engineering Bonne maîtrise de Spark / Databricks Expérience Cloud AWS

Dans le cadre du renforcement d’une équipe projet Data, nous recherchons un chef de projet Data senior pour notre client engagé dans une mise en place d’une Data Platform . L’objectif est de reprendre la maîtrise technique en interne en constituant une équipe d’experts, avec un appui initial de prestataires externes. Dans ce cadre, un projet stratégique autour de la connaissance des usages et de la mobilité est en cours de refonte de réalisation "mode agile" et en lien avec plusieurs équipes techniques et métiers. Missions principales : Pilotage de projet en méthodologie Agile Gestion du backlog et animation des sprints (JIRA) Coordination d’équipes pluridisciplinaires : Data Engineer, Data Viz, UX/UI, OPS/métiers. Animation des rituels Agile (daily, comités, ateliers) Suivi des charges, priorités et budgets Contribution aux choix stratégiques Supervision des tests et du delivery Maintien en condition opérationnelle (MCO) Environnement technique: Cloud & Data : Azure Data Factory, Data Lake Traitement Data : Spark, Databricks Langages : Python, Scala, SQL Data Viz : Power BI CI/CD & outils : Jenkins, Git, Maven, Ansible Gouvernance & communication : Remonter les informations clés aux équipes de pilotage et sponsors Participer aux instances de gouvernance (comités projet, tribu, etc.) Contribuer aux orientations et choix stratégiques Organisation agile : Animer l’ensemble des cérémonies Agile (daily, sprint planning, review, retrospective) Piloter le backlog : priorisation, chiffrage et réestimation du reste à faire Garantir la bonne application des pratiques Agile

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. 📍 Localisation Si vous etes localisé à Nantes, vous serez rattaché(e) au site de Nantes avec 2 jours de déplacement par mois requis sur le site de Vannes. Si vous etes localisé(e) à Vannes vous serez rattaché (e) au site de Vannes Mission longue Vos missions : Vous interviendrez sur l’ensemble du cycle de vie des produits Data : Participation à la définition de l’architecture Data , en lien avec les architectes et les équipes projet Conception, développement et optimisation des solutions de collecte et de stockage de données (multi-sources) Mise à disposition des données pour les usages métiers Mise en œuvre de tests unitaires et automatisés Déploiement des solutions sur les différents environnements Suivi du bon fonctionnement en production : support, assistance, gestion des incidents Contribution à l’ amélioration continue des pratiques (qualité du code, performance, fiabilité)

Dans le cadre du renforcement de sa Data Factory, un grand groupe international accélère la structuration de sa plateforme data sur Microsoft Azure avec un usage central de Databricks pour le traitement, la transformation et la valorisation des données. L’environnement s’inscrit dans une logique Data Lake , organisation Bronze / Silver / Gold et montée en maturité data à l’échelle groupe. Mission L’Architecte Data interviendra sur la conception et l’industrialisation de la plateforme data Azure. Ses responsabilités principales : Concevoir et faire évoluer l’architecture data sur Azure Structurer et optimiser les pipelines data via Databricks (Spark) Mettre en place les traitements de transformation et d’agrégation Modéliser les données pour les usages analytiques Garantir performance, scalabilité et qualité des flux Participer aux ateliers de cadrage technique avec les équipes métiers et IT Contribuer aux standards d’architecture et aux bonnes pratiques data Compétences clés (Must Have) Databricks (obligatoire) Azure (Data Lake, Synapse, Data Factory) Spark / PySpark SQL avancé Architectures Data Lake – Bronze / Silver / Gold Conception de pipelines data industrialisés Modélisation Data Warehouse Compétences appréciées (Nice to Have) Power BI DAX MDM (Master Data Management) Data Quality / Gouvernance Data Mesh Azure DevOps / Git ERP (SAP) Profil recherché 5 à 10 ans d’expérience en Data Engineering / Architecture Data Expérience confirmée sur des environnements Azure + Databricks Capacité à intervenir sur des environnements data complexes Autonomie technique et posture structurante Bon relationnel et capacité à challenger les choix d’architecture Environnement de travail Cloud : Microsoft Azure Traitement data : Databricks, Spark Stockage : Azure Data Lake Gen2 Orchestration : Azure Data Factory BI (selon besoins) : Power BI Gouvernance (selon périmètre) : MDM / Data Quality Conditions de la mission Lieu de la mision : Paris Mission longue : 6 à 12 mois renouvelables Temps plein Télétravail partiel possible Démarrage rapide TJM : 450-550€

Dans le cadre de notre besoin, nous recherchons un profil hybride associant : Une expertise confirmée en développement mobile React Native, et une compétence en Data Engineering sur Azure / Databricks. La mission repose principalement sur la maintenance évolutive et corrective d’une application mobile développée en React Native. En fonction de la charge de travail sur la partie front, le consultant pourra également intervenir sur les traitements back/data, notamment sur les pipelines et notebooks Databricks sur le cloud Azure. Informations complémentaires : - Démarrage souhaité : ASAP - Conscients que ce type de profil hybride est rare, nous vous remercions de ne proposer que des candidats répondant strictement aux critères décrits dans la fiche de mission. - 3 jours obligatoire sur site ANALYSE : Participe à l'analyse fonctionnelle détaillée des besoins utilisateurs et peut être sollicité pour des ateliers de définition des spécifications générales Étudie les opportunités et la faisabilité technologique de l'application, réalise l'analyse technique, l'étude détaillée et contribue à l'estimation des charges CONCEPTION ET DÉVELOPPEMENT : Contribue au design du logiciel et des frameworks utilisés dans le cadre du projet Adapte et applique les paramètres techniques des progiciels ou des middlewares Réalise le prototypage Analyse et développe les composants en utilisant les langages appropriés Participe à la structuration des Bases de Données Participe à la revue croisée des développements de ses pairs Initialise le dossier d'exploitation Assemble les composants unitaires dans un package applicatif cohérent destiné au déploiement de la solution et l'intègre à la gestion de configuration Documente les applications pour les développements ultérieurs et la Mise en Production (MEP) Harmonise et industrialise l'ensemble des composants et applications Utilise les composants logiciels réutilisables et met à jour la nomenclature RECETTE UNITAIRE ET TESTS D'INTÉGRATION : Responsable des tests unitaires : élaboration des jeux d'essais et réalisation Teste, identifie et traite les dysfonctionnements éventuels du logiciel développé Vérifie la conformité de l'ouvrage avec la demande formulée Contribue à la préparation et à la réalisation des tests d'intégration Analyse les résultats et rédige le rapport de tests MAINTENANCE : Réalise les développements nécessaires à la maintenance corrective et évolutive Participe à l'analyse et à la résolution des incidents de production Compétences techniques : React Native - Expert - Impératif Databricks - Confirmé - Impératif Spark - Confirmé - Impératif SQL - Confirmé - Impératif

CONTEXTE DU POSTE : Nous recherchons pour notre client Grand-Compte un DevOps streaming Data. Vous intégrerez le pôle technologique en charge de concevoir et d’opérer des plateformes « as a service » permettant le déploiement d’architectures modernes, distribuées et hautement résilientes pour l’ensemble des entités du Groupe. MISSIONS PRINCIPALES : Industrialiser et automatiser les déploiements (Ansible) Mettre en production de nouveaux clusters Kafka et faire évoluer les clusters existants (scale horizontal & vertical) Participer à la définition des architectures des futures briques de la plateforme Streaming Apporter une expertise technique aux utilisateurs de la plateforme Développer des prototypes en lien avec les cas d’usage métiers Documenter les offres et démontrer la valeur des solutions Data

Vous rejoignez la direction des systèmes d’information d’un acteur majeur du secteur de la construction. L’équipe IT Architecture accompagne la transformation digitale et veille à la cohérence du système d’information du groupe. Vous intervenez comme architecte référent sur un domaine métier stratégique, garantissant l’alignement entre besoins métiers et solutions techniques. Mission principale Assurer la cohérence architecturale du SI. Accompagner la transformation digitale des métiers. Être l’interlocuteur privilégié pour les sujets majeurs et stratégiques de votre périmètre. Activités principales Accompagnement métier et aide à la décision Élaborer l’architecture fonctionnelle cible du SI, en cohérence avec la stratégie digitale et métier. Comprendre les processus métiers pour accélérer la génération de valeur via le SI. Accompagnement projet Contribuer à la conception et à l’évolution des systèmes applicatifs sur votre périmètre. Gestion de la cartographie et des référentiels Maintenir la cartographie de domaine (référentiels, catalogue de données, flux, APIs). Gérer les référentiels d’architecture d’entreprise (objets métiers, applications, processus, flux). Patrimoine applicatif et obsolescence Garantir la qualité du patrimoine applicatif en tant que Business Process Owner. Piloter les plans d’actions liés à l’obsolescence technique. Promotion de l’architecture et management transverse Promouvoir les orientations architecturales auprès des directions métiers. Encadrer une ressource et animer les responsables de domaine pour le maintien des référentiels.

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Streaming / Real-Time pour concevoir, optimiser et industrialiser des plateformes de traitement de données en temps réel. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines événementiels, optimisation des traitements stream, passage vers des architectures plus scalables et résilientes) et guiderez leur mise en œuvre avec Kafka, Flink, Spark Streaming ou équivalents. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation en temps réel, de l’amélioration des performances et de l’intégration de mécanismes de tolérance aux pannes et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de streaming et d’event-driven architecture. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.

Architecte Data / Cloud Senior (Expert)🎯 Contexte & Enjeux Dans le cadre de la transformation de notre client (Secteur d' Assurance) vers un Système d’Information Data Centric , nous recherchons un(e) Architecte Data / Cloud Senior capable d’accompagner la modernisation de notre infrastructure Data On-Premise et Cloud. Cette transformation stratégique vise à bâtir un SI : Agile Évolutif Résilient Orienté données Aligné avec nos enjeux long terme L’expert(e) interviendra en transverse auprès des équipes MOA, Techlead, Développeurs et DBA afin de garantir une intégration fluide des architectures Data modernes. 🎯 Objectifs de la mission Évaluer l’architecture existante et recommander les meilleures pratiques Data / Cloud Concevoir et mettre en œuvre une architecture Data Centric robuste et scalable Définir et implémenter les patterns Data (Batch, Streaming, Event-driven, Microservices data, etc.) Assurer l’intégration cohérente des environnements On-Premise et Cloud Accompagner les équipes internes (MOA, Tech, DBA) Garantir la sécurité, la gouvernance et la performance des données Assurer le transfert de compétences Produire une documentation complète (HLD, LLD, DAT, schémas d’architecture) 📦 Livrables attendus Dossier d’architecture cible (HLD/LLD) Schémas d’urbanisation Data Blueprint Data/Cloud (multi-cloud / hybrid) Recommandations techniques formalisées Plan de migration On-Premise → Cloud Documentation des pipelines Data Guide de bonnes pratiques Support aux équipes techniques Plan de gouvernance et sécurité des données 🛠 Responsabilités principales Définir l’architecture Data (Batch & Streaming) Mettre en œuvre des pipelines temps réel (Kafka, Spark Streaming, Beam) Concevoir des architectures multi-cloud (AWS, GCP, Azure, Oracle Cloud) Intégrer les solutions NoSQL (CouchDB, MongoDB) Concevoir des architectures sécurisées (Keycloak, IAM, RBAC) Superviser les choix techniques liés aux bases Oracle Accompagner l’industrialisation sous OpenShift Garantir la performance, la scalabilité et la résilience 👤 PROFIL RECHERCHÉ🎓 Formation Bac+5 (Ingénieur / Master en Informatique / Data / Cloud) Minimum 8 à 10 ans d’expérience dont plusieurs années en architecture Data

Contexte de la mission : Pour un besoin interne , nous recherchons un Expert Spark Data Engineer La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence construite sur une architecture comprenant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur l’infrastructure OVH. Volumétrie cible : 350 bases de données 5 000 requêtes par seconde 1 To par an Tâches à réaliser : Analyse et état des lieux technique Préconisations d'amélioration : Amélioration Spark streaming + temps réel + dimensionnement infra Préconisations d'amélioration : Dimensionnement infra pour le streaming temps réel. Préconisations d'amélioration : Dimensionnement MongoDB & structuration de la donnée (standardisation des patterns) Document d'architecture cible & de préconisations

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. Data Ingénieur - Expert Spark H/F Vous êtes passionné·e par les architectures de données à grande échelle et le traitement temps réel ? Ce poste est fait pour vous. En tant qu' Expert Spark Data Engineer , vous êtes responsable de l'analyse, de l'optimisation et de l'évolution de notre pipeline de données au cœur de notre écosystème BI et statistiques. Côté build Conception et préconisations d'architecture Réaliser l'analyse et l'état des lieux technique de la solution existante (Kafka Connect, Spark, Kubernetes, MongoDB sur OVH) Produire les préconisations d'amélioration du Spark streaming pour le traitement temps réel Définir le dimensionnement infrastructure adapté au streaming temps réel (350 bases, 5 000 req/s, 1 To/an) Proposer une stratégie de dimensionnement MongoDB et de structuration de la donnée (standardisation des patterns) Rédiger le document d'architecture cible et le dossier de préconisations Côté run Optimisation et maintien en condition opérationnelle Assurer la fiabilité et la performance du pipeline de données en production sur l'infrastructure OVH Superviser les flux Kafka Connect et garantir la continuité du traitement des données entrantes Monitorer les performances Spark et intervenir sur les axes d'optimisation identifiés Veiller à la cohérence et à la qualité de la donnée stockée dans MongoDB Participer aux revues techniques et accompagner les équipes internes ENOVACOM dans la montée en compétences C'est votre parcours Vous avez au moins 5 ans d'expérience dans des environnements Data Engineering exigeants, avec une forte exposition aux architectures de traitement temps réel et à la gestion de volumétries importantes. Vous aimez diagnostiquer, optimiser et concevoir sans jamais cesser d'innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C'est votre expertise Apache Spark – maîtrise avancée du streaming et du batch, tuning et optimisation des performances MongoDB – modélisation, structuration de la donnée et bonnes pratiques de dimensionnement Kafka / Kafka Connect – conception et exploitation de pipelines de données en flux continu Déploiement Apache Spark sur Kubernetes – configuration, orchestration et gestion des ressources OVH Cloud – déploiement et exploitation d'infrastructures cloud dans un contexte de production C'est votre manière de faire équipe Capacité d'analyse et de synthèse : vous transformez des états des lieux complexes en préconisations actionnables Rigueur documentaire : vos livrables (architecture cible, dossiers techniques) sont clairs et exploitables Posture conseil : vous savez challenger l'existant et proposer des axes d'amélioration concrets Esprit de collaboration : vous travaillez en proximité avec les équipes internes et partagez vos expertises Autonomie et sens des priorités dans un environnement technique à fort enjeu de performance C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Marseille Contrat : CDI Télétravail : Hybride Salaire : De 40000 € à 45000 € (selon expérience) brut annuel Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Localisation : Bretagne Présence sur site minimum 3 jours par semaine Candidatures locales privilégiées Contexte Au sein d’un Chapitre Data intervenant en transverse dans l’entreprise, vous contribuez à la fabrication des cas d’usage Data portés par différentes Squads métiers. Vous évoluez dans un environnement collaboratif avec des interlocuteurs variés et participez activement aux échanges avec les membres du Chapitre présents sur d’autres sites en France. Missions Participer à la définition de l’architecture Data avec les architectes et les Squads Concevoir et développer des solutions de collecte, transformation et stockage de données issues de multiples sources Développer des pipelines Spark batch et Spark Streaming Mettre en place les tests unitaires et automatisés Déployer les solutions dans les différents environnements Assurer le suivi en production et la gestion des incidents Être force de proposition et contribuer à l’amélioration continue Environnement technique Spark (batch et streaming) indispensable SQL indispensable Scala apprécié Kafka apprécié Java et Shell appréciés Stack Hadoop Cloudera HDFS, Hive, HBase, Phoenix, MongoDB Git, Jenkins, Artifactory, XL Release ELK, Grafana Méthodologie Scrum Connaissances appréciées Outils de data visualisation tels que MicroStrategy, Power BI ou Tableau Profil recherché Expérience confirmée en Data Engineering Big Data Solide maîtrise de Spark dans un environnement Hadoop / Cloudera Capacité à évoluer en contexte transverse Soft skills attendues Autonomie Adaptabilité Bonne communication Capacité à challenger les besoins Prise de lead et force de proposition

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations