Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Dans le cadre du renforcement d'une équipe Gestion Courante Décisionnel / Datalake, vous intervenez sur un environnement Big Data permettant de collecter, traiter et valoriser des données issues de différents systèmes métiers. Votre mission principale consiste à assurer le maintien en conditions opérationnelles (MCO) des applications décisionnelles développées principalement en Spark / Scala, tout en participant à leurs évolutions. Vos principales responsabilités seront : Assurer le suivi quotidien des traitements Spark / Scala. Analyser et corriger les incidents applicatifs fonctionnels. Réaliser les éventuelles reprises et corrections de données associées aux incidents. Prendre en charge les évolutions applicatives confiées. Réaliser les tests des corrections et développements. Préparer et effectuer les livraisons en production. Rédiger et mettre à jour les spécifications techniques et fonctionnelles. Élaborer les plans et cas de tests. Mettre à jour la documentation et les outils de suivi de l'équipe. Assurer un reporting régulier auprès du chef de projet. Contribuer au maintien de la qualité de service (QOS) sur le périmètre applicatif.

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet

Le contexteDans le cadre du maintien en conditions opérationnelles et de l'évolution d'un environnement Big Data / Datalake décisionnel, nous recherchons un(e) Ingénieur Data Spark/Scala – Gestion courante afin d'accompagner l'un de nos clients sur des enjeux de suivi d'exploitation, correction d'incidents et évolution de traitements Data. Quelques éléments pour mieux comprendre l'environnement : Secteur d'activité : Assurance 🛡️ Organisation : Équipe de Gestion Courante Décisionnel au sein de la Direction des Études Enjeux : Assurer le maintien de la qualité de service sur un périmètre applicatif décisionnel développé en Spark/Scala, en assurant le suivi des traitements, la résolution des incidents et la mise en œuvre des évolutions. Ce que tu feras concrètementDans le cadre de cette mission, tu seras notamment amené(e) à : ➞ Assurer le suivi quotidien des traitements en Spark/Scala ➞ Analyser et corriger les incidents fonctionnels, avec leurs éventuelles reprises de données ➞ Réaliser les évolutions confiées sur le périmètre ➞ Tester les corrections d'incidents et les développements réalisés ➞ Mettre à jour la documentation et assurer la mise en production des corrections et développements Ton environnementTechnologies : Spark, Scala, Hadoop, Hive, HDFS, YARN, Oozie, Parquet, Kafka, Spark Streaming, MongoDB, JSON, Avro Outils : Cloudera, Git Bases de données : Oracle

Au sein de la Direction des Systèmes d'Information d'un groupe d'assurance de premier plan, vous intégrez l'équipe dédiée à la gestion courante et au pilotage du socle décisionnel. Dans un écosystème Big Data d'envergure collectant les données des différents back-offices métiers pour alimenter un lac de données (Data Lake) et un entrepôt communautaire hébergé sur une architecture de haute performance (Oracle Exadata), vous garantissez la continuité d'activité, la qualité de service et l'évolution des pipelines de traitement. Vos principales responsabilités : Suivi de production & exploitation : Assurer la supervision et le monitoring quotidien des chaînes de traitement de données distribuées (batch et streaming). Gestion des incidents & reprises de données : Diagnostiquer, instruire et résoudre les incidents fonctionnels et applicatifs sur les jobs Spark / Scala, en orchestrant les reprises de données nécessaires sans altérer la qualité de service. Maintenance évolutive & corrective : Développer et implémenter les correctifs et les évolutions mineures demandées par les métiers ou les équipes projets. Recette, tests et déploiements : Rédiger les plans de tests, exécuter les scénarios de validation unitaire et d'intégration, puis assurer la livraison sécurisée des patchs en environnement de production. Documentation & gouvernance : Rédiger les spécifications des correctifs, maintenir à jour la documentation d'exploitation et assurer un reporting rigoureux auprès du chef de projet.

Au sein d'une équipe Agile dédiée à des produits data innovants pour le réseau électrique, vous intervenez en tant que Lead Tech Data. Vous assurez le rôle de référent technique sur des sujets liés à la maintenance prédictive, la mobilité électrique et l'analyse des charges réseau. Vous concevez et maintenez des applications, API, dashboards et pipelines de données en Python. Vous contribuez au cadrage technique des projets, à leur industrialisation et à la qualité des réalisations : revues de code, tests, bonnes pratiques et intégration continue. Vous accompagnez également les développeurs et les Product Owners dans les choix techniques et la résolution des problématiques rencontrées.

Nous recherchons pour un de nos clients basé en IDF, un Analyste/Ingénieur Big Data Scala - Spark pour une mission freelance (longue visibilité) ContexteDans le cadre d'un appel d'offres , notre client recherche un Analyste / Ingénieur Big Data Scala - Spark pour renforcer une équipe en charge de la gestion et de l'exploitation d'une plateforme Big Data. Démarrage : Début novembre 2026 Missions :Au sein de l'équipe, vous interviendrez principalement sur : Le maintien en condition opérationnelle des traitements Big Data. Le suivi de production et l'exploitation quotidienne des flux de données. L'analyse et la correction des incidents. La fiabilisation et l'amélioration de la qualité des données. L'analyse technique de traitements existants. La compréhension et la reprise de développements conçus par d'autres équipes afin d'en assurer les corrections et évolutions.

Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif d'assurer une mission dans le cadre de notre transition vers une architecture Data Mesh. Nous recherchons un(e) Data Product Engineer spécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst. Votre mission sera de concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain métiers et les data owners. Missions clés : - Conception de flux de données et de Data Products Développement des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData ou encore Spark / Astronomer Documentation des pipelines d'ingestion de données Intégration des données dans l'écosystème Data Mesh Collaboration avec les domaines métiers pour identifier les sources de données et les cas d'usage. Développement des data products / data sets (vues & vues matérialisées) répondant à des cas d'usage identifiées avec les responsables de domaines métiers Développement des requêtes SQL optimisées pour Starburst (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet). Documentation les data products (métadonnées, ownership, qualité) Contribution à l'amélioration continue des data produts dans de la plateforme Starburst Mise en place des alertes et des dashboards pour le suivi des data products.

Vous rejoindrez notre équipe en charge du suivi de l'exploitation, de la correction des incidents applicatifs fonctionnels, développés en Spark Scala afin de contribuer au maintien de l'ensemble des applicatifs. Vos missions consisteront à contribuer : Assurer le suivi des traitements quotidien en SPARK SCALA, Analyser, corriger les incidents fonctionnels confiés avec les reprises de données afférentes, Réaliser les évolutions confiées, Tester les corrections d'incidents ou autres développements, Mise à jour de la documentation, Livrer en production les corrections ou autres développements, Reporting régulier Les livrables attendus sont les suivants: Spécifications des corrections ou autre développements, Plan et cas de tests, Mise à jour de la documentation Mise à jour du suivi interne,

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Description et livrables de la prestation Le Data Engineer est un développeur au sein de l'équipe Engineering Open Big Data du Département Guilde Data, qui regroupe l'ensemble des expertises technologiques liées à l'ingénierie de la donnée, de l'automatisation et à l'exploitation des modèles de Machine Learning. Votre rôle et vos missions : Vous aurez pour missions principales de développer les projets Big Data demandés par le métier, et notamment : • Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requêtables dans le Datalake • Consolider ces données au fur et à mesure de leur alimentation récurrente dans le Datalake • Les exploiter pour atteindre la finalité business (exposition de Business View, réintégration des résultats dans le SI, service de scoring, …) • De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.) • Accompagner les Data Engineers sur son périmètre pour garantir la qualité des livrables

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 3 ans minimum Vous aimez autant comprendre ce que fait un pipeline que travailler sur la techno qui le fait tourner ? Nous recherchons un·e Data Engineer / Développeur Big Data Spark pour rejoindre un projet qui offre une trajectoire technique intéressante : moderniser progressivement un SI Data existant, puis participer à sa migration vers Databricks dans le cloud. L'enjeu n'est donc pas de repartir d'une feuille blanche. Vous travaillerez d'abord sur l'existant, comprendrez les flux et leurs enjeux métier, puis contribuerez à construire leur cible Big Data et Cloud. Votre terrain de jeu : moderniser l'existant avant de construire la cible Cloud Votre mission s'articulera autour de deux grandes étapes. 1/ Migrer progressivement les traitements vers Spark Vous commencerez par vous approprier les flux de données existants et les processus métier associés. Concrètement, vous allez : - migrer des traitements Informatica et PL/SQL vers Spark en Java - concevoir, développer et maintenir des pipelines de données - optimiser les traitements existants en travaillant notamment sur leur performance et leur robustesse - assurer la maintenance corrective et évolutive des traitements SQL / PL-SQL - intervenir sur le BUILD comme sur le RUN, afin de comprendre le fonctionnement des traitements de bout en bout - veiller à la qualité et à la fiabilité des données produites. L'objectif : faire évoluer progressivement le patrimoine existant vers une architecture Big Data plus moderne, sans perdre la connaissance métier portée par les traitements historiques. 2/ Participer à la migration vers Databricks Une fois cette première étape engagée, vous participerez à un projet stratégique de migration vers le Cloud avec Databricks. Vous contribuerez notamment à : - concevoir les futurs pipelines de données sous Databricks - participer aux choix de conception et d'architecture - industrialiser les nouveaux traitements - faire évoluer les pratiques de développement et d'exploitation autour de cette nouvelle plateforme. Vous aurez donc l'occasion de travailler sur l'existant et sa transformation, plutôt que d'intervenir uniquement sur la maintenance ou uniquement sur la cible.

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 3 ans minimum Vous aimez autant comprendre ce que fait un pipeline que travailler sur la techno qui le fait tourner ? Nous recherchons un·e Data Engineer / Développeur Big Data Spark pour rejoindre un projet qui offre une trajectoire technique intéressante : moderniser progressivement un SI Data existant, puis participer à sa migration vers Databricks dans le cloud. L'enjeu n'est donc pas de repartir d'une feuille blanche. Vous travaillerez d'abord sur l'existant, comprendrez les flux et leurs enjeux métier, puis contribuerez à construire leur cible Big Data et Cloud. Votre terrain de jeu : moderniser l'existant avant de construire la cible Cloud Votre mission s'articulera autour de deux grandes étapes. 1/ Migrer progressivement les traitements vers Spark Vous commencerez par vous approprier les flux de données existants et les processus métier associés. Concrètement, vous allez : - migrer des traitements Informatica et PL/SQL vers Spark en Java - concevoir, développer et maintenir des pipelines de données - optimiser les traitements existants en travaillant notamment sur leur performance et leur robustesse - assurer la maintenance corrective et évolutive des traitements SQL / PL-SQL - intervenir sur le BUILD comme sur le RUN, afin de comprendre le fonctionnement des traitements de bout en bout - veiller à la qualité et à la fiabilité des données produites. L'objectif : faire évoluer progressivement le patrimoine existant vers une architecture Big Data plus moderne, sans perdre la connaissance métier portée par les traitements historiques. 2/ Participer à la migration vers Databricks Une fois cette première étape engagée, vous participerez à un projet stratégique de migration vers le Cloud avec Databricks. Vous contribuerez notamment à : - concevoir les futurs pipelines de données sous Databricks - participer aux choix de conception et d'architecture - industrialiser les nouveaux traitements - faire évoluer les pratiques de développement et d'exploitation autour de cette nouvelle plateforme. Vous aurez donc l'occasion de travailler sur l'existant et sa transformation, plutôt que d'intervenir uniquement sur la maintenance ou uniquement sur la cible.

Au sein d'une équipe Agile dédiée à des produits innovants pour le réseau électrique, vous intervenez en tant que Lead Tech Java / Angular. Vous assurez le rôle de référent technique sur des applications web et des sujets data liés notamment à la maintenance prédictive, à la mobilité électrique et aux charges réseau. Vous concevez, développez et maintenez des applications Java Spring Boot et Angular. Vous participez au cadrage fonctionnel et technique, accompagnez les Product Owners, réalisez les revues de code et garantissez la qualité, la sécurité et la maintenabilité des solutions. Vous intervenez sur l'ensemble du cycle de vie des projets, du POC à la mise en production, tout en accompagnant techniquement les équipes.

La mission consiste à intervenir sur un projet stratégique de gestion des risques climatiques et physiques, visant à ingérer, agréger, traiter et exposer des données issues de sources multiples afin d'alimenter des reportings métiers liés à la surveillance du risque de crédit. Le consultant participera à la conception, au développement et à l'intégration de solutions Data reposant sur Python, Spark et Google Cloud Platform (GCP), notamment BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et GCS. Il contribuera également à l'industrialisation et au maintien en conditions opérationnelles des traitements, à la qualité et à la sécurité des données, ainsi qu'aux activités DevOps et d'automatisation à travers XLD, Terraform et Jenkins.

Dans le cadre d'un renforcement d'une équipe Data pour un de nos clients, nous recherchons un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d'industrialisation des plateformes Data. Vous participerez à la conception, au développement et à l'optimisation de pipelines de données robustes, performants et scalables, dans des environnements Lakehouse et Cloud. Vos principales responsabilités seront : Concevoir, développer et maintenir des pipelines de données sur Databricks. Développer des traitements distribués avec Apache Spark / PySpark. Assurer l'ingestion, la transformation et la mise à disposition des données. Concevoir et faire évoluer les différentes couches d'un Data Lake / Lakehouse. Mettre en œuvre les bonnes pratiques Medallion Architecture. Travailler avec Delta Lake / Delta Tables. Participer à la conception et à l'évolution de l'architecture Data. Optimiser les performances et la scalabilité des traitements. Industrialiser les développements et les déploiements. Mettre en place et maintenir les pipelines CI/CD. Utiliser Git pour la gestion, le versioning et la revue du code. Contribuer à l'automatisation et, lorsque nécessaire, aux pratiques Infrastructure as Code. Participer à l'amélioration continue de la plateforme Data et aux choix techniques.