Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Ne postulez pas si vous ne justifiez pas d'au moins 5 ans d'expérience et d'une parfaite maîtrise de Python et de Spark. Contexte de la mission Dans le cadre du renforcement de ses équipes Data, notre client, acteur majeur du secteur des services financiers, recherche un Data Engineer Scala ou Python / Spark. Vous intégrerez une équipe technique en charge de la conception, du développement et de la maintenance de solutions de traitement et d'exploitation de données à grande échelle. Missions principales Concevoir, développer et maintenir des pipelines de traitement de données. Développer des traitements distribués avec Apache Spark en Scala ou Python. Participer à la collecte, à la transformation et à l'intégration de données provenant de différentes sources. Optimiser les performances et la fiabilité des traitements Data. Garantir la qualité, la cohérence et la disponibilité des données. Participer à l'industrialisation et à l'automatisation des flux de données. Collaborer avec les équipes Data, IT et métiers. Contribuer aux bonnes pratiques de développement, de documentation et de mise en production. Compétences techniques requises Bonne maîtrise de Scala ou Python. Expérience significative avec Apache Spark. Bonne connaissance des architectures et traitements Big Data. Maîtrise des concepts ETL / ELT et des pipelines de données. Bonne compréhension des bases de données SQL. Connaissance des environnements distribués. Utilisation de Git et des bonnes pratiques de développement.

Nous rec herchons un(e) Data Engineer Hadoop Spark Scala capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : at9p10muxy

#StormYourCareer ✨ Rejoins STORM GROUP et construis ta carrière avec nous ! Aligne les enjeux métiers et les solutions SINous recherchons un(e) Développeur(se) Java Spark pour renforcer nos équipes et accompagner l'évolution des moteurs de calcul de risques de nos clients. Au cœur d'un environnement de calcul distribué à haute performance, ton rôle consistera à concevoir, implémenter et déployer des métriques analytiques complexes dédiées à la gestion des risques financiers sur des technologies Big Data de pointe. Ton futur environnementTu évolueras au sein d'un pôle d'ingénierie financière et technologique de haut niveau, en prise directe avec les problématiques de gestion des risques de marché et de contrepartie. Intervenant sur des architectures massives manipulant des produits dérivés, tu seras le garant de la scalabilité des traitements et de la fiabilité des indicateurs produits. C'est le cadre idéal pour exprimer ton expertise en développement Big Data (Java, Spark, Hadoop), optimiser des pipelines de données transactionnels complexes et relever des défis analytiques à forte valeur ajoutée métier. Tes missions clésIngénierie Big Data & Calcul de Risque : Concevoir et mettre en place des métriques analytiques avancées liées au risque de contrepartie, et plus spécifiquement au risque de règlement (Settlement Risk). Piloter l'évolution fonctionnelle et l'optimisation des moteurs de calcul du risque de contrepartie sur les portefeuilles de produits dérivés. Développer les composants logiciels de la chaîne de risques, en assurant une distribution fluide, performante et sécurisée des données calculées. Gestion des Données & Qualité : Concevoir et déployer des indicateurs de qualité de données pour valider la pertinence et la conformité des résultats financiers produits. Assurer l'intégration, le requêtage performant et le croisement des flux de données entre l'écosystème Big Data et les bases de données relationnelles (Oracle, PostgreSQL). Tests, Déploiement & Industrialisation : Mettre en œuvre des stratégies de tests unitaires et d'intégration rigoureuses pour sécuriser les algorithmes de calcul distribué. Prendre en charge le déploiement opérationnel des composants développés et assurer leur intégration continue dans les environnements de production. Ton profilFormation : Diplôme d'Ingénieur ou Bac+5 spécialisé en informatique, ingénierie des données ou mathématiques financières. Expérience : Tu justifies d'une expérience significative et réussie en informatique décisionnelle ou ingénierie Big Data, idéalement acquise dans le secteur bancaire (BFI / CIB) ou de la finance de marché. Expertise Big Data Impérative : Perfecte maîtrise de l'écosystème Hadoop et du framework de calcul distribué Spark. Développement Backend Impératif : Excellentes compétences de programmation en Java appliqué au traitement de volumes massifs de données. Gestion de Données Impérative : Solide maîtrise des bases de données relationnelles et du langage SQL, spécifiquement sur les environnements Oracle et PostgreSQL. Langues : Anglais professionnel opérationnel. Tes atoutsRigueur de Développement : Discipline absolue dans la structuration du code et l'écriture des tests pour garantir l'exactitude des calculs réglementaires. Esprit Analytique et Financier : Capacité à appréhender des concepts mathématiques ou des cinématiques financières (risques de contrepartie, produits dérivés) pour les traduire en solutions techniques optimales. Autonomie et Orientation Résultats : Aptitude à prendre en charge un flux complexe de bout en bout, depuis la phase d'analyse de la donnée jusqu'à sa mise en production. Nos avantagesRemboursement des titres de transport à hauteur de 75%. Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5€ / jour). Accès Gymlib / Wellpass (sport et bien-être). Contrat Santé / Prévoyance mis en place auprès de la compagnie Alan. Formation continue : Accès à Udemy Business. Prime de cooptation, prime d'intéressement et de participation. Deux à trois jours de télétravail par semaine. 5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions. Missions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise. Suivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue. Excellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant. Performance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie. Notre processus de sélectionÉchange introductif avec un chargé de recrutement. Entretien métier avec évaluation technique approfondie. Rencontre finale pour validation du fit et projection sur la mission. Storm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.

Participer à la conception des architectures Data et aux choix techniques. Assurer l'orchestration des flux de données et l'industrialisation des traitements. Mettre en œuvre les pratiques CI/CD et les processus de déploiement. Réaliser les tests unitaires, garantir la qualité du code et contribuer aux mises en production. Participer à l'optimisation des performances et à la fiabilisation des traitements. Collaborer avec les équipes techniques et métiers dans un environnement Agile. Contribuer à la résolution des incidents et à l'amélioration continue des pipelines de données. Environnement techniqueCompétences indispensables : Scala Apache Spark Hadoop Databricks Compétences complémentaires : PySpark et Python AWS Apache NiFi Shell Unix Git / GitHub CI/CD et industrialisation des traitements Data

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé, pour rejoindre une équipe qui construit les socles de données au service de l'intelligence artificielle. Vous participerez à la mise en production de cas d'usage IA à forte valeur ajoutée, en lien étroit avec les équipes Data Science. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables pour alimenter les cas d'usage d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Collaborer avec les équipes Data Science / ML pour transformer les modèles en services de production (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, data lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Garantir la sécurité des flux et la gouvernance de la donnée (catalogue, lineage). Environnement : Python, PySpark, Scala/Java, Spark, Kafka, Oracle, Clickhouse, S3, Airflow, Dagster, Docker, CI/CD. Vous êtes recruté en CDI cadre chez Ingéniance, au sein d'une communauté d'experts de la data et de la finance. Ref : O-RPIRS

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer expert. Vous rejoignez une plateforme de données dédiée aux activités de marché, au cœur de use cases d'intelligence artificielle. Vous travaillez au quotidien avec des équipes Data Science et ML sur des sujets à fort enjeu. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables qui alimentent des use cases d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Accompagner les équipes Data Science/ML dans la mise en production des modèles (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, Data Lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Veiller à la sécurité des flux et à la gouvernance de la donnée (catalogue, lineage). Vous êtes recruté en CDI cadre chez Ingéniance et vous rejoignez une communauté d'experts de la data et de la finance de marché. Ref : O-LWDVQ

Qui sommes-nous ?Anafi Consulting est un cabinet de conseil spécialisé dans les transformations technologiques et organisationnelles. Nous accompagnons nos clients grands comptes dans leurs projets stratégiques autour de la Finance, de la Data, du Cloud, du DevOps et du développement applicatif, en combinant expertise technique, compréhension métier et qualité du delivery. Votre rôleDans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e) Data Engineer Senior / Lead spécialisé(e) dans les technologies Apache Spark, Scala et Azure Databricks. Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour des données de marché et des reportings financiers réglementaires. Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production. Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes. Vos missions principales Data Engineering & Traitement de donnéesConcevoir et développer des pipelines de traitement de données avec Apache Spark et Scala. Collecter, transformer et consolider des données issues de sources multiples. Développer des traitements distribués pour des volumes importants de données financières. Mettre en œuvre des contrôles de qualité et de cohérence des données. Automatiser les traitements de rapprochement et les calculs financiers. Garantir la fiabilité et la traçabilité des données produites. Architecture Data Lake & AzureParticiper à la conception et à l'évolution d'architectures Data Lake sur Microsoft Azure. Mettre en œuvre des solutions Delta Lake selon une architecture médaillon Bronze / Silver / Gold. Développer et maintenir des traitements sur Azure Databricks. Contribuer à l'optimisation du stockage et de l'exploitation des données sur Azure Data Lake Storage Gen2. Participer aux projets de modernisation et de migration des plateformes Data. Performance & Optimisation SparkOptimiser les performances des traitements Spark. Analyser les plans d'exécution et améliorer les stratégies de partitionnement. Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations. Participer aux migrations et montées de version des environnements Spark. Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines. Données financières & Reporting réglementaireDévelopper des traitements de calcul et d'agrégation de données financières. Contribuer à la production de reportings réglementaires tels que NSFR et COREP. Participer à la fiabilisation des données de marché et des référentiels financiers. Développer des mécanismes de rapprochement entre différentes sources de données. Garantir la qualité et la non-régression des calculs. Industrialisation & DevOpsIndustrialiser les traitements Data à travers des pipelines CI/CD. Automatiser les tests unitaires et d'intégration. Participer au déploiement des applications sur Kubernetes / AKS. Utiliser Helm pour la gestion des déploiements. Contribuer à l'amélioration continue des pratiques de développement et de livraison. Expertise technique & AccompagnementParticiper aux choix d'architecture et aux orientations techniques. Accompagner les ingénieurs Data dans leur montée en compétence. Réaliser des revues de code et promouvoir les bonnes pratiques de développement. Collaborer avec les équipes métiers, Data Analysts et équipes IT. Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques. Environnement techniqueData Engineering & Big Data Scala Apache Spark Azure Databricks Delta Lake SQL Cloud & Stockage Microsoft Azure Azure Data Lake Storage Gen2 (ADLS) Architecture Data Lake Architecture médaillon Bronze / Silver / Gold Bases de données & Restitution ClickHouse OpenSee DevOps & Industrialisation Jenkins GitHub Kubernetes / Azure AKS Helm Oozie CI/CD Développement Java Spring Boot Angular Qualité & Performance Tests unitaires et d'intégration Optimisation Spark Partitionnement et shuffle Monitoring des traitements Qualité et fiabilité des données

Nous recherchons un(e) Tech Lead Java/Spark passionné(e) pour piloter nos projets Big Data et accompagner montée en compétences de notre équipe technique. Vos missions : Conception & Architecture : Concevoir et développer des pipelines de données robustes et scalables (Java / Spark). Leadership Technique : Guider l'équipe, animer les revues de code et garantir l'application des bonnes pratiques (Clean Code, CI/CD). Cadrage & Collaboration : Travailler en étroite collaboration avec les architectes et le Product Owner pour valider les choix techniques. Optimisation : Assurer la performance et la fiabilité des traitements de données à grande échelle.

Le contexte Dans le cadre de l'exploitation et de la fiabilisation de plateformes Data, nous recherchons un(e) Ingénieur DataOps afin d'accompagner l'un de nos clients sur des enjeux de disponibilité, de cohérence et de maintien en conditions opérationnelles des environnements Data. Quelques éléments pour mieux comprendre l'environnement : Secteur d'activité : 🛡️ Assurance Organisation : Tu travailleras en collaboration avec les équipes de développement Data, de production et les clients des produits Data, sous la responsabilité du responsable des environnements. Enjeux : Garantir la disponibilité et la fiabilité des environnements hors production (DEV, RCT, PREPROD), assurer la bonne exécution des traitements Data et contribuer à l'automatisation des opérations techniques. Ce que tu feras concrètement Dans le cadre de cette mission, tu seras notamment amené(e) à : ➞ Réaliser les opérations de refresh des données sur les différents environnements et assurer leur cohérence. ➞ Effectuer les installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle et scripts Shell. ➞ Assurer la synchronisation des environnements en contrôlant les versions applicatives, logicielles, configurations et paramétrages. ➞ Construire et maintenir des dashboards de monitoring afin de suivre les exécutions, les volumes et les indicateurs des environnements. ➞ Développer et automatiser des outils et scripts pour contrôler les écarts entre environnements, valider les installations et les refresh, et vérifier la cohérence des bases de données. ➞ Assurer le maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi des batchs OPCON et relance des traitements. ➞ Mettre en place et assurer le suivi de l'alerting et du reporting. Ton environnement Technologies : Oracle PL/SQL, Scala, Spark, Hadoop, MongoDB, Google Cloud. Outils : OPCON, Elasticsearch, Logstash, Kibana (ELK), Git, Shell Linux. Méthodologies : Exploitation et maintien en conditions opérationnelles, automatisation des procédures, monitoring et observabilité.

#StormYourCareer Rejoins STORM GROUP et grandis avec nous ! Pilote la transformation Big Data du pôle Actuariat et modernise les chaînes de production financière vers DatabricksDans le cadre d'un projet stratégique de transformation Data chez l'un de nos grands comptes du secteur de l'assurance, nous recherchons un(e) Business Analyst & Data Engineer Big Data. Au sein des équipes SI Actuariat et Performance, ton rôle sera hybride, structurant et à forte valeur ajoutée : tu feras la jonction directe entre les directions métiers (actuaires, comptables, financiers) et les équipes IT pour moderniser les chaînes de traitement d'inventaire, fiabiliser les données réglementaires (IFRS 17, Solvabilité II) et orchestrer la migration progressive de l'écosystème Hadoop/Spark vers Databricks. Ton future environnementTu évolueras au cœur du pôle SI Actuariat de notre partenaire assurance, au croisement de la finance quantitative, de l'ingénierie logicielle distribuée et des architectures Cloud. En interface permanente avec les actuaires, les responsables du pilotage financier et les architectes Data, tu seras le moteur de l'évolution des plateformes. C'est le cadre idéal pour manipuler des volumes massifs de données financières, optimiser des traitements complexes sous Spark et concevoir des pipelines modernes sur Databricks au sein d'un environnement agile. Tes missions clésAnalyse Fonctionnelle, Cadrage & Conduite du Changement (Mode CONSEIL & BUILD) : Recueillir, analyser et challenger les besoins des équipes métiers (actuaires, comptables, responsables d'inventaire). Modéliser les règles de gestion et rédiger les spécifications fonctionnelles détaillées adaptées aux architectures Big Data. Traduire les exigences métier liées à la norme IFRS 17 et au suivi des situations financières en solutions techniques performantes. Garantir l'adéquation continue entre les traitements implémentés et les objectifs opérationnels de production des inventaires. Accompagner les utilisateurs métiers dans la prise en main des nouvelles solutions et piloter la conduite du changement. Data Engineering & Migration Hadoop vers Databricks (Mode TECH & MIGRATION) : Concevoir, développer et optimiser les pipelines de traitement de données distribués (Python, Scala, Apache Spark, Hadoop, HDFS, YARN). Analyser l'architecture des flux existants pour préparer, adapter et refondre les traitements vers la nouvelle plateforme Databricks (Cloud Azure ou AWS). Garantir la qualité, la traçabilité, l'exposition et la cohérence des référentiels de données actuarielles et financières. Automatiser et optimiser les performances des jobs de calcul batch et fil d'eau, en maîtrisant les requêtes complexes (SQL, NoSQL, scripting Linux). Qualité, Recette & Industrialisation (Mode RUN & QUALITÉ) : Élaborer et exécuter les stratégies de tests fonctionnels, techniques et de contrôle de qualité des données (data quality). Assurer la mise en production, la mise en place de la CI/CD, le suivi opérationnel des chaînes de production et la résolution des anomalies. Rédiger la documentation technique, fonctionnelle et la cartographie des règles de gestion pour pérenniser la connaissance. Ton profilFormation : Diplôme Bac+5 (Diplôme d'Ingénieur, Master 2 universitaire) en informatique, Data Engineering, mathématiques appliquées ou finance quantitative / actuariat. Expérience : Tu justifies d'une expérience confirmée de 5 à 10 ans sur des fonctions hybrides de Business Analyst Data, Data Engineer ou Consultant SI Actuariat/Finance. Expertise Technique Big Data Impérative : Solide expérience de développement et d'optimisation sous Apache Spark et l'écosystème Hadoop (HDFS, YARN). Pratique ou intérêt marqué pour la plateforme Databricks et son déploiement sur les environnements Cloud (Azure ou AWS). Maîtrise avancée de la programmation en Python et/ou Scala, ainsi qu'une excellente maîtrise du langage SQL et des bases de données distribuées. Connaissance des outils d'industrialisation, de scripting Linux et des pipelines CI/CD. Compétences Fonctionnelles Métier : Maîtrise des démarches de Business Analysis (ateliers, cahiers des charges, spécifications fonctionnelles). Connaissance indispensable des processus financiers, comptables ou actuariels, avec une bonne appréhension des enjeux des inventaires. Connaissance de la norme IFRS 17 (et idéalement des exigences Solvabilité II). Pratique des méthodologies Agile / Scrum. Langues : Anglais professionnel opérationnel. Tes atoutsDouble Casquette Technico-Fonctionnelle : Aisance remarquable pour dialoguer avec les actuaires tout en traduisant leurs formules complexes en code distribué performant. Esprit Analytique et Rigueur : Sens aigu du détail et exigence sur la précision des données financières produites. Posture Proactive et Travail en Transverse : Capacité à faire avancer les projets de transformation en fédérant les acteurs IT et métiers autour d'objectifs communs. Nos avantagesRemboursement des titres de transport à hauteur de 75%. Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5 euros / jour). Accès Gymlib / Wellpass (sport et bien-être). Contrat Santé / Prévoyance mis en place auprès de la compagnie Alan. Formation continue : Accès à Udemy Business et accompagnement aux certifications Databricks / Cloud. Prime de cooptation, prime d'intéressement et de participation. Deux à trois jours de télétravail par semaine. 5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions. Missions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise. Suivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue. Excellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant. Performance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie. Notre processus de sélectionÉchange introductif avec un chargé de recrutement. Entretien métier avec évaluation approfondie (Cas pratique d'analyse fonctionnelle sur un besoin IFRS 17, conception d'un pipeline Spark/Databricks sous Python/Scala et requêtes SQL d'optimisation). Rencontre finale pour validation du fit et projection sur la mission. Prêt à rejoindre une équipe d'experts engagés ? N'hésite plus, rejoins la Storm Team ! Storm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.

Pour le compte d'un acteur du secteur automobile, nous recherchons un(e) Expert(e) Syncron, Spark ou PriceFX afin de renforcer l'expertise et la crédibilité autour de ces solutions auprès de leurs clients. Le profil recherché peut être Consultant, Chef de Projet ou Développeur, avec une expérience significative sur l'un de ces outils. Le consultant devra être capable d'intervenir sur des sujets d'implémentation, mais également d'accompagner et de guider les utilisateurs dans leur utilisation au quotidien. La mission couvre ainsi les dimensions Build & Run, avec une capacité à intervenir aussi bien sur la mise en œuvre et l'évolution des solutions que sur leur maintien en conditions opérationnelles et l'accompagnement des utilisateurs.