Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Secteur : Édition Spécialisée & Services Technologiques | Périmètre International Type de contrat : Freelance Domaine : Intelligence Artificielle & Data Engineering Portée : France (Périmètre Européen) 1. Contexte de la Mission Aux côtés d'une équipe d'experts passionnés, vous relèverez les plus hauts défis techniques de la société. En tant qu'Expert Data & Retrieval, vous êtes le garant de la matière première de notre IA : la collecte, l'ingestion, l'indexation et la recherche de pertinence sur des volumes massifs de documents spécialisés, le socle qui alimente nos modèles de langage et nos produits. Votre terrain de jeu : transformer la manière dont tout un secteur professionnel travaille au quotidien. Votre mission n'est pas d'écrire un simple script, mais de concevoir des pipelines de données robustes capables d'ingérer, de nettoyer et d'indexer d'énormes corpus textuels, puis d'exposer une recherche rapide et pertinente (sémantique et hybride) au service de plusieurs équipes à travers l'Europe. Vous garantirez la fraîcheur des index et la qualité du retrieval tout en gérant une complexité technique de haut vol (volumétrie, hétérogénéité des sources, évaluation de la pertinence, scalabilité). 2. Objectifs et Missions Principales Vos missions principales s'articulent autour de trois axes : bâtir, outiller et transmettre. 1. Collecte, Ingestion & Indexation Pipelines d'ingestion : Concevoir la collecte et le traitement de sources hétérogènes (open data, bases spécialisées, documents métier), le parsing, le nettoyage, le chunking et la normalisation des documents. Indexation & Embeddings : Choisir et industrialiser les modèles d'embeddings, alimenter et maintenir les bases vectorielles, gérer la fraîcheur et la reconstruction des index. Qualité & Volumétrie : Garantir la scalabilité de l'indexation sur des corpus massifs et la traçabilité des données (lignage, versioning des index). 2. Recherche & Pertinence (Retrieval) Stratégie de retrieval : Combiner recherche lexicale et sémantique (BM25 + embeddings) avec reranking et filtrage par métadonnées pour maximiser la pertinence. Évaluation continue : Mettre en place des jeux de tests et des métriques de pertinence (recall, precision, nDCG, MRR) pour mesurer et améliorer le retrieval. RAG : Structurer la phase de récupération qui alimente les LLM (contexte, citations, dé-duplication, gestion des fenêtres de contexte). Observabilité & Sécurité : Instrumenter les pipelines (logs, métriques, traces de qualité) et garantir la sécurité et la conformité des données (isolation par pays, conformité aux réglementations). 3. Leadership Technique & Gouvernance Culture Craftsmanship : Promouvoir les pratiques de Clean Code, SOLID, et tests automatisés. Rayonnement : Assurer une veille constante et contribuer au rayonnement technique du groupe (articles, meetups, open-source). 3. Profil Recherché & Stack Technologique Diplôme requis : Master, Ph.D, Diplôme d'Ingénieur ou équivalent en Informatique / Data. Stack Technologique Cible (à challenger) : Langages : Python 3.11+ (maîtrise requise), Go. Indexation : Bases vectorielles (pgvector, Weaviate, Qdrant, OpenSearch), recherche hybride / BM25. Embeddings & NLP : sentence-transformers, modèles d'embeddings, tokenisation, parsing de documents. RAG & LLM : LangChain, RAG, reranking, OpenAI, Mistral, Bedrock. Data & Infra : PostgreSQL, Airflow / Spark (ou équivalent), Kafka, Redis, Docker, CI/CD, Kubernetes. Tests & Qualité : Pytest, évaluation de la pertinence (recall, nDCG, MRR). Compétences Attendues : Expérience avérée en Data Engineering / Information Retrieval sur des volumes massifs en production. Expertise Retrieval : maîtrise de l'indexation, des embeddings et de la recherche hybride, capacité à mesurer puis améliorer la pertinence. Culture Data : pipelines reproductibles, qualité et lignage des données, versioning des datasets et des index. Solide culture IA / ML : embeddings, NLP et bonne compréhension des LLM (sans nécessairement être un expert serving). Polyvalence appréciée : une appétence pour d'autres langages (Java notamment) pour prêter main-forte sur des sujets transverses est un vrai plus. Anglais fluide requis (contexte européen quotidien). 4. Soft Skills & Qualités Recherchées Vision Produit : Comprendre les enjeux métiers pour prioriser les fonctionnalités. Vos index et votre moteur de recherche sont gérés comme un produit : vous considérez les autres développeurs comme vos clients. Leadership Technique & Pédagogie : Capacité à évangéliser les bonnes pratiques data, retrieval et IA auprès des autres développeurs. Obsession de la Qualité : Rigueur absolue sur la sécurité des données et la fiabilité des services. Esprit d'Innovation : Curiosité active pour les avancées de l'écosystème IA, NLP et data. Communication : Savoir vulgariser des concepts complexes auprès de différents interlocuteurs. 5. Pourquoi ce poste est unique ? Vous intervenez au moment de la prise de décisions structurantes avec un réel pouvoir d'influence sur la stack finale. Indexer et rendre pertinent un patrimoine documentaire massif et hétérogène au service de l'IA constitue un défi data rare. L'objectif n'est pas de simplement 'livrer une feature', mais de créer le standard industriel du groupe pour les prochaines années.

Dans le cadre d'un projet stratégique autour des Risques Climatiques & Physiques, nous recherchons un PGER GCP DEV N2 pour rejoindre une équipe experte et engagée. L'objectif du projet est de mettre en place une solution permettant d'ingérer, d'agréger et d'exposer des données provenant de sources multiples, afin de produire des rapports métiers dédiés à la surveillance du risque de crédit. Une expérience dans le domaine du risque de crédit est un véritable plus. Vous interviendrez notamment sur : 🔹 Le développement et l'intégration de solutions Python / Spark 🔹 La conception et l'évolution d'infrastructures de données 🔹 La collecte, le stockage et l'exploitation de flux de données 🔹 La supervision et l'intégration de données provenant de sources multiples 🔹 La vérification de la qualité et de la sécurité des données 🔹 La structuration des bases de données et des métadonnées 🔹 La cartographie et la documentation des sources de données 🔹 La maintenance des applications et infrastructures en production 🔹 L'industrialisation et l'optimisation de modèles de Machine Learning 🔹 La contribution au RUN et à l'amélioration continue des solutions data 🔹 La proposition d'évolutions sur les infrastructures et solutions existantes

Notre client est un acteur de référence dans son secteur. Il traite chaque année de très gros volumes de données transmises par des partenaires externes, et ces données servent à des calculs de répartition à fort enjeu financier. Au cœur du dispositif, un moteur de matching développé en interne rapproche des millions de lignes de données entrantes d'un référentiel interne. Il s'appuie sur des identifiants standardisés et sur du rapprochement textuel (libellés, noms, entités associées). Le produit évolue en continu avec deux objectifs : identifier toujours plus de données et réduire la marge d'erreur. Vous rejoindrez une équipe produit agile composée d'un lead dev, de deux développeurs et d'un data analyst. Missions Établir un protocole de tests permettant de mesurer l'impact des règles de matching développées par l'équipe Piloter les campagnes de tests et produire une analyse quantitative des écarts pour ajuster les critères de matching Réaliser des campagnes comparant deux versions du moteur d'identification, avec analyses quantitatives et qualitatives des différences Participer activement à l'automatisation des analyses de données pour accélérer le time to deliver Analyser les anomalies et remontées utilisateurs avec les experts métiers, et construire avec le PO les évolutions de règles Participer à la validation et à la non-régression des développements, en lien avec le PO et les développeurs Intervenir dès le cadrage (shift-left) : critères d'acceptance des User Stories et stratégie de recette Enrichir les analyses avec des données internes, externes ou via des algorithmes Stack / Environnement Python pour l'analyse et l'automatisation (pandas, numpy, notebooks), bonne maîtrise Elasticsearch, SQL, bonne maîtrise AWS (OpenSearch, RDS, SQS, SNS, DynamoDB, ECS), maîtrise partielle Spark, niveau débutant suffisant Client REST (Postman), niveau débutant suffisant Protocole d'analyse (exploration, échantillonnage représentatif, détection de patterns), bonne maîtrise Agile / Scrum, bonne maîtrise ; SAFe, niveau débutant

#StormYourCareer - Rejoins STORM GROUP et construis ta carrière avec nous ! Propulse la gouvernance des donnéesTu rejoindras la direction stratégique d'un acteur majeur de la banque. En tant que Directeur de projet RDAR, tu joueras un rôle central dans la structuration d'un programme à plus de 10 M€, visant à révolutionner la fiabilité et la traçabilité des données de risque. Tu seras le chef d'orchestre entre les exigences réglementaires les plus strictes et les technologies Data les plus innovantes. Ton futur environnementTu évolueras à un niveau stratégique, en lien direct avec des sponsors C-Level (DSI, CRO, CFO). Tu manageras une équipe pluridisciplinaire de plus de 10 personnes (Chefs de projet, BA, Experts techniques) et coordonneras les échanges entre les métiers (Risques, Finance, Conformité) et les équipes IT/Data Engineering. Tes missions clésCadrage Stratégique et Initialisation (Phase Amont) Définition de la vision : Piloter les phases de pré-cadrage, définir le périmètre, les enjeux réglementaires et valider les études de faisabilité. Structuration : Élaborer le Business Case, définir la structure de gouvernance, la roadmap réglementaire et le découpage en workstreams (WBS). Lancement : Rédiger la charte projet, la matrice RACI et animer les ateliers de cadrage avec les parties prenantes. Pilotage de Programme et Gestion Financière Responsabilité Budgétaire : Assurer la gestion financière complète du programme (> 10 M€), incluant le forecast, l'atterrissage et la maîtrise des écarts. Pilotage du Delivery : Coordonner les chantiers métiers et techniques pour garantir la mise en conformité RDAR. Gouvernance : Assurer le reporting d'avancement auprès des instances de direction (CODIR, Comité Risques). Gouvernance de la Donnée et Coordination Technique Fiabilisation : Mettre en place les référentiels de traçabilité (data lineage), de qualité de données et cartographier les éléments critiques (CDE). Interface Data : Collaborer avec les équipes Architecture et Data Engineering sur les pipelines (Big Data, Datalake) pour valider les choix techniques. Ton profilExpertise Réglementaire : Maîtrise approfondie des normes RDAR et BCBS 239 en environnement bancaire. Direction de Programme : Expérience confirmée sur des programmes complexes à fort budget (> 10 M€) avec management d'équipes de 10+ personnes. Culture Data/IT : Solides connaissances des environnements de traitement de la donnée (ETL, Big Data, Hadoop/Spark) et des outils de gouvernance. Langues : Anglais professionnel courant. Nos avantagesRemboursement des titres de transport à hauteur de 75%. Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5€ / jour). Accès Gymlib / Wellpass (sport et bien-être). Contrat Santé / Prévoyance mis en place auprès de la compagnie Alan. Formation continue : Accès à Udemy Business. Prime de cooptation, prime d'intéressement et de participation. Deux à trois jours de télétravail par semaine. 5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions. Missions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise. Suivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue. Excellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant. Performance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie. Notre processus de sélectionÉchange introductif avec un chargé de recrutement. Entretien métier avec évaluation technique approfondie. Rencontre finale pour validation du fit et projection sur la mission. Storm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.

Dans le cadre d'un projet Data stratégique, nous recherchons un Tech Lead Data Engineer pour accompagner la conception, le développement et l'industrialisation de solutions Data dans un environnement technique exigeant. 🎯 Vos missions Concevoir et faire évoluer des architectures Data robustes et scalables Piloter techniquement les développements et accompagner les Data Engineers Concevoir et industrialiser des pipelines de données Intervenir sur des architectures Data temps réel / streaming avec Kafka Développer et maintenir des solutions sur Palantir Foundry Garantir la qualité, la performance et la fiabilité des traitements Data Participer aux choix d'architecture et aux bonnes pratiques de développement Assurer la revue de code et accompagner la montée en compétences de l'équipe Collaborer avec les équipes Data, Architecture, DevOps et métiers 🛠️ Environnement technique Indispensables : Kafka Palantir Foundry Solide expertise en Data Engineering Conception de pipelines Data Architecture Data / traitement distribué Python et/ou SQL Expérience en environnement de production Atouts : Kafka Streams / Confluent Spark / PySpark APIs / microservices CI/CD, Git, Docker, Kubernetes Cloud Expérience en lead technique ou en accompagnement d'équipe 👤 Profil recherché De formation supérieure en informatique ou Data, vous disposez d'au moins 7 ans d'expérience en Data Engineering, dont une expérience significative en lead technique. Vous êtes à l'aise dans des environnements complexes et avez une forte capacité à challenger les choix techniques, concevoir des solutions robustes et accompagner les équipes dans leur mise en œuvre. Une expérience concrète sur Palantir Foundry et Kafka est indispensable.

Si pour vous être Tech Lead Data GCP, c'est : Piloter la conception et l'architecture de plateformes data modernes, scalables et sécurisées sur Google Cloud Platform ; Encadrer et accompagner des équipes Data Engineers dans la mise en œuvre de pipelines robustes et industrialisés ; Maîtriser l'écosystème GCP : BigQuery, Dataflow, Dataproc, Cloud Storage, Cloud Functions, Looker ; Concevoir et optimiser des traitements de données à grande échelle via Spark, Dataflow ou Dataproc ; Mettre en place des pratiques DataOps / FinOps : CI/CD, monitoring, optimisation des coûts et performance ; Travailler en étroite collaboration avec les équipes BI, Data, DevOps et métiers pour transformer les besoins en solutions concrètes ; Garantir la qualité, la gouvernance et la sécurité des plateformes data ; Apporter du leadership technique, structurer les bonnes pratiques et faire grandir les équipes… …Alors vous êtes le profil que nous recherchons ! Vous disposez d'une expertise confirmée en data engineering et architecture GCP, et vous êtes à l'aise dans des environnements exigeants, avec une forte dimension projet et delivery. Dans le cadre de missions à fort enjeu chez nos clients, vous interviendrez en tant que référent technique GCP sur des projets de transformation data. Vous serez amené(e) à : Accompagner les clients dans la modernisation de leurs plateformes data sur GCP (cadrage, architecture, gouvernance) ; Concevoir des architectures cloud data performantes et évolutives basées sur les services managés GCP ; Piloter des projets de déploiement de Modern Data Platforms (data lake, data warehouse, streaming, batch) ; Assurer la cohérence technique et la qualité des livrables, en garantissant performance, sécurité et scalabilité ; Conseiller les équipes IT et métiers sur leurs choix techniques et stratégiques ; Encadrer les équipes projet et diffuser les bonnes pratiques d'ingénierie data ; Mettre en place des modèles d'industrialisation : CI/CD, orchestration, monitoring, data quality ; Réaliser une veille active sur les innovations de l'écosystème GCP et Data Cloud.

Dans le cadre d'un projet Data, vous rejoindrez une équipe intervenant sur des problématiques de Data Science, Machine Learning et traitement de données à grande échelle. L'objectif de la mission sera notamment de contribuer à la préparation, l'analyse et la transformation des données, au développement de modèles statistiques et de Machine Learning, ainsi qu'à leur intégration dans des workflows reproductibles et industrialisés. Vos principales missions : Collecter, nettoyer, transformer et analyser des données. Réaliser des analyses statistiques et exploratoires. Concevoir des variables pertinentes et effectuer du feature engineering. Développer, entraîner et évaluer des modèles de Machine Learning. Exploiter des données à l'aide de Python et SQL. Participer au traitement de données volumineuses avec Spark / PySpark. Contribuer à la mise en place de pipelines de traitement et à leur industrialisation. Utiliser Git / GitLab CI/CD dans un environnement de développement collaboratif. Documenter les travaux réalisés et communiquer les résultats auprès des différentes parties prenantes.

En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.

Dans le cadre du développement des projets Data, nous recherchons un Data Engineer / DataOps pou accompagner les différentes entités dans l'utilisation et l'industrialisation de la plateforme. Missions :Administrer, superviser et maintenir les workspaces Définir, documenter et faire évoluer les standards et bonnes pratiques Garantir la qualité, la sécurité et la conformité des services proposés aux différentes entités Industrialiser les environnements et déploiements avec des pratiques DevOps / IaC Tester et évaluer les nouvelles fonctionnalités Databricks puis formuler des recommandations Veiller au respect des politiques et accompagner leur mise en œuvre Contribuer à la conception et réalisation de use cases Data stratégiques portés par les différentes entités Participer à l'amélioration continue de l'écosystème Data et des processus d'exploitation Compétences techniques :Databricks : administration, configuration et exploitation de workspaces. Python / PySpark / Spark. Git et pratiques de gestion de code. AWS et/ou Azure. Infrastructure as Code (IaC) : Terraform, CloudFormation ou équivalent. DevOps / DataOps : CI/CD, automatisation, industrialisation et déploiement. Environnements Agile : Scrum et/ou Kanban.

#StormYourCareer ✨ Rejoins STORM GROUP et construis ta carrière avec nous ! Propulse la gouvernance des donnéesTu rejoindras la direction stratégique d'un acteur majeur de la banque. En tant que Directeur de projet RDAR, tu joueras un rôle central dans la structuration d'un programme à plus de 10 M€, visant à révolutionner la fiabilité et la traçabilité des données de risque. Tu seras le chef d'orchestre entre les exigences réglementaires les plus strictes et les technologies Data les plus innovantes. Ton futur environnementTu évolueras à un niveau stratégique, en lien direct avec des sponsors C-Level (DSI, CRO, CFO). Tu manageras une équipe pluridisciplinaire de plus de 10 personnes (Chefs de projet, BA, Experts techniques) et coordonneras les échanges entre les métiers (Risques, Finance, Conformité) et les équipes IT/Data Engineering. Tes missions clésCadrage Stratégique et Initialisation (Phase Amont) Définition de la vision : Piloter les phases de pré-cadrage, définir le périmètre, les enjeux réglementaires et valider les études de faisabilité. Structuration : Élaborer le Business Case, définir la structure de gouvernance, la roadmap réglementaire et le découpage en workstreams (WBS). Lancement : Rédiger la charte projet, la matrice RACI et animer les ateliers de cadrage avec les parties prenantes. Pilotage de Programme et Gestion Financière Responsabilité Budgétaire : Assurer la gestion financière complète du programme (> 10 M€), incluant le forecast, l'atterrissage et la maîtrise des écarts. Pilotage du Delivery : Coordonner les chantiers métiers et techniques pour garantir la mise en conformité RDAR. Gouvernance : Assurer le reporting d'avancement auprès des instances de direction (CODIR, Comité Risques). Gouvernance de la Donnée et Coordination Technique Fiabilisation : Mettre en place les référentiels de traçabilité (data lineage), de qualité de données et cartographier les éléments critiques (CDE). Interface Data : Collaborer avec les équipes Architecture et Data Engineering sur les pipelines (Big Data, Datalake) pour valider les choix techniques. Ton profilExpertise Réglementaire : Maîtrise approfondie des normes RDAR et BCBS 239 en environnement bancaire. Direction de Programme : Expérience confirmée sur des programmes complexes à fort budget (> 10 M€) avec management d'équipes de 10+ personnes. Culture Data/IT : Solides connaissances des environnements de traitement de la donnée (ETL, Big Data, Hadoop/Spark) et des outils de gouvernance. Langues : Anglais professionnel courant. Tes AtoutsLeadership Affirmé : Capacité à fédérer des équipes transverses et à influencer des interlocuteurs stratégiques. Communication d'Excellence : Haute aisance rédactionnelle et orale, notamment lors d'échanges avec les régulateurs. Vision Systémique : Aptitude à appréhender des organisations complexes et à piloter des transformations d'envergure. Culture du Résultat : Rigueur opérationnelle et sens du collectif orientés vers le delivery et l'amélioration continue. Nos avantagesRemboursement des titres de transport à hauteur de 75%. Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5€ / jour). Accès Gymlib / Wellpass (sport et bien-être). Contrat Santé / Prévoyance mis en place auprès de la compagnie Alan. Formation continue : Accès à Udemy Business. Prime de cooptation, prime d'intéressement et de participation. Deux à trois jours de télétravail par semaine. 5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions. Missions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise. Suivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue. Excellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant. Performance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie. Notre processus de sélectionÉchange introductif avec un chargé de recrutement. Entretien métier avec évaluation technique approfondie. Rencontre finale pour validation du fit et projection sur la mission. Storm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.

Dans le cadre de l'évolution de la plateforme Optima et de la refonte de son interface de supervision, nous recherchons un Développeur Full Stack confirmé Java / Angular. Optima est un moteur de calcul du risque de crédit utilisé notamment pour les calculs réglementaires RWA, grands risques et provisions IFRS9. Le programme est engagé dans une phase de modernisation avec la migration vers une architecture Java/Spark distribuée, la refonte de l'IHM en Angular/Java et le déploiement sur le Cloud / CDP Cloudera.