Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

🚀 Qui sommes-nous ? Finaxys est un cabinet de conseil spécialisé dans les secteurs Banque, Finance et Assurance. Depuis plus de 15 ans, nous intervenons auprès des plus grandes institutions telles que BNP Paribas, Crédit Agricole, Société Générale, AXA, Malakoff Humanis, etc. en proposant des solutions technologiques innovantes (IA, Machine Learning, Data, Cloud, DevSecOps, etc.). Notre mission ? Accompagner nos clients dans leur transformation digitale et répondre aux défis IT les plus complexes grâce à l'expertise de nos équipes. 🎯 Votre mission : En tant que DataOps, vous rejoindrez les équipes techniques de nos clients grands comptes pour : Industrialiser et automatiser les déploiements avec Ansible Mettre en production de nouveaux clusters et mettre à l'échelle les clusters existants (scale horizontal et vertical) Documenter les offres Apporter une expertise technique aux utilisateurs de la plateforme Participer à la définition des architectures des futures briques de la plateforme Streaming Construire un MVP de ces services puis enrichir l'offre Prendre des éléments de la backlog qui ont été formalisés par le Squad Lead et mettre en œuvre les éléments de la backlog Réaliser l'intégration dans le SI (observabilité, alerting, gestion des droits, backup, etc) Rendre compte des difficultés auxquelles il est confronté et proposer des solutions pour les résoudre Participer à l'ensemble des rituels agiles de la Squad (Rétro, Démos, Pi Planning) Environnement technique / fonctionnel : Python, Java, Hadoop, Spark, Kafka, Flink, Kubernetes, Gitlab, Ansible, Vault, Artifactory, CI/CD, Jira

Nous allons travailler sur un POC Réseau Autonome d'une durée limitée (approx 6 mois à partir de septembre), l'objectif est de collecter des données réseaux (données config Radio, Kpi, référentielles) les intégrer dans Databricks, développer des API pour requêter ces données afin que des agent IA puissent requêter les données à travers ces API. Livrables: Conception et développement de projets d'intégration de données pour des projets à forte valeur ajoutée. Développement de jobs d'intégration de données en PySpark, Spark, Python en mode streaming et batch sur la plateforme Databricks. La mise en œuvre de CI/CD (github, devops, Databricks Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs et des ressources cloud (GCP et Databricks). Mise en place de de Dashboard Finops afin de suivre l'usage des ressources GCP / Databricks. Travailler au sein d'équipes pluridisciplinaires : chefs de projet, architectes, devops, data engineer. Assurer une formation continue, le partage de connaissances, mise en place de documentation.

Contexte de la mission Notre objectif est de transformer notre stratégie de pricing grâce à la donnée et à l'intelligence artificielle. Nous voulons passer d'une tarification traditionnelle à une tarification dynamique, plus intelligente et prédictive, capable d'équilibrer la rentabilité de l'entreprise et la perception de la valeur par nos clients. Pour porter cette ambition, au sein de notre équipe digital data Pricing nous concevons, développons et industrialisons les algorithmes et les produits Data qui piloteront nos prix de manière proactive et agile. Objectifs et livrables Le consultant interviendra sur un scope large, allant de l'analyse exploratoire à la mise en production (MLOps). Les chantiers majeurs identifiés pour les prochains mois sont : • Élasticité Prix: Optimisation des algorithmes d'élasticité prix existants, avec un focus majeur sur la modélisation pour le lancement de nouveaux produits. • Moteur de Promotion : Développement d'un algorithme d'optimisation des campagnes promotionnelles. • Tarification Dynamique : Analyses exploratoires préliminaires et formulation de propositions pour un moteur d'aide à la décision (Dynamic Pricing “home-made”). • Industrialisation & MLOps : Optimisation des modèles existants, intégration de nouvelles sources de données, APIzation et automatisation des pipelines (Ops). • Agent amélioration : Contribution sur notre agent pricing. • Monitoring : Mise en place d'un tracking robuste de la performance des modèles et de la qualité de la donnée. Nous recherchons un profil hybride et autonome, capable de naviguer entre la vision produit et la technique. Hard skills: • Core Tech : Maîtrise avancée de Python et de son écosystème Data Science / ML (Pandas, Scikit-Learn, TensorFlow/PyTorch). • ML Engineering & MLOps : Expérience solide en mise en production d'algorithmes à grande échelle, packaging de modèles, CI/CD (Git) et industrialisation d'API. • Data & Cloud : Pratique des environnements Cloud (AWS / Databricks appréciés) et manipulation de gros volumes de données (Spark, dbt). Soft skills: • Product Ownership & Proactivité : Capacité à creuser le besoin métier, clarifier les exigences et proposer des solutions concrètes sans attendre un cahier des charges figé. • Leadership technique : Autonomie pour piloter des sujets de bout en bout et interagir avec des interlocuteurs variés (équipes Data, Tech et Métier). • Langues : Anglais courant indispensable. Une expérience préalable ou un fort background sur des problématiques de Pricing (élasticité, yield management, optimisation de marge) sera grandement valorisée.

Contexte de la mission : Dans le cadre d'un projet stratégique Data pour un acteur majeur du secteur du Luxe, nous recherchons un Data Scientist confirmé pour rejoindre une équipe travaillant sur des problématiques de prévision et d'aide à la décision. La mission porte notamment sur des enjeux de forecast de nouveaux produits, avec des prévisions réalisées à une maille fine, notamment au niveau SKU. L'objectif est à la fois de développer des modèles performants et de travailler dans une véritable logique d'industrialisation, afin de permettre leur utilisation à grande échelle dans un environnement Data moderne. La connaissance des problématiques propres au Retail est particulièrement importante pour comprendre les enjeux métiers associés aux prévisions de ventes et aux nouveaux produits. Avantages de la mission : • Mission longue au sein d'un acteur majeur du Luxe • Problématiques Data Science concrètes avec un fort impact métier • Sujets de forecasting à grande échelle et à une granularité fine • Environnement technique moderne autour de Databricks et Spark • Travail sur l'ensemble du cycle de vie des modèles, de leur conception jusqu'à leur industrialisation • Volumes de données importants et problématiques Data complexes • Environnement combinant Data Science, Retail et enjeux business • Organisation hybride avec 2 à 3 jours de télétravail par semaine • Mission basée à Paris

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL

Expérience5 ans minimum en Data Engineering 🚀 DémarrageDès que possible – au plus tard fin septembre 2026 🏠 Télétravail2 jours de télétravail / semaine 3 jours de présence obligatoire sur site / semaine 🎯 Contexte de la missionAu sein de la Direction des SI Mutualisés, l'équipe DataLab intervient sur les périmètres Data & Analytics dans le cadre du programme de transformation du SI du Groupement Les Mousquetaires. Le consultant intégrera la Data Factory, qui regroupe les équipes Data de la Stime et des métiers. Cette organisation a pour objectif de concevoir et déployer des produits Data, BI, Analytics et Data Science à destination des fonctions support, des équipes logistiques, des magasins et des consommateurs. Dans un contexte de passage à l'échelle et d'industrialisation des pratiques Data, vous rejoindrez une Squad Supply / Logistique, en charge du développement de cas d'usage BI, Analytics et Data Science sur une plateforme Data basée sur Microsoft Azure et Databricks. 🎯 Description de la missionNous recherchons un Data Engineer Confirmé / Senior, polyvalent et opérationnel, disposant d'une solide expertise sur : Azure Databricks Apache Spark Python SQL Le consultant devra également avoir une forte appétence pour l'analyse de données et être capable d'intervenir sur les activités de QA et de testing, afin de garantir la qualité et la fiabilité des livrables de la Squad. Une expérience sur Power BI ainsi qu'une première expérience dans un environnement Supply Chain / Logistique seront fortement appréciées. 🔧 Missions principalesRecueillir et analyser les besoins Data Réaliser des analyses de données Concevoir et développer des pipelines de données Transformer, enrichir et traiter les données au sein du Data Lake Développer des notebooks Databricks pour les traitements avancés Concevoir et optimiser les traitements Data Mettre en œuvre des solutions de Cloud Data Warehousing Optimiser les requêtes SQL et réaliser le tuning des traitements Rédiger la documentation technique : dossiers d'analyse technique, release delivery notes, etc. Participer aux revues de code Garantir l'application des bonnes pratiques de développement Concevoir et exécuter les tests unitaires Réaliser les activités de QA / testing des pipelines développés par les autres Data Engineers de la Squad Concevoir et maintenir des tableaux de bord Power BI Livrer les développements dans un environnement DevOps / CI-CD Participer à l'amélioration continue des pratiques Data Engineering 🧩 Compétences techniques requisesCompétenceExpérience minimaleExpérience Data Engineering5 ansAzure3 ansDatabricks3 ansSpark3 ansPython5 ansSQL5 ansCI/CD – Azure DevOps3 ansAgile / JIRA1 an ⭐ Compétences appréciéesPower BI Expérience Supply Chain / Logistique Data Lake / Cloud Data Warehouse Optimisation et performance des traitements Data QA / Data Quality / Testing Environnement Agile à l'échelle

ContexteDans le cadre du programme ITAM et la mise en place du Group Global Inventory ainsi que l'alimentation industrielle de la CMDB Group, le bénéficiaire renforce ses activités autour du produit BMC Helix Discovery. MissionsResponsable Discovery Data product : Développement des query API Discovery en regard des besoins production Construction des data sets dans l'outil de query engine Exposition du data product à la consommation opérationnelle Interfaçage au MCP pour alimenter l'IA Production MCO et optimisation des query et data sets DevOps Discovery : Configuration et paramétrage de BMC Discovery : configurer et paramétrer BMC Discovery pour collecter les données d'actifs informatiques, telles que les périphériques réseau, les logiciels, les matériels, etc. Intégration des données de BMC Discovery : intégrer les données de BMC Discovery dans le système de nettoyage des données pour enrichir les données existantes. Définition des règles de correspondance : définir des règles de correspondance pour associer les données de BMC Discovery avec les données existantes dans le système. Mise en place de la synchronisation des données : mettre en place la synchronisation des données entre BMC Discovery et le système de nettoyage des données. Gestion des erreurs et des exceptions : gérer les erreurs et les exceptions qui peuvent survenir lors de la collecte, de l'intégration et de la synchronisation des données. Outils & EnvironnementBMC Helix Discovery (mandatory) Starburst (Data product, MCP, AI) Spark / Pyspark ServiceNow ITSM (change, incident, problem, request) Jira / Confluence Nice to have : Tableau Server / Tableau Desktop / PowerBI / Dataikku Talend Real Time Big Data / ESB, ETL, EAI Talend Data Catalogue PostGreSQL / Apache Kafka / S3 storage Environnement techniqueL'expert utilisera BMC Discovery et d'autres outils pour collecter et intégrer les données, pour ensuite les exposer en data products afin d'alimenter des IA. DonnéesTravail avec des données d'actifs informatiques, notamment des informations sur les périphériques réseau, les logiciels, les matériels, etc. Système de nettoyage des donnéesL'expert doit comprendre le fonctionnement du système de nettoyage des données et comment les données de BMC Discovery peuvent être intégrées pour améliorer la qualité des données.

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l'excellence opérationnelle et l'innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l'ensemble du cycle de transformation, depuis la phase de cadrage jusqu'à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Dans le cadre de notre développement, nous recherchons un Data Engineer – Plateforme Data B2C AWS / Databricks Contexte Vous rejoignez un programme stratégique de refonte d'une plateforme B2C à l'échelle mondiale, dans un environnement Agile Scrum. Description du poste En tant que Data Engineer, vous jouez un rôle clé dans la conception, le développement et l'évolution de la plateforme Data. Vous intervenez à la fois comme leader technique et acteur opérationnel avec pour objectif de garantir la qualité, la performance, la fiabilité et la maîtrise des coûts de la plateforme, tout en contribuant à la valorisation des données. Responsabilités principales Concevoir et développer des architectures Data cloud-native sur AWS, basées sur Databricks Garantir la qualité, la cohérence et la fiabilité des données tout au long de leur cycle de vie. Participer activement au développement conception et développement de pipelines Data ; traitements batch et streaming ; optimisation des performances. Définir, mettre en œuvre et promouvoir les bonnes pratiques de Data Engineering Mettre en place des mécanismes de monitoring et de contrôle de la qualité des données Piloter l'optimisation des coûts AWS et Databricks liés aux traitements Data dans une démarche FinOps. Accompagner les Data Engineers et développeurs Collaborer étroitement avec les équipes Produit et IT, dans un environnement international et multiculturel. Stack technique Data & Cloud Databricks AWS : S3, EC2, RDS, Lambda Langages & Frameworks Java SQL Apache Spark DevOps & CI/CD GitHub Enterprise ArgoCD SonarQube Intégration & Services Kafka PostgreSQL Collaboration & Agile Jira Confluence Agile Scrum Soft Skills Leadership technique : capacité à guider, structurer et faire grandir une équipe Data. Vision transverse : compréhension des enjeux métiers, Data et Cloud, et capacité à les mettre en perspective. Communication : aptitude à vulgariser des concepts techniques et à communiquer efficacement avec différents interlocuteurs. Esprit collaboratif et interculturel : capacité à travailler efficacement avec des équipes internationales. Proactivité et adaptabilité : capacité à anticiper les risques liés à la qualité, aux coûts et aux performances, et à évoluer dans un contexte Agile.

Nous recherchons un·e Directeur·trice de Projets IA. Vous interviendrez sur des environnements critiques, fortement régulés et à forts enjeux métiers, au cœur des initiatives d'intelligence artificielle et d'innovation. Vous piloterez des projets IA de bout en bout, depuis les phases de cadrage et d'idéation jusqu'à la mise en production à l'échelle, en assurant la coordination transverse entre équipes techniques, métiers et fonctions de gouvernance. Voici un aperçu détaillé de vos missions : 🎯 Piloter des programmes IA de bout en bout : cadrage, POC, industrialisation et mise en production de solutions (LLM, RAG, assistants métiers) Définir la stratégie IA & roadmap : alignement business/IT, suivi des KPI et reporting CODIR Structurer la gouvernance IA : gestion des risques, conformité (EU AI Act, DORA, NIS2), documentation réglementaire Coordonner les équipes : interface transverse Data/IA, DevOps, Risk, Compliance et métiers Conseiller & innover : benchmark des solutions IA, accompagnement du top management, diffusion de la culture IA Environnement technique : 🧑‍💻 IA & Data : LLM (OpenAI, Mistral, LLaMA…), RAG, NLP, Cloud / Infra : GCP, Kubernetes, Docker Data stack : Python, Spark, SQL/NoSQL, pipelines ETL/ELT DevOps : CI/CD, MLOps, monitoring Sécurité & conformité : ISO 27001, RGPD, EU AI Act, DORA, NIS2

Contexte Au sein de la Direction Digital et Data, vous intégrerez le Data Lab en charge de l'ensemble des projets BI et Data pour les enseignes et les fonctions d'appui du Groupement (Intermarché, Netto, Supply Chain, Immo Mousquetaires, …). En tant qu'Ingénieur devOps, votre mission principale sera de participer au déploiement des projets data du Groupement. La plate-forme utilisée est le Cloud Microsoft Azure. Vous êtes polyvalent et savez communiquer avec les différentes équipes. Afin d'assurer un niveau de sécurité conformes aux exigences du groupement sur les applications du Datalab, vous savez organiser des ateliers, suivre et rendre compte de l'avancement des sujets de sécurisation liés aux résultats d'audit, et apporter des solutions ou des pistes de réflexion en accords avec votre expertise de sécurité de la plateforme cloud Azure, notamment sur la mise en place d'applications Web et d'API. Vous ferez partie d'une équipe d'une dizaine de collaborateurs et travaillerez dans un environnement Agile. Le contexte vous plaît ? Découvrez votre quotidien au sein de votre future équipe. Vos missions-Construire des infrastructures Cloud Public (principalement sur Azure)-Industrialiser les architectures cibles et configurer les équipements (CI / CD) -Mettre en place des procédures et outils de surveillance permettant de garantir la haute disponibilité des infrastructures. -Participer aux phases de validation technique lors des mises en production ou des évolutions. -Collaborer avec les équipes de développement, sécurité et projets dans la réalisation de la transformation Vos atouts pour réussir De formation supérieure en informatique, vous justifiez d'une expérience de 4-10 ans dans un contexte Data. Vous disposez des connaissances sur les outils et méthodologies suivants : -Cloud Azure-Infrastructure as a code (ARM, YAML) -Intégration et déploiement continu (Git, Azure DevOps) -Services Big Data : Azure DataLake, Azure EventHub, Azure Databricks, Azure Data Factory, Power BI-Services Web : Azure FunctionApp, Azure WebApp-Micro-services/containers (AKS) -Base de données : SQL DB, CosmosDB La connaissance de ces langages de programmation serait un plus : Spark et Scala.

Nous recherchons un·e Directeur·trice de Projets IA. Vous interviendrez sur des environnements critiques, fortement régulés et à forts enjeux métiers, au cœur des initiatives d'intelligence artificielle et d'innovation. Vous piloterez des projets IA de bout en bout, depuis les phases de cadrage et d'idéation jusqu'à la mise en production à l'échelle, en assurant la coordination transverse entre équipes techniques, métiers et fonctions de gouvernance. Voici un aperçu détaillé de vos missions : 🎯 Piloter des programmes IA de bout en bout : cadrage, POC, industrialisation et mise en production de solutions (LLM, RAG, assistants métiers) Définir la stratégie IA & roadmap : alignement business/IT, suivi des KPI et reporting CODIR Structurer la gouvernance IA : gestion des risques, conformité (EU AI Act, DORA, NIS2), documentation réglementaire Coordonner les équipes : interface transverse Data/IA, DevOps, Risk, Compliance et métiers Conseiller & innover : benchmark des solutions IA, accompagnement du top management, diffusion de la culture IA Environnement technique : 🧑‍💻 IA & Data : LLM (OpenAI, Mistral, LLaMA…), RAG, NLP, Cloud / Infra : GCP, Kubernetes, Docker Data stack : Python, Spark, SQL/NoSQL, pipelines ETL/ELT DevOps : CI/CD, MLOps, monitoring Sécurité & conformité : ISO 27001, RGPD, EU AI Act, DORA, NIS2