Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Vos missions : Développer et maintenir des pipelines de données sur Databricks (Spark, notebooks, Delta Lake). Concevoir des modèles de données et des rapports interactifs sur Power BI. Ecrire et optimiser des requêtes SQL complexes pour l'analyse et la transformation des données. Automatiser des traitements et scripts en Python pour répondre à des besoins spécifiques (nettoyage, calculs, API…). Participer à la mise en place de bonnes pratiques de gouvernance des données (documentation, qualité, sécurité). Collaborer avec les équipes métiers pour comprendre les besoins et proposer des solutions adaptées. Assurer la maintenance évolutive et corrective des outils BI existants.

Le Business Analyst Front Office – System Integration est le référent des processus fonctionnels de l’équipe Digitale et responsable de leur implémentation dans les outils et flux digitaux. Il prend en charge la conception fonctionnelle des interfaces de synchronisation des données entre les systèmes locaux et les plateformes digitales E-commerce & CRM (notamment Spark), gérées par la Digital Factory. Il collabore directement avec les Product Owners France, les Feature Teams du groupe ainsi qu’avec les développeurs de l’équipe d’intégration France. Il s’assure, avec les architectes Spark, de la cohérence des solutions proposées avec le besoin métier, dans le respect des délais et des standards de qualité. Activités principalesBUILD Analyse du besoin exprimé par les Product Owners et Proxy Product Owners. Co-conception avec la Digital Factory des évolutions liées aux échanges de données entre systèmes Legacy et plateformes du groupe. Suivi et validation des livrables de l’équipe BUILD France. Contribution à la préparation et à l’exécution des tests d’intégration et des UAT. Participation à la conception fonctionnelle des projets transverses de la DSI France. Validation des recettes et des mises en production. RUN Transfert de connaissances vers les équipes de TMA. Spécification et validation fonctionnelle des développements réalisés par les équipes de TMA. Contribution au support applicatif de niveau 3. Positionnement dans l’organisation Hiérarchique : Responsable du domaine IT Commerce Digital Fonctionnel : Collaboration avec les Product Owners, Feature Teams, Architectes Spark et équipes de développement/intégration Compétences requisesConnaissances techniques 3 à 5 ans d’expérience dans des projets d’intégration de plateformes digitales (E-commerce & CRM). Bonne connaissance d’un ERP, idéalement Infor M3. Maîtrise du langage SQL et des concepts de modélisation. Connaissance des méthodologies Agile (Scrum, Safe). Expérience avec des outils de gestion de projet (JIRA, Confluence). Connaissance des Patterns (API, events & file based) et des plateformes d’intégration type iPaaS. Compétences analytiques Capacité à analyser des processus métier et proposer des solutions adaptées. Analyse de données et élaboration de conclusions pertinentes. Excellente capacité de résolution de problèmes. Compétences communicationnelles Capacité à communiquer clairement avec des interlocuteurs variés. Rédaction de documents clairs et structurés. Maîtrise de l’anglais à un niveau professionnel. Compétences comportementales Travail en équipe. Esprit d’analyse, de synthèse et de résolution de problèmes. Adaptabilité et flexibilité. Rigueur et respect des procédures. Qualités de communication orale.

👉 Contexte : Dans le cadre de la transformation digitale du Groupe, l’équipe Orchestration Business Transformation accompagne le déploiement des solutions omnicanales, l'amélioration continue et l'évolution des modèles opérationnels locaux. Au sein de cette équipe, le/la Responsable du Searchandizing pilote l'exécution et l’adaptation des stratégies de searchandizing dans plusieurs pays, en veillant à l’alignement avec les priorités globales tout en répondant aux besoins spécifiques des marchés régionaux. Il/elle accompagne les équipes locales (OpCos) dans l’utilisation des outils de recherche et de personnalisation (comme Bloomreach et Spark), et joue un rôle clé dans le renforcement des compétences, la performance de la recherche produit, et l'amélioration de l'expérience utilisateur. ⚙️ Missions détaillées : 🧭 Alignement stratégique & déploiement Adapter la stratégie de searchandizing globale aux spécificités régionales. Développer une feuille de route régionale pour l’intégration de fonctionnalités avancées (Bloomreach, Spark). Définir les KPIs régionaux en cohérence avec les objectifs globaux. 🎯 Exécution & optimisation Coordonner la mise en œuvre des actions d’optimisation de la recherche au sein des OpCos. Soutenir les initiatives locales et diffuser les bonnes pratiques. Accompagner l’intégration technique des outils (suivi de pixel, fonctionnalités Bloomreach). Définir les actions hebdomadaires à mener localement et assurer leur cohérence régionale. 📊 Suivi de performance & amélioration continue Analyser les KPIs globaux et locaux (taux de conversion, requêtes sans résultats, etc.). Mesurer l’impact des actions mises en place et recommander des ajustements. Participer à des programmes pilotes et en tirer des enseignements pour des déploiements à plus grande échelle. 🤝 Collaboration & transformation Animer des sessions de travail régulières avec les OpCos. Participer aux communautés de pratique (CoP) et partager les succès. Travailler en étroite collaboration avec l’équipe Transformation Business pour aligner les efforts sur les objectifs régionaux. Former et accompagner les ressources locales dans leur montée en compétence. 🎯 Objectifs clés du poste Mise en œuvre efficace des actions hebdomadaires. Suivi rigoureux des tableaux de bord de performance. Accompagnement et montée en compétence des équipes locales. Amélioration continue de l'expérience de recherche utilisateur.

Nous recherchons pour le compte de notre client un ingénieur devops ayant des connaissances data (cassandra, Airflow,Spark,Starbust,Kafka,HDP). Vos mission seront : En BUILD : Capable de suivre les projets et de co-construire avec l’IT métier. Servir de point d’entrée OPS sur les projets. Réaliser tous les gestes techniques de mise en production (installation, mises à jour, création/mise à jour des environnements). Mettre en place l’exploitation applicative avant le passage en RUN. Conseiller et accompagner techniquement, tout en respectant les standards du groupe . En RUN : Gérer les incidents et les changements sur tout le périmètre de la squad. Identifier et mettre en œuvre des axes d’optimisation et d’industrialisation . Améliorer continuellement le monitoring et l’exploitation des applications . 2. Un état d’esprit Agile & DevOps Travailler en mode Agile (Scrum, SAFe) . Être dans une démarche DevOps (automatisation, CI/CD, monitoring, culture produit) Profil : Nous recherchons un profil capable de : Intervenir sur le cycle complet : de la construction (BUILD) à l’exploitation (RUN). S’intégrer dans une squad Agile. Automatiser, sécuriser et optimiser les déploiements/applications. Maîtriser les environnements hybrides : Cloud, Data, On-Prem. S’appuyer sur des outils DevOps modernes (CI/CD, Ansible, ArgoCD, Kubernetes, Docker, etc.) Technologie à maîtriser : Outils DevOps : Ansible, ArgoCD (ou GITOPS) Cloud / IaaS : Linux, Websphere, Autosys, CFT. Cloud / PaaS : Kubernetes, Docker, OpenShift, PostgreSQL, ExaCC. Cloud / Data : Spark, Starburst, Airflow. Data On Prem : HDP, Cassandra, Kafka. Outils de suivi : ServiceNow (SNOW), JIRA.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Consultant Search Optimization ou un spécialiste Bloomreach Tâches : Coordonner la mise en œuvre des actions d’optimisation de recherche définies au niveau global. Accompagner les parties prenantes dans leurs initiatives locales de searchandizing et diffuser les bonnes pratiques au niveau régional (ex. : améliorations spécifiques à un assortiment ou à une cible). Faciliter l’intégration des fonctionnalités Bloomreach et Spark, incluant le suivi des pixels. Veiller au respect des bonnes pratiques issues du Bloomreach Playbook . Participer aux projets pilotes et partager des retours régionaux pour des déploiements globaux à grande échelle. Définir les priorités et actions hebdomadaires pour les parties prenantes afin d’assurer l’alignement global. Suivre et analyser les KPI globaux et locaux , et identifier les axes d’amélioration. Évaluer l’efficacité des actions hebdomadaires, des optimisations de recherche et des intégrations de fonctionnalités au niveau régional.

Nous recherchons un Tech Lead Data (H/F) pour intervenir sur un projet stratégique autour d’une plateforme digitale innovante, connectée à des infrastructures réparties dans plusieurs pays. L’objectif de la mission est de contribuer au développement, à l’évolution et au maintien en conditions opérationnelles d’un Data Lake et de ses pipelines. Vos principales responsabilités : Concevoir et développer des pipelines Data sur Databricks, Python, Spark SQL et Azure Blob Storages . Participer aux déploiements sur les environnements de test et de production. Assurer la maintenance corrective et évolutive des composants logiciels en production. Collaborer avec les équipes de développement Web, IoT, SQL et autres pôles techniques. Apporter un support technique et participer aux choix d’architecture et de conception. Contribuer activement à une organisation en méthodologie Agile (SCRUM) au sein d’une équipe pluridisciplinaire.

Développeur Java Angular Aix en Provence Fullstack Expérience souhaitée : 7 ans Angular : 3/4 ans Compétences techniques nécessaires : Développement Back-end (5 ans minimum) : Java, Quarkus Développement Front-end (mise en œuvre): Angular ou autre framework front-end CI/CD : maîtrise complète de l’un des outils (Jenkins, GIT CI/CD ou autre) Virtualisation : Environnement Kubernetes, Docker Pratiques : Clean code Compétences techniques qui seraient un avantage : Développement data : Hadoop, Spark, Kafka, Redis, Elastic Développement Back-end : Kotlin CI/CD : maîtrise des outils Jenkins ou Concourse Méthodes projet : Agilité pratiquée Développeur Java Angular Aix en Provence

Développeur Java Angular Aix en Provence Fullstack Expérience souhaitée : 7 ans Angular : 3/4 ans Compétences techniques nécessaires : Développement Back-end (5 ans minimum) : Java, Quarkus Développement Front-end (mise en œuvre): Angular ou autre framework front-end CI/CD : maîtrise complète de l’un des outils (Jenkins, GIT CI/CD ou autre) Virtualisation : Environnement Kubernetes, Docker Pratiques : Clean code Compétences techniques qui seraient un avantage : Développement data : Hadoop, Spark, Kafka, Redis, Elastic Développement Back-end : Kotlin CI/CD : maîtrise des outils Jenkins ou Concourse Méthodes projet : Agilité pratiquée

CONTEXTE Experience : 6 ans et plus Métiers Fonctions : Architecture technique, Sécurité, Méthode, Architecte applicatif Spécialités technologiques : Infrastructure, SSO Compétences Technologies et Outils GIT Docker Bash Hadoop Kubernetes Linux Spark Keycloak Soft skills Autonomie Force de proposition MISSIONS Au sein du département Innovation et Données, vous rejoindrez une équipe de 10 architectes, dont une sous-équipe de 3 personnes dédiée à l’intégration de l’infrastructure du client. Encadré par le Directeur du domaine, vous interviendrez comme référent technique applicatif, en appui des équipes architecture et SOC. L’objectif : accompagner les équipes et les porteurs de projets dans la conception et l’intégration d’applications au sein de la plateforme, tout en garantissant le respect des normes et standards en place. - Être le référent technique applicatif auprès de l’équipe architecture. - Accompagner et conseiller les porteurs de besoins pour proposer des designs applicatifs adaptés ou faire évoluer des solutions existantes. - Concevoir et intégrer des applications dans l’infrastructure (Docker, Kubernetes, Spark). - Garantir la conformité aux normes d’architecture, de sécurité et aux bonnes pratiques en vigueur. - Apporter un support technique aux équipes pour l’intégration et la maintenance (MCO) des produits. - Rédiger la documentation technique et assurer la transmission des connaissances. - Former les équipes N1/N2 à la maintenance et au suivi des outils. - Suivre les projets, identifier les risques et remonter les alertes. - Contribuer à la dynamique de l’équipe et être force de proposition, notamment sur les enjeux sécuritaires. Organisation du temps de travail (indicatif) 70% : études & réalisations techniques 20% : MCO / suivi opérationnel 10% : veille technologique et fonctionnelle Expertise souhaitée Compétences techniques requises - Architecture applicative : expérience confirmée (> 8 ans). - Langages : Python et Bash. - Outils & environnements : Git, Linux (Rocky, Alpine, Ubuntu). - Conteneurisation & orchestration : Docker, Kubernetes (CKS apprécié). - Sécurité & IAM : protocoles SSO (SAML2, OIDC), outils comme Keycloak. - Cloud Native architectures. - Bases de données : SQL / NoSQL, pipelines de traitement (Message Queue, DAG). Compétences bonus : - Environnements : CEPH, Proxmox, SLURM. - Standards santé : FHIR, DICOM, OMOP. - Big Data : Hadoop, Spark, HDFS. - IA : Torch, CUDA, MLOps. - Connaissance des problématiques fonctionnelles dans le secteur santé Profil recherché - Architecte applicatif senior avec un solide background technique. - Capacité à garder une vision métier forte et à accompagner les équipes dans la traduction des besoins en solutions applicatives. - Expérience dans des environnements complexes, nécessitant respect des normes, sécurité et interopérabilité. - Excellentes capacités de communication et de pédagogie (rôle de référent et de formateur). - Force de proposition, autonomie et goût pour l’innovation.

Missions Concevoir, développer et industrialiser des pipelines (batch/near-real-time) robustes et scalables. Modéliser les données et déployer des datasets normés (ex. utilisateurs, comportements, référentiels). Mettre en place le contrôle qualité (tests, règles, SLA, observabilité) et la gouvernance/catalogue . Orchestration, CI/CD et Infra as Code pour des déploiements reproductibles. Garantir sécurité, stabilité et performance des traitements. Documenter (technique & runbooks) et accompagner les équipes utilisatrices (vulgarisation, bonnes pratiques). Assurer la veille et la standardisation des patterns/outils data. Livrables Pipelines production-ready avec documentation et monitoring. Framework qualité (règles, tests, dashboards). Datasets normés publiés et référencés dans le catalogue. Guides d’exploitation / transfert de compétences. Stack & outils Langages : Python, SQL. Traitements : dbt , Spark (selon besoins). Data Warehouse : BigQuery . Gouvernance/Catalogue : Dataplex (Universal Catalog) . Orchestration : Airflow . CI/CD : GitLab & GitLab CI/CD . Infra as Code : Terraform & Terragrunt . Cloud : GCP .

🎯 Contexte du poste Nous recherchons un Data Engineer confirmé afin d’accompagner un projet de migration stratégique de notre plateforme Data. Le consultant interviendra au sein d’équipes techniques et métiers pour assurer la transition et l’optimisation des flux de données. 🛠️ Missions principales Concevoir, développer et maintenir des pipelines de données performants et scalables. Assurer la migration des traitements Talend vers Spark sur EMR (Amazon Elastic MapReduce). Mettre en place des modèles de données et des tables optimisées avec Apache Iceberg. Garantir la qualité, la fiabilité et la performance des flux de données. Collaborer avec les équipes Data, DevOps et métiers pour accompagner la transformation de la plateforme. 📌 Compétences techniques requises Talend : expertise dans les flux existants et leur migration. Spark (PySpark/Scala) sur EMR : maîtrise des traitements distribués et optimisation. Apache Iceberg : connaissance des formats de tables modernes (partitionnement, évolutivité, performance). DevOps (nice to have) : CI/CD, Docker, Kubernetes, Terraform, GitLab. Cloud AWS : maîtrise des services liés au Big Data (S3, EMR, Glue, etc.). 🌍 Soft skills et linguistique Anglais courant (fluent) : échanges réguliers avec des équipes internationales. Autonomie, capacité d’adaptation, esprit d’analyse. Bon relationnel et aptitude au travail en équipe agile. 🚀 Profil recherché Minimum 4/5 ans d’expérience en tant que Data Engineer. Expérience significative dans des projets de migration de flux Data. Capacité à intervenir dans des environnements complexes et à forte volumétrie de données.

Emagine est à la recherche d’un(e) Data Scientist / Expert en Machine Learning pour des projets stratégiques impliquant des techniques avancées de modélisation et d’apprentissage automatique. 📍 Lieu : Roissy en France ⏳ Type de contrat : Consultant 📅 Date de début : Octobre 2025 Responsabilités principales : Votre rôle impliquera : Développer et remettre en question les modèles mathématiques et statistiques existants. Concevoir et mettre en œuvre des solutions d’apprentissage automatique pour l’optimisation des processus et la prise de décision. Collaborer avec les équipes d’ingénierie des données pour intégrer les modèles dans les environnements de production. Assurer la qualité, la robustesse et la maintenabilité des modèles et scripts développés. Exigences clés : Expérience avérée en modélisation mathématique et statistique . Expertise en apprentissage automatique avec la capacité de challenger les modèles existants. Maîtrise des meilleures pratiques Python et expérience de Spark, Git, Bash et SQL. Connaissance des environnements Unix/Linux et des solutions cloud, en particulier GCP . Maîtrise de l’anglais (écrit et parlé). Doctorat en mathématiques ou en physique très apprécié. Bon à avoir : Expérience avec les outils de visualisation de données . Solides compétences en communication . Autres détails : Ce poste est entièrement à distance et devrait commencer en octobre 2025. Il offre l’opportunité de travailler sur des projets avancés dans une industrie innovante.

Vos principales responsabilitésComitologie, documentation & cartographie data Préparer et animer les instances transverses DSIM (League Design Data, Guildes Data, etc.) Documenter les assets Data de la plateforme DSIM (SimDoc, Datahub, Datalab) Réaliser la cartographie des données et concevoir/développer les outils associés Expertise Data Apporter un accompagnement technique et un rôle de conseil sur les projets Data / Big Data (Datahub & Datalab) Participer à l’analyse, la conception et la refonte d’assets Data transverses Contribuer au suivi des évolutions et migrations de la stack technique DSIM Facilitation et coordination Jouer un rôle de médiation entre projets transverses Accompagner l’expression des besoins et la rédaction de spécifications technico-fonctionnelles Compétences obligatoires Minimum 10 ans d’expérience dans le domaine Data / Big Data Maîtrise de la modélisation et cartographie Data Maîtrise des environnements : Spark/Java, Kafka Entreprise, Starburst, OpenShift, SQL Excellentes qualités relationnelles : coordination, écoute, pédagogie Compétences optionnelles Power BI SAS Python

Nous recherchons un(e) Software Data Engineer pour l'un de nos clients grand compte. Missions : • Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark • Traiter et normaliser les données • Refactoriser des imports existants pour être compliant avec l'architecture médaillon (silver + gold layers) • Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud • Distribuer les données aux différents consommateurs/Métiers • Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog • Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) • Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, … • Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données • Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. • Être force de proposition pour améliorer les processus et les performances des systèmes. Compétences requises : • Expertise en Scala et Spark. • Expérience significative dans le développement d'ETL en contexte Big Data. • Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec expérience pratique • Compétences Dev/Ops • Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes. • Organisation, orientation résultats et intérêt marqué pour le fonctionnel. • Des compétences en Python et REACT seraient un plus pour le candidat

🚀 Mission Freelance – Tech Lead Data Engineer (H/F) 🗓️ Démarrage : ASAP 📆 Durée : 3 ans 📍 Localisation : Hauts-de-Seine (92) – 3 jours sur site / semaine 💰 TJM max : 600€ 💼 Expérience requise : 5 ans minimum en tant que Tech Lead ⚠️ Compétences techniques indispensables : • Databricks (Expert) • Spark (Expert) • Azure (Confirmé) • Excellente maîtrise de la modélisation de données 🎯 Objectif de la mission : Accompagner la direction Data dans la structuration technique et l’industrialisation des traitements de données, tout en garantissant la montée en maturité des équipes et la qualité des livrables. 🛠️ Vos responsabilités principales : • Assurer un leadership technique fort au sein des équipes Data • Définir et diffuser les guidelines techniques et standards de développement • Concevoir une architecture Azure / Databricks performante et sécurisée • Superviser la conception, le développement et les tests des pipelines Data • Réaliser la modélisation des données et garantir leur cohérence dans le SI • Identifier et prioriser la dette technique pour planifier sa résorption • Conseiller les équipes métiers et techniques pour aligner la vision stratégique • Promouvoir les bonnes pratiques Data Engineering et animer la communauté interne • Participer à des POCs et assurer une veille technologique continue ✅ Livrables attendus : • Guidelines techniques et standards de développement • Cartographie priorisée de la dette technique 📢 Suivez Suricate iT pour découvrir toutes nos missions. 👉

Qui sommes-nous ? Anafi Consulting est un cabinet de conseil basé à Paris, fondé en 2023. Nous accompagnons nos clients grands comptes dans leurs transformations technologiques et organisationnelles, avec une expertise forte en DevOps, Data, Craft, sécurité et numérique responsable . Nous intervenons dans des secteurs variés : finance, télécommunications, IT et nucléaire . Votre rôle Dans le cadre d’un projet stratégique de modernisation des plateformes Cloud et Data, nous recherchons un(e) Architecte Solutions Cloud GCP expérimenté(e). Vous interviendrez sur des sujets d’ architecture hybride, de Data Management et d’optimisation cloud , tout en accompagnant les équipes techniques et métiers dans l’adoption des meilleures pratiques Cloud. Votre rôle combinera expertise technique, conception d’architectures sécurisées et évolutives , et accompagnement au changement auprès des équipes internes. Vos missions principales Concevoir et faire évoluer des architectures Cloud GCP sécurisées, performantes et résilientes. Participer à la conception de solutions hybrides assurant la réversibilité et la consommation de données entre le cloud et l’on-premise. Contribuer à la mise en œuvre de solutions Data Management sur GCP (BigQuery, Starburst, Minio, Apache Spark). Fournir conseil et expertise sur les bonnes pratiques GCP, la gouvernance et l’optimisation des coûts. Réaliser et présenter les dossiers d’architecture auprès des équipes techniques et des instances de gouvernance. Acculturer et former les équipes d’architectes internes sur les fondamentaux et les services Cloud GCP (présentations, ateliers, documentation). Participer à l’ implémentation et au déploiement des solutions conçues. Promouvoir les principes d’ architecture résiliente et les pratiques Agile & DevOps .