Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Je recherche pour un de mes clients dans le domaine de la banque/Assurance un Data Engineer : Contexte de la mission Dans le cadre d'un renfort équipe, nous sommes en recherche d’un profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) pour intervenir sur des sujets en lien avec le périmètre marketing. Le prestataire interviendra au sein d'une équipe Big Data d'une quinzaine de personnes travaillant en mode projet agile. Objectifs et livrables Il contribuera au Run quotidien et à l'évolutivité des applications métiers tels que : la segmentation client marketing le calcul d'indicateurs de téléphonie le datamart marketing et bien d'autres. Le candidat devra faite preuve d'autonomie, de rigueur et d'un bon sens de la communication. Les compétences techniques attendues sont : Airflow Kafka, Hadoop, Bases relationnelles et NoSQL Spark Scala SQL CI/CD et DevOps Des compétences sur le cloud Azure et la conception de Webservices REST seraient appréciées. De manière générale il doit pouvoir documenter ses travaux, présenter ses réalisations en adaptant son discours et interagir avec l’ensemble des acteurs projets, ceux de l'équipe, des autres équipes IT et métiers. Compétences demandées : Apache Airflow, HADOOP, DEVOPS, KAFKA, SCALA, Spark

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Data Engineer Spark/Scala Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandées Compétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Au sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d’intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks. Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9, etc.). Missions principales : -Participer au développement et à l’intégration de nouvelles sources de données au sein du Datalake Finance. -Assembler et distribuer les données aux consommateurs métiers tout en garantissant la pérennité et la performance des pipelines existants. -Contribuer à la conception technique, l’implémentation et les tests des flux sous Spark / Scala. -Veiller à la non-régression et à la qualité du code dans le cadre des évolutions du socle. -Travailler en méthodologie Agile (Scrum / Kanban) avec les équipes métiers, data et maintenance. -Participer à la documentation technique et aux revues de code. Profil recherché : -5 à 6 ans d’expérience en environnement Big Data / Datalake. -Solide maîtrise de Spark / Scala et des paradigmes de programmation fonctionnelle (ZIO, Monix, Cats appréciés). -Connaissance des écosystèmes Hadoop, Hive, Kafka, HBase, Kerberos. -Expérience dans un cadre Agile (Scrum / Kanban) et outils associés (Jira, Confluence). -Esprit analytique, autonomie, rigueur et bon relationnel.

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Contexte du poste: Dans le cadre du développement de sa plateforme Data & Analytics, l'entreprise recherche un Développeur Spark/Scala expérimenté pour rejoindre une équipe agile en pleine croissance. Vous interviendrez sur des projets stratégiques de traitement de données massives et d’industrialisation de pipelines analytiques dans un environnement Cloud et DevOps. Missions principales: Conception et développement de pipelines Big Data avec Spark & Scala Traitement de données batch et temps réel Optimisation de performances et tuning Spark Implémentation de scripts d’industrialisation et automatisation via CI/CD Participation aux cérémonies Agile et collaboration avec les Data Engineers et Architectes Contribution à la mise en production et au MCO des solutions développées Environnement technique: Langages & Frameworks Scala & Spark (obligatoire) Python (confirmé) Java (optionnel, un plus) CI/CD & Automatisation Jenkins (maîtrise impérative) XLR / XLD (XL Release & XL Deploy) Git, Maven Data & Cloud (bonus) Kafka, Hadoop, HDFS Cloud GCP ou Azure (apprécié)

Lead dev python / spark à Paris Profil senior, capable par exemple d’intervenir quand une plateforme swape, d’organiser et de structurer des upgrades de versions (ex : spark 3 vers spark 4) Besoin d'une expertise en développement python / spark Intervention au sein d'une petite équipe sur une plateforme d’hypervision de services. Il s'agit d'un projet data novateur Localisation Paris IM 2 jours de TT par semaine Goals and deliverables Apporter une expertise en développement python + spark / pyspark Développer personnellement Intervenir sur des opérations exceptionnelles : Profil senior, capable par exemple d’intervenir quand une plateforme swape, d’organiser et de structurer des upgrades de versions (ex : spark 3 vers spark 4) Etre source de conseil Expected skills PYSPARK Confirmed POSTGRESQL Advanced LINUX Confirmed GIT Confirmed Programmation Python Expert ANGULAR Advanced Spark Streaming Expert

Contexte de la mission Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming. Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux. Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud. Stack technique & environnement Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours) Orchestration : StreamSets, Airflow Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy) Langages : Python, Scala, SQL CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE) Monitoring : Grafana, Prometheus, Elastic Stack

Nous recherchons un DATA ENGINEER AWS pour un démmarage mission en début d'année Compétences techniques requises pour candidater : Expérience significative sur AWS (S3, EMR, EKS, EC2, Lambda, Athena...) Maîtrise avancée de Spark Scala, Python et SQL Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow

Pourquoi cette mission ? Rejoignez la DSI d’un grand groupe bancaire pour piloter la transformation technique des plateformes Risk . Au menu : architectures data & services modernes, industrialisation CI/CD, Kubernetes à l’échelle, qualité logicielle au cordeau — avec un vrai impact sur la performance et la fiabilité du SI Risque. Votre rôle Tech Lead hands-on, vous pilotez la conception et l’industrialisation des produits Risk RRO , vous accompagnez les devs au quotidien et vous êtes le point d’entrée technique des architectes. Vous faites progresser les standards d’ingénierie, sécurisez les mises en production et tenez le cap sur la dette/obsolescences. Missions clés Cadrage & architecture Concevoir des solutions en architectures orientées Data & Services (dont hexagonale ). Contribuer aux choix techniques, challenger les patterns, cadrer les impacts. Engineering & qualité Définir les bonnes pratiques de dev (code review, testabilité, perf, SLO/SLA, qualimétrie Sonar). Mettre en place/faire évoluer les CI/CD (GitLab CI, runners, quality gates, artefacts). Prendre en charge des développements ciblés et les tests (unitaires, non-régression). Run & fiabilité Veiller au bon fonctionnement des applications, suivre les incidents, piloter les corrections. Gérer les obsolescences techniques et planifier les remédiations. Leadership & delivery Animer les rituels (ateliers, points d’avancement), lever les blocages, arbitrer. Faire monter en compétence les équipes de développement (multi-sites). Estimer/chiffrer les solutions, tenir les jalons, produire la documentation technique . Interface & gouvernance Être l’interlocuteur privilégié des architectes pour aligner les évolutions techniques. Garantir la mise en œuvre des préconisations d’architecture au fil des releases. Environnement technique Dev & qualité : GitLab, Artifactory, Sonar Plateformes : Kubernetes , Kafka, Airflow, MapR (Flexible LakeHouse apprécié) Langages & frameworks : Python , Java (Spring), Angular , Spark , Shell Data : DB2 , PostgreSQL , Vertica , Hadoop Livrables attendus Dossiers d’architecture & schémas Pipelines CI/CD industrialisés, artefacts versionnés Code & tests (unitaires, non-régression) + documentation technique Plans de remédiation des obsolescences et comptes-rendus de qualité Notes de cadrage, chiffrages et plans de delivery

Contexte : Au sein d’une petite équipe en charge d’une plateforme d’hypervision de services (projet data novateur), vous apportez une expertise Python / Spark. Rôle mêlant développement personnel, conseil et interventions ponctuelles à fort enjeu. Missions : -Développer et faire évoluer des traitements Python / PySpark (batch & streaming) au sein de la plateforme. -Être force de conseil sur les choix techniques (performance, coût, maintenabilité). -Intervenir sur opérations exceptionnelles : gestion d’incidents majeurs (ex. swap mémoire, saturation), planification & conduite d’upgrades (ex. Spark 3 → Spark 4). -Accompagner les bonnes pratiques : tests, revues de code, Git, CI/CD et qualité. -Collaborer avec l’équipe (Data/Produit) et contribuer à la documentation. Objectifs & livrables : -Apporter une expertise Python + Spark / PySpark opérationnelle. -Livrables de dev (features, fixes), guides techniques (upgrade, tuning, exploitation) et recommandations. Profil recherché : - >8 ans d’expérience en développement backend/data, dont ≥3 ans sur Python & Spark en environnement de prod. -Solide pratique PySpark. -Expérience PostgreSQL. -À l’aise Linux.

En tant qu’Ingénieur Data Senior, vous jouerez un rôle clé dans la conception, le développement et l’optimisation de solutions data innovantes pour le secteur bancaire. Vous serez un membre essentiel de l’équipe Data Engineering et collaborerez avec des experts métiers, data scientists et développeurs pour transformer les plateformes digitales de nos clients. Vos missions principales Concevoir, développer et maintenir des solutions big data robustes et évolutives avec Hadoop, Spark, Kafka… Mettre en œuvre des pipelines de données temps réel et batch pour des cas d’usage complexes Garantir la qualité, la sécurité et la conformité des données à chaque étape du cycle de vie Intégrer des solutions de streaming avec Kafka pour des analyses quasi temps réel Développer et maintenir des microservices en Node.js Encadrer les ingénieurs juniors et promouvoir les bonnes pratiques

Je recherche un Data Ingénieur afin de rejoindre l' équipe Gold Pilotage. L’équipe est constituée d’un Product Owner et de deux Data ingénieurs, est en charge de la mise à disposition des données utiles pour le pilotage des offres numériques et à l’ensemble des dashboards et reporting via son produit “Data4All”.afin de maintenir et faire évoluer la Data4all et les différents dispositifs de l’équipe Accompagne les utilisateurs des données dans leurs usages, Mettre en place le contrôle qualité sur les données traitées par l’équipe Notre stack technique est principalement constituée de Python, SQL, dbt , BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. La stack inclut aussi d’autres services de la Google Cloud Platform Prestations attendues : En interaction avec les membres de l’équipe, la mission consiste à : Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe Construire et maintenir des modèles de données et des pipelines data robustes et scalables Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données Organiser et structurer le stockage des données Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données Construire et maintenir les workflows de la CI/CD Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur Assurer l’évolutivité, la sécurité, la stabilité des environnements Participer aux différentes instances des data ingénieurs Contribuer et veiller à la mise à jour de la documentation Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : Compétences solides en data : structures de données, code, architecture Expériences dans la conception et la réalisation de pipelines data Expériences dans un environnement du cloud Google (GCP) Expériences intégrant BigQuery et Dataplex Universal Catalog Expériences intégrant les langages Python et SQL Expériences intégrant Spark Expériences intégrant dbt Expériences intégrant Terraform et Terragrunt Expériences intégrant Gitlab et Gitlab CI/CD Expériences intégrant les méthodologies Agile : Scrum ou Kanban Capacité à vulgariser et à communiquer sur des aspects purement techniques

Contexte : Nous recherchons un Data Engineer pour participer à une mission sur un environnement cloud AWS. Le candidat évoluera au sein d’une équipe digitale internationale et contribuera à la conception, au développement et à la mise en production de solutions data à grande échelle. Profil recherché : Expérience confirmée en tant que Data Engineer ou rôle équivalent. Capacité à collecter les besoins métiers et utilisateurs et à les traduire en architecture de données. Expérience dans la conception et le développement de pipelines de données robustes et évolutifs. Autonomie et rigueur dans la mise en production et la maintenance d’architectures data. Bonnes capacités de communication et aptitude à travailler en équipe multidisciplinaire. Compétences techniques requises : Python – maîtrise avancée (4/4) PySpark – maîtrise avancée (4/4) Databricks – niveau confirmé (3/4) AWS – niveau confirmé (3/4) Anglais – professionnel (3/4) Conditions de travail : Télétravail : 2 jours par semaine Présence obligatoire sur site : 3 jours par semaine Lieu : Paris Début de mission : 08/12/2025 Processus de sélection : Codingame à compléter dans les 48h après réception. Proctoring appliqué pour le codingame. Soutenances techniques prévues après le codingame.