Find your next tech and IT Job or contract Apache Spark

· Déploiement et administration avancée des applications Spark, Trino ou Jupyter sur Kubernetes. · Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL (Trino), tuning des jobs Spark. · Gestion du RUN et support applicatif : diagnostic et résolution des incidents, amélioration continue des performances, accompagnement des utilisateurs sur l’optimisation des requêtes. · Mise en place de l’approche GitOps : automatisation complète du déploiement et de la gestion des applications avec Terraform, Ansible, Git, ArgoCD/FluxCD. · Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Hanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to Belgium Advanced Data & Application Lifecycle Data Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...), Application design, development, testing & deployment, Requirement Analysis Advanced Data Processing & Programming Language Apache Spark, Scala, SQL Advanced Real-time Processing Streaming Technologies (Apache Spark) or Flink Advanced Data Storage Iceberg, Delta Table, Parquet, Avro, CSV,JSON Cloud Platforms AWS, Snowflake (preferred) or Zure Databricks Intermediate Development Tools GIT CI/CD, DBT, Containers Afin de répondre aux besoins de nos clients, nous n'acceptons que les candidatures de freelances travaillant au sein de leur propre entreprise (SAS, SASU, SARL, EURL, etc.). N'hésitez pas à me contacter si vous souhaitez discuter de ce poste plus en détail.

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Vous serez en charge du déploiement ainsi que du MCO/MCS de l’écosystème Cloudera (Cloudera Manager, services Cloudera Data Platform : HDFS, Vous interviendrez également sur la gestion d’une architecture Lake house , comprenant : Data Security : Apache Ranger Data gouvernance : Apache Atlas Data processing : Spark, Apache Zeppelin Data ingestion : NiFi Data analytics : Apache Impala Data lake : Hadoop, Apache Kudu Data serving : Hue Responsabilités Documenter les procédures d’exploitation et rédiger des rapports synthétiques Garantir le bon fonctionnement des services dans le respect des SLA Opérer en environnement de production en s’appuyant sur les processus ITIL (gestion des incidents, problèmes, changements) Communiquer en anglais avec les éditeurs (dont Cloudera) et les fournisseurs Automatiser les déploiements (fichiers de configuration, certificats, keystores) via Ansible Utiliser les outils DevOps (GitHub, Jenkins) pour le versionning et les pipelines Exploiter les environnements Linux et analyser les logs dans le cadre du traitement des incidents Être force de proposition concernant l’amélioration de l'exploitabilité, la robustesse et la supervision des services Participer aux réunions d’équipe, aux projets et aux différents comités, et assurer un reporting régulier Livrables attendus Dossier d’ingénierie de la plateforme Lake house Fiches et procédures d’exploitation Dossier de mise en production PV de mise en production

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Bonjour 👽, Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure. Missions principales : Participer au développement des User Stories (US) et réalisation des tests associés. Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d’exploitation. Mettre en place et maintenir le CI/CD sur l’usine logicielle. Assurer la mise en place du monitoring . Collaborer étroitement avec l’équipe projet ; pas de responsabilité de production individuelle. Travailler dans un environnement agile avec priorisation et gestion multi-projets. Compétences techniques indispensables : Maîtrise de Scala et Spark (batch principalement). Optimisation des jobs Spark et traitement de volumétries importantes / complexes . Bonnes pratiques de développement Scala et build Maven. Expérience en environnement cloud , idéalement Azure . Compétences techniques appréciées : Écosystème Databricks Azure Functions et Azure Data Factory Monitoring sous Datadog Déploiement avec Ansible Compétences transverses : Aisance relationnelle et esprit d’équipe Autonomie, rigueur et esprit d’analyse Capacité de synthèse et force de proposition Sens des priorités et respect des délais Appétence client et compréhension métier / fonctionnelle Mentoring et partage de connaissances

🔎 Contexte de la mission Intervention au sein de la Direction des Systèmes d’Information d’un acteur bancaire. Mission réalisée dans une équipe de données transverses opérant en support des directions : Finance Marketing Crédit L’équipe n’intervient pas sur des sujets cybersécurité , mais se concentre sur : Les enjeux réglementaires Le reporting opérationnel et financier La mise à disposition de données à d’autres équipes (dont IA et modernisation Azure) 👥 Organisation Équipe de 10 à 15 personnes (mix France + offshore Inde) 3 internes / plusieurs prestataires externes Encadrement par un IT Lead ⚙️ Environnement technique Cloud & orchestration Azure Azure Databricks Azure DevOps (CI/CD) Data pipeline Python (Airflow, FastAPI) SQL / PostgreSQL Spark DataVault (modélisation) DBT (prochainement intégré) Fichiers via couche FTP Visualisation & automatisation Power BI (rationalisation en cours) Power Automate Azure AI / ML (projets IA à venir en 2026) Gouvernance & data Data Store Domain Atlas Autres informations 📍 Localisation : Paris 8ème 🕒 Durée estimée : 3 ans 🗓️ Démarrage souhaité : ASAP selon disponibilité 🗣 Langue de travail : anglais courant (collaboration avec équipes offshore)

Data Engineer Spark/Scala Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandées Compétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Pourquoi cette mission ? Rejoignez la DSI d’un grand groupe bancaire pour piloter la transformation technique des plateformes Risk . Au menu : architectures data & services modernes, industrialisation CI/CD, Kubernetes à l’échelle, qualité logicielle au cordeau — avec un vrai impact sur la performance et la fiabilité du SI Risque. Votre rôle Tech Lead hands-on, vous pilotez la conception et l’industrialisation des produits Risk RRO , vous accompagnez les devs au quotidien et vous êtes le point d’entrée technique des architectes. Vous faites progresser les standards d’ingénierie, sécurisez les mises en production et tenez le cap sur la dette/obsolescences. Missions clés Cadrage & architecture Concevoir des solutions en architectures orientées Data & Services (dont hexagonale ). Contribuer aux choix techniques, challenger les patterns, cadrer les impacts. Engineering & qualité Définir les bonnes pratiques de dev (code review, testabilité, perf, SLO/SLA, qualimétrie Sonar). Mettre en place/faire évoluer les CI/CD (GitLab CI, runners, quality gates, artefacts). Prendre en charge des développements ciblés et les tests (unitaires, non-régression). Run & fiabilité Veiller au bon fonctionnement des applications, suivre les incidents, piloter les corrections. Gérer les obsolescences techniques et planifier les remédiations. Leadership & delivery Animer les rituels (ateliers, points d’avancement), lever les blocages, arbitrer. Faire monter en compétence les équipes de développement (multi-sites). Estimer/chiffrer les solutions, tenir les jalons, produire la documentation technique . Interface & gouvernance Être l’interlocuteur privilégié des architectes pour aligner les évolutions techniques. Garantir la mise en œuvre des préconisations d’architecture au fil des releases. Environnement technique Dev & qualité : GitLab, Artifactory, Sonar Plateformes : Kubernetes , Kafka, Airflow, MapR (Flexible LakeHouse apprécié) Langages & frameworks : Python , Java (Spring), Angular , Spark , Shell Data : DB2 , PostgreSQL , Vertica , Hadoop Livrables attendus Dossiers d’architecture & schémas Pipelines CI/CD industrialisés, artefacts versionnés Code & tests (unitaires, non-régression) + documentation technique Plans de remédiation des obsolescences et comptes-rendus de qualité Notes de cadrage, chiffrages et plans de delivery

Espace Freelance recherche pour l'un de ses clients un : Architecte / Ingénieur Data Senior (H/F) Vos missions Concevoir l’architecture data pour l’ingestion, le stockage et l’exposition des données IoT. Développer des pipelines évolutifs pour données structurées et non structurées. Définir la stratégie technique et garantir l’intégration/déploiement continu (CI/CD). Maintenir et optimiser les pipelines existants pour de nouveaux cas d’usage (BI, maintenance prédictive, détection d’accidents…). Assurer la qualité, la gouvernance et la traçabilité des données. Contribuer à la communauté Data et participer au choix des outils et normes d’architecture.

En tant que Business Analyst expérimenté, vous êtes responsable du cycle de vie complet de l'intégration des flux de paiement : Coordination et Pilotage des Flux : Animer et coordonner les différentes équipes impliquées : Équipes M3 (ERP), Spark (Middle Office), Équipes de Développement (Front/Back) et le Partenaire PSP. Garantir l'alignement des parties prenantes sur les objectifs du projet et les spécifications techniques et fonctionnelles. Analyse et Spécification Fonctionnelle : Recueillir, analyser et formaliser les besoins métier en lien avec l'outil de paiement (processus de commande, annulation, remboursement, gestion des fraudes, etc.). Rédiger les Spécifications Fonctionnelles Détaillées (SFD) et les user stories claires et exploitables pour les équipes de développement. Suivi et Validation des Développements : Assurer la transmission et l'interprétation des spécifications aux équipes de développement. Réceptionner et valider les livrables techniques en vous assurant de leur conformité avec les spécifications initiales. Tests et Recette (E2E/UAT) : Concevoir et exécuter les tests de bout en bout ( End-to-End Tests ) pour valider l'intégralité de la chaîne de paiement. Coordonner et piloter les tests d'Acceptation Utilisateur ( User Acceptance Tests - UAT ) avec les équipes métier.

Contexte de la mission Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming. Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux. Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud. Stack technique & environnement Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours) Orchestration : StreamSets, Airflow Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy) Langages : Python, Scala, SQL CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE) Monitoring : Grafana, Prometheus, Elastic Stack

Nous recherchons un Lead Data Engineer / Data Engineer Senior pour renforcer une équipe data travaillant sur une plateforme moderne Azure / Databricks . Votre rôle : concevoir, industrialiser et optimiser des pipelines Big Data, tout en jouant un rôle de référent technique auprès de l’équipe. Compétences indispensables Big Data : Spark, Databricks Ingestion / Streaming : Kafka, Apache NiFi Cloud : Microsoft Azure Langages : Scala ou Java + Python + SQL Orchestration : Airflow CI/CD & DevOps : Azure DevOps, Git Compétences appréciées Dataiku Ansible Connaissance Data Lake / architectures medallion Vos missions Concevoir et industrialiser des pipelines Big Data (batch & streaming). Développer des flux d’ingestion avec NiFi, Kafka, Spark. Optimiser performance, qualité et scalabilité. Participer à l’architecture et aux choix techniques. Encadrer techniquement l’équipe (guidelines, bonnes pratiques, code review). Contribuer aux automatisations et à l’orchestration (Airflow, Ansible, DevOps).

En renfort de l’entité Solutions Data pour participer activement (Run/Build/Expertise et Accompagnement) aux sujets ci-dessous dans un environnement hybride Cloud/On-Premise (avec le On-Premise en cible) : Participer à l’élaboration du design technique des produits logiciels, Faciliter la recherche de solutions techniques, Prendre en charge une partie des dév. Accompagner les autres Dév. (Coaching, optimisation de code, …), Collaborer à l’intégration des produits dans le SI avec l’architecte data, Garantir la qualité des produits logiciels, Accompagner les directions métiers dans la réalisation de leurs cas d’usage data