Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Nous recherchons un Architecte Data GCP senior pour accompagner une grande organisation française dans la structuration et l’évolution de sa Data Platform au sein d’équipes pluridisciplinaires (Data Engineers, Data Scientists, Product Owners, équipes techniques transverses…). Vos missions En tant qu’Architecte Data, vous interviendrez sur un périmètre stratégique incluant : Architecture Data Garantir la cohérence et la standardisation de la stack technique entre les différentes équipes. Auditer l’architecture existante et proposer des améliorations structurantes. Définir les contrats d’interface entre les équipes (data products / data mesh). Participer à l’introduction et aux tests de nouvelles technologies. Veille technologique continue sur les solutions Cloud & Data. Developer Experience Contribuer à la rédaction et à l’industrialisation de modules Terraform / Terragrunt. Accompagner les équipes dans la montée en compétence sur l’Infrastructure as Code. Définir les standards CI/CD applicables à l’ensemble des équipes Data. FinOps Suivi et contrôle du budget Data (multi-équipes). Mise en place d’outils de monitoring, alerting et optimisation des ressources. Identification et priorisation des optimisations de coûts Cloud.

Bonjour 👽, Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure. Missions principales : Participer au développement des User Stories (US) et réalisation des tests associés. Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d’exploitation. Mettre en place et maintenir le CI/CD sur l’usine logicielle. Assurer la mise en place du monitoring . Collaborer étroitement avec l’équipe projet ; pas de responsabilité de production individuelle. Travailler dans un environnement agile avec priorisation et gestion multi-projets. Compétences techniques indispensables : Maîtrise de Scala et Spark (batch principalement). Optimisation des jobs Spark et traitement de volumétries importantes / complexes . Bonnes pratiques de développement Scala et build Maven. Expérience en environnement cloud , idéalement Azure . Compétences techniques appréciées : Écosystème Databricks Azure Functions et Azure Data Factory Monitoring sous Datadog Déploiement avec Ansible Compétences transverses : Aisance relationnelle et esprit d’équipe Autonomie, rigueur et esprit d’analyse Capacité de synthèse et force de proposition Sens des priorités et respect des délais Appétence client et compréhension métier / fonctionnelle Mentoring et partage de connaissances

Data Engineer Spark/Scala Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandées Compétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Le Data Engineer est un développeur au sein de l’équipe Engineering Open Big Data du Département Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning. Ce déparetement est dédié au service de notre client et de ses équipes (Data office, Tribus data, Business, Transformation Office etc.), afin de fournir, en collaboration avec le Data Office, les plateformes (RPA, BI, Data, …) et les données nécessaires aux équipes chargées de délivrer les cas d’usages, puis les déployer et les maintenir en conditions opérationnelles.

🔎 Contexte de la mission Intervention au sein de la Direction des Systèmes d’Information d’un acteur bancaire. Mission réalisée dans une équipe de données transverses opérant en support des directions : Finance Marketing Crédit L’équipe n’intervient pas sur des sujets cybersécurité , mais se concentre sur : Les enjeux réglementaires Le reporting opérationnel et financier La mise à disposition de données à d’autres équipes (dont IA et modernisation Azure) 👥 Organisation Équipe de 10 à 15 personnes (mix France + offshore Inde) 3 internes / plusieurs prestataires externes Encadrement par un IT Lead ⚙️ Environnement technique Cloud & orchestration Azure Azure Databricks Azure DevOps (CI/CD) Data pipeline Python (Airflow, FastAPI) SQL / PostgreSQL Spark DataVault (modélisation) DBT (prochainement intégré) Fichiers via couche FTP Visualisation & automatisation Power BI (rationalisation en cours) Power Automate Azure AI / ML (projets IA à venir en 2026) Gouvernance & data Data Store Domain Atlas Autres informations 📍 Localisation : Paris 8ème 🕒 Durée estimée : 3 ans 🗓️ Démarrage souhaité : ASAP selon disponibilité 🗣 Langue de travail : anglais courant (collaboration avec équipes offshore)

Au sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d’intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks. Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9, etc.). Missions principales : -Participer au développement et à l’intégration de nouvelles sources de données au sein du Datalake Finance. -Assembler et distribuer les données aux consommateurs métiers tout en garantissant la pérennité et la performance des pipelines existants. -Contribuer à la conception technique, l’implémentation et les tests des flux sous Spark / Scala. -Veiller à la non-régression et à la qualité du code dans le cadre des évolutions du socle. -Travailler en méthodologie Agile (Scrum / Kanban) avec les équipes métiers, data et maintenance. -Participer à la documentation technique et aux revues de code. Profil recherché : -5 à 6 ans d’expérience en environnement Big Data / Datalake. -Solide maîtrise de Spark / Scala et des paradigmes de programmation fonctionnelle (ZIO, Monix, Cats appréciés). -Connaissance des écosystèmes Hadoop, Hive, Kafka, HBase, Kerberos. -Expérience dans un cadre Agile (Scrum / Kanban) et outils associés (Jira, Confluence). -Esprit analytique, autonomie, rigueur et bon relationnel.

Dans le cadre du renforcement de sa Data Platform , l’un de nos clients grands comptes recherche un Architecte Data confirmé à senior pour accompagner ses équipes Data et garantir la cohérence, la performance et la scalabilité de l’architecture globale. Architecte Data – Environnement Cloud GCP Votre rôle Intégré(e) aux équipes Data (Product Owners, Data Engineers, Data Scientists…), vous interviendrez en accompagnement transverse sur l’architecture de la plateforme Data et des dispositifs associés. Vos principales responsabilités : Définir et garantir la cohérence de la stack technique Data Assurer le respect des normes et standards d’architecture Mettre en place et sécuriser les contrats d’interface entre équipes Auditer l’architecture existante et proposer des axes d’amélioration Réaliser une veille technologique et contribuer à l’introduction de nouvelles solutions Participer aux tests et à l’intégration de nouvelles technologies 🛠️ Developer Experience & FinOps Contribution à l’écriture de modules Terraform / Terragrunt Accompagnement des équipes sur l’ Infrastructure as Code et la CI/CD Définition des standards de développement et de déploiement Mise en place du suivi budgétaire par équipe (FinOps) Implémentation des outils de monitoring, alertes et seuils Identification et priorisation des optimisations de coûts Compétences recherchées 3 ans minimum d’expérience en tant qu’ Architecte Data Solide expertise en architecture Data & Cloud Excellente maîtrise des bonnes pratiques d’architecture Expérience en sécurisation des applications Cloud Environnement Google Cloud Platform (GCP) Maîtrise de BigQuery , Cloud Composer (Airflow) , Dataplex Langages Python et SQL Expérience avec Spark Expérience avec dbt Maîtrise de Terraform et Terragrunt

Missions : • Collecter, analyser et formaliser sous forme de spécifications les besoins fonctionnels et/ou techniques et définir les tests d’acceptances. • Participer au découpage sous forme de ticket JIRA avec les développeurs et compléter leur rédaction (pendant les phases de préparation de PI, ou pendant le PI planning). • Tester les développements, et qualifier les releases. Dans ce cadre, définir la stratégie de tests, formaliser les cahiers de recette et réaliser les tests fonctionnels afin de garantir la bonne adéquation des solutions développées avec les exigences client d’une part et garantir la sécurité et la stabilité des solutions déployées d’autre part. Organiser et assurer la communication avec les différents partenaires (Front, Risques) • Participer à la production des livrables liées aux releases : release note, document d’homologation, documentation fonctionnelle, etc • Maitriser et faire évoluer les outils d’analyses (basés sur PowerBI, Python). • Assurer le support de production, en particulier sur les analyses fonctionnelles. Créer les tickets JIRA associé lorsque des correctifs sont nécessaires. • Participer aux différents rituels Agile.

Contexte du poste: Dans le cadre du développement de sa plateforme Data & Analytics, l'entreprise recherche un Développeur Spark/Scala expérimenté pour rejoindre une équipe agile en pleine croissance. Vous interviendrez sur des projets stratégiques de traitement de données massives et d’industrialisation de pipelines analytiques dans un environnement Cloud et DevOps. Missions principales: Conception et développement de pipelines Big Data avec Spark & Scala Traitement de données batch et temps réel Optimisation de performances et tuning Spark Implémentation de scripts d’industrialisation et automatisation via CI/CD Participation aux cérémonies Agile et collaboration avec les Data Engineers et Architectes Contribution à la mise en production et au MCO des solutions développées Environnement technique: Langages & Frameworks Scala & Spark (obligatoire) Python (confirmé) Java (optionnel, un plus) CI/CD & Automatisation Jenkins (maîtrise impérative) XLR / XLD (XL Release & XL Deploy) Git, Maven Data & Cloud (bonus) Kafka, Hadoop, HDFS Cloud GCP ou Azure (apprécié)

Lead dev python / spark à Paris Profil senior, capable par exemple d’intervenir quand une plateforme swape, d’organiser et de structurer des upgrades de versions (ex : spark 3 vers spark 4) Besoin d'une expertise en développement python / spark Intervention au sein d'une petite équipe sur une plateforme d’hypervision de services. Il s'agit d'un projet data novateur Localisation Paris IM 2 jours de TT par semaine Goals and deliverables Apporter une expertise en développement python + spark / pyspark Développer personnellement Intervenir sur des opérations exceptionnelles : Profil senior, capable par exemple d’intervenir quand une plateforme swape, d’organiser et de structurer des upgrades de versions (ex : spark 3 vers spark 4) Etre source de conseil Expected skills PYSPARK Confirmed POSTGRESQL Advanced LINUX Confirmed GIT Confirmed Programmation Python Expert ANGULAR Advanced Spark Streaming Expert

Dans le cadre du renforcement de notre capacité de support N2, nous recherchons des prestataires spécialisés dans l’exploitation et le support de plateformes Big Data. Contexte : Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur Kubernetes et bientôt sur OpenShift : Apache Spark Apache Airflow/Astronomer Starburst (trino) La prestation visera à : Assurer le support de niveau 2 en production des plateformes mentionnées (PROD). Intervenir dans la gestion des incidents, l’analyse des root causes et la résolution. Participer à l’ optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l' optimisation de l'orchestration Airflow , à la gestion des catalogues Starburst Accompagner les équipes métiers dans l’utilisation efficace et sécurisée des plateformes. Contribuer à la documentation et à l’amélioration continue de l’écosystème d’exploitation.

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé : Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Le Responsable DevOps devra encadrer et animer une équipe DevOps. Vous jouerez un rôle clé dans la gestion des produits et plateformes d’infrastructure en assurant leur disponibilité, leur performance, leur évolutivité, leur gestion de l’obsolescence, leur capacité et la maitrise des coûts OnPremise, Cloud ou hybride. Rattaché(e) au responsable de l’entité, vous serez responsable hiérarchique d’une équipe d’une vingtaine de personnes (collaborateurs et prestataires) de profils techniques devops Cloud Public et On Premise. Dans cette évolution organisationnelle, l’organisation hiérarchique est décorrélée de l’organisation opérationnelle. Le responsable DevOps devra donc travailler et s’organiser de façon transverse et étroite avec les Product Owner, le Product Manager et le responsable de l’entité sysops pour assurer le delivery et atteindre les objectifs en fonction des besoins. L’équipe DevOps de l’entité « Plateforme IT » a la responsabilité du build et du run des produits et plateformes d’infrastructures OnPremise et Cloud public.

Rejoignez un leader français de l'audiovisuel pour une mission stratégique d' Architecte Data GCP . Vous accompagnerez la Direction Technique du Numérique dans la consolidation et l'optimisation de sa Data Platform, en interface directe avec les équipes Data (Product Owners, Data Engineers, Data Scientists). Votre rôle sera de structurer l'architecture technique globale, améliorer l'expérience développeur et piloter l'optimisation des coûts cloud. Vos Missions : 🏗️ Architecture Technique Garantir la cohérence de la stack data entre équipes et projets Définir et faire respecter les contrats d'interface (schémas, API, data contracts) Effectuer la veille technologique et évaluer les standards du marché Tester, auditer et introduire de nouvelles technologies Réaliser un audit de l'architecture existante et recommander les améliorations ⚡ Developer Experience Contribuer à la création de modules Terraform et à leur industrialisation Accompagner les équipes dans l'usage de l'Infrastructure as Code Définir les standards CI/CD pour les équipes data (tests, lint, automatisation) 💰 FinOps & Optimisation Mettre en place un suivi budgétaire par équipe Implémenter des outils d'alerting et monitoring (quotas, seuils, dérives) Identifier les leviers d'optimisation et participer à la roadmap FinOps

Contexte de la mission : Au sein d’une Direction des Systèmes d’Information d’un grand groupe international, vous intégrerez une équipe en charge du pilotage de la liquidité et de la gestion du collatéral . Cette direction mène plusieurs projets stratégiques liés à la conformité réglementaire (Bâle III, FSB, IRRBB) et au pilotage interne des risques structurels . Le bénéficiaire recherche un profil disposant d’une forte expertise technique pour accompagner l’évolution d’un socle applicatif basé sur la technologie ClickHouse® et contribuer à la restitution des données de risques structurels au niveau groupe. Missions principales : Traduire les besoins métiers en solutions techniques robustes et performantes Assurer le développement, la documentation, les tests et le déploiement du code Appliquer les bonnes pratiques internes : code review, pair programming, procédures de test et de déploiement Respecter les jalons projet et les budgets définis Contribuer à l’ industrialisation et l’optimisation des outils existants Participer aux activités de run et de build , avec possibilité d’astreintes Fournir un support technique aux équipes métier et aux utilisateurs finaux Livrables attendus : Analyse du besoin et étude d’impact technique Estimation des charges et planification des travaux Conception, développement et documentation du code Évolution, optimisation et automatisation du code existant Code reviews et tests unitaires, d’intégration et de non-régression Déploiement sur les environnements de test et de production Démonstration des livrables aux utilisateurs et support aux phases de validation (UAT) Suivi et surveillance des traitements de production