Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Dans le cadre d’un besoin interne, nous recherchons un Expert Data Engineer spécialisé Spark. La mission porte sur une solution de traitement de données dédiée à des usages de statistiques et de Business Intelligence. Cette solution repose sur une architecture intégrant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur une infrastructure OVH. Volumétrie cible : 350 bases de données 5 000 requêtes par seconde 1 To de données par an Tâches à réaliser : Réalisation d’une analyse technique et d’un état des lieux de l’existant Élaboration de recommandations d’amélioration : Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l’infrastructure Recommandations sur le dimensionnement de l’infrastructure pour le traitement en temps réel Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données Rédaction d’un document d’architecture cible accompagné des préconisations associées

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Streaming / Real-Time pour concevoir, optimiser et industrialiser des plateformes de traitement de données en temps réel. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines événementiels, optimisation des traitements stream, passage vers des architectures plus scalables et résilientes) et guiderez leur mise en œuvre avec Kafka, Flink, Spark Streaming ou équivalents. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation en temps réel, de l’amélioration des performances et de l’intégration de mécanismes de tolérance aux pannes et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de streaming et d’event-driven architecture. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.

Pour le compte d'un acteur majeur, nous recherchons un(e) Data Engineer confirmé(e) pour concevoir et déployer des chaînes de traitement de données complexes au sein d'un Datalake moderne. Vous intégrerez une équipe évoluant en mode Agile (Scrum/Kanban) avec une forte culture de l'automatisation. Vos responsabilités : Concevoir et mettre en œuvre les chaînes d’ingestion, de validation et de croisement de données. Assurer le déversement et l'enrichissement des données dans le Datalake. Produire automatiquement des agrégats (journaliers à mensuels) via la puissance du Cloud. Développer et documenter les User Stories en collaboration directe avec le Product Owner. Garantir la qualité via l'automatisation des tests fonctionnels et la correction des anomalies. Participer activement à la chaîne de delivery continue et assister les équipes d'exploitation. Profil recherché : Expertise confirmée sur la plateforme GCP (indispensable) . Maîtrise avancée de l'écosystème Spark / Scala / Kafka . Expérience solide sur les environnements conteneurisés ( GKE, Docker ) et l'Infrastructure as Code ( Terraform, Ansible ). Compétences pointues en stockage et requêtage ( BigQuery, SQL, HDFS ). Capacité à orchestrer des workflows complexes avec Airflow / Composer . Esprit collaboratif, curieux des évolutions technologiques et doté d'un excellent relationnel.

Data engineer Spark Nantes La Squad Socles-Data a pour missions : • Le MCO de la plateforme Data Hub actuelle (DH V1). • La co-construction des nouvelles offres Data managées du nouveau Data Hub (DH V2) avec l’IT Groupe : o Prototypes, o Bêta-tests, o Pilotes, o Instanciation, o Homologation…etc. • La définition des normes, bonnes pratiques, guidelines pour simplifier/accélérer les futurs portages applicatifs sur Data-Hub V2. • Gouvernance opérationnelle. • La migration des Uses-Cases existants vers le Data-Hub V2 dans le Cloud privé BNPParibas. • Facilitage de l’usage des services Data. • Assurance du support et l’accompagnement des usagers des socles-Data. • Fournissement de l’expertise. Objectifs et livrables Les tâches sont: Data ingénieur : • Codage et testage des composants logiciels. • Formalisation des cas d’usages. • Conception et mise en œuvre des flux d’intégration de données. • Optimisation de la performance et la qualité logicielle. • Apport du support technique. • Bonne maitrise de l’écosystème Data / Java / SQL / Cloud. • Notions dans d’autres langages de programmation (Python, Scala) et connaître le fonctionnement des bases de données (SQL, NoSQL). Technologie Langage Niveau Starburst (Trino) SQL Moyen Astronomer Airflow Python Moyen Spark 3 Java (Scala selon vos applications) Avancé Cloud (Kubernetes, COS(S3), Vault) Bas DevOps (Gitlab, Jenkins, ArgoCD, Ansible) Go, Yaml Bas Log As a Service (elk) Moyen Java Moyen SQL Moyen Python Moyen Scala (selon vos applications) Moyen Compétences demandées Compétences Niveau de compétence SCALA Confirmé Apache Airflow Confirmé APACHE Confirmé

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Big Data pour concevoir et industrialiser des plateformes de traitement de données à grande échelle. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines, optimisation des traitements distribués, passage vers des architectures plus scalables et temps réel) et guiderez leur mise en œuvre avec Spark, Kafka et les écosystèmes Big Data. Vous serez responsable de la refactorisation et de l’optimisation des pipelines de données, de l’amélioration des performances et de l’intégration de mécanismes de fiabilité et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour adapter les traitements aux pipelines CI/CD et aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering et d’industrialisation. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions pérennes.

Contexte Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans nos actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs MISSIONS Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. Dans le même ordre d'idée, quelques attendus : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et ""clients"" (Groupes de protection sociale). La connaissance de Power BI et de SAS sont des plus." Livrables attendus Code source documenté Plan de tests / fiches de test Bilan Bordereau de livraison Manuel d’installation Dossier d’exploitation JIRA documentée" Environnement technique - technologique "• Cloudera Hadoop • Hive, impala • Python • SQL • Shell • Spark • VBA • GIT • Jupyter • Linux • JIRA" Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale (Retraite Complémentaire idéalement)

Notre client, basé à Cagnes sur Mer (06) est à la recherche d’un Développeur Python Senior (H/F) freelance pour travailler sur un projet en binôme avec un autre expert. MISSIONS · Refondre les pipelines de données en environnement strictement on-premise · Développer des flux d’ingestion et des mécanismes d’alimentation des données · Contribuer aux choix techniques et à la stratégie d’implémentation, sur la base des conceptions définies en amont · Optimiser et fiabiliser les traitements de données (performance, qualité, robustesse) · Participer à la mise en place et à l’amélioration des chaînes CI/CD ENVIRONNEMENT TECHNIQUE · Python, Spark, Airflow · Environnement 100% on-premise · Méthode Agile

Bonjour, Dans le cadre de ce besoin, nous recherchons un Data Engineer / DataOps – Maintenance prédictive (Python / Spark) pour intervenir sur un environnement technique exigeant et à forte valeur ajoutée. 📍 Informations clés Localisation : Toulouse (3 jours/semaine sur site) TJM max : 300 € Démarrage : 01/04/2026 Fin de mission : 31/12/2026 🚀 Contexte & mission Vous interviendrez au sein d’une équipe en charge d’un service de maintenance prédictive , dans un environnement hybride combinant : On-premise : Python, Airflow, Docker, GitHub CI/CD Cloud Azure : Databricks, PySpark, Azure Data Factory Service Platform : application web dédiée aux compagnies aériennes Dans ce cadre, vos principales responsabilités seront : Assurer le MCO des environnements (développement & production) Superviser et monitorer les environnements Databricks / Spark Concevoir, industrialiser et maintenir des pipelines de données en production Accompagner le déploiement d’algorithmes de maintenance prédictive (optimisation performance & coûts) Améliorer les processus d’ intégration, de versioning et de déploiement au sein de la Service Platform 🛠️ Environnement technique Langages & Data : Python, SQL, Pandas, Spark Cloud & Data : Azure (Databricks, Data Factory) Orchestration & pipelines : Airflow CI/CD & DevOps : GitHub, Docker, Terraform, Ansible Systèmes : Linux (RHEL / Ubuntu) Bonnes pratiques : PEP, industrialisation, monitoring 🎯 Profil recherché Data Engineer / DataOps avec minimum 3 ans d’expérience Solide expérience sur les environnements Python / Spark / Azure Capacité à évoluer sur des environnements production critiques (MCO, monitoring, performance) Bonne culture DevOps / CI-CD / automatisation Anglais professionnel requis

Dans le cadre d’un programme de transformation data, nous recherchons un Architecte Big Data pour définir et piloter l’évolution des plateformes de données à grande échelle. Vous analyserez les architectures existantes, identifierez les limites techniques et proposerez des trajectoires cibles adaptées aux enjeux métiers, techniques et opérationnels. Vous guiderez la conception de nouvelles architectures distribuées en intégrant des technologies telles que Hadoop, Spark, Kafka, Iceberg/Delta Lake ou équivalents, ainsi que des principes modernes de lakehouse et de data mesh lorsque pertinent. Vous serez responsable des choix structurants en matière de stockage, de traitement, de gouvernance et de sécurité des données, en veillant à la performance, à la scalabilité et à la résilience des plateformes. Vous travaillerez étroitement avec les équipes Data Engineering, Cloud et DevOps pour garantir une mise en œuvre industrialisée, alignée avec les standards d’entreprise et les contraintes d’exploitation. Vous aurez également un rôle clé dans l’animation d’ateliers techniques, la formalisation de patterns d’architecture et l’accompagnement des équipes dans l’adoption des meilleures pratiques Big Data et data engineering.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Mission : Data Engineer Confirmé – Python / Spark / Databricks / AWS Dans le cadre de l’évolution d’une plateforme Data centralisée, nous recherchons un Data Ingénieur confirmé pour intervenir sur le développement et l’optimisation de pipelines de données dans un environnement Big Data et Cloud AWS. Stack technique : Python • Spark • Databricks • SQL AWS (S3, Airflow, Glue, CloudWatch) Git • CI/CD • Agile / Scrum ✅ Profil recherché : Expérience confirmée en Data Engineering Bonne maîtrise de Spark / Databricks Expérience Cloud AWS

Contexte de la mission : Pour un besoin interne , nous recherchons un Expert Spark Data Engineer La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence construite sur une architecture comprenant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur l’infrastructure OVH. Volumétrie cible : 350 bases de données 5 000 requêtes par seconde 1 To par an Tâches à réaliser : Analyse et état des lieux technique Préconisations d'amélioration : Amélioration Spark streaming + temps réel + dimensionnement infra Préconisations d'amélioration : Dimensionnement infra pour le streaming temps réel. Préconisations d'amélioration : Dimensionnement MongoDB & structuration de la donnée (standardisation des patterns) Document d'architecture cible & de préconisations