Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Votre recherche renvoie 119 résultats.
Freelance

Mission freelanceData Engineer / Développeur Java Spring Azure AKS Senior

ABSIS CONSEIL
Publiée le
Azure

1 an
400-720 €
La Défense, Île-de-France
Pour l'un de nos clients grands comptes du secteur bancaire, nous recherchons un Développeur Java Spring Senior orienté Cloud Azure afin d'accompagner les évolutions d'une plateforme Data stratégique hébergée sur Azure. La mission s'inscrit dans un contexte de modernisation du socle technique, d'automatisation et d'industrialisation des déploiements sur Kubernetes (AKS). Vos missionsDévelopper et faire évoluer une application de gestion du Data Lake Azure. Concevoir des micro-services interfacés avec les API Azure et les systèmes internes. Participer à l'automatisation du cycle de vie applicatif (CI/CD). Déployer et maintenir les composants sur Azure Kubernetes Service (AKS). Contribuer à l'amélioration de la résilience, de la sécurité et de la scalabilité de la plateforme. Intervenir sur un environnement de production critique et fortement sécurisé. Environnement techniqueIndispensable : Java 11+/17 Spring / Spring Boot Azure Cloud Kubernetes / AKS Docker Azure DevOps Git Apprécié : Azure SDK Java Temporal Liquibase PostgreSQL / SQL Server Azure Data Lake Storage Gen2 (ADLS) Réseaux Azure (VNet, Subnet, Private Endpoint, DNS privé) Stack ELK Spark Profil recherché5 ans d'expérience minimum en développement Java. Forte expérience Cloud Azure. Maîtrise des architectures micro-services. Expérience significative de Kubernetes / AKS en environnement de production. Culture DevOps et CI/CD. Autonomie, capacité à travailler dans des environnements complexes et forte sensibilité aux problématiques de sécurité et de disponibilité.
Voir cette offre
Freelance
CDI

Offre d'emploiData engineer

VISIAN
Publiée le
Apache Airflow

3 ans
40k-45k €
600-710 €
Paris, France
Dans le cadre du développement de ses systèmes d'information Épargne Salariale et Retraite, les Bénéficiaires doivent recourir à une prestation externe pour fournir assistance à la modernisation de la plateforme BI. 1. OBJET DE LA PRESTATION Dans le cadre du projet de modernisation de la plateforme BI, la prestation consistera à mettre en place des solutions répondant aux besoins couverts par l'existant et permettant de proposer de nouveaux services. Cette solution devra utiliser les outils validés et mis à disposition par le groupe. La mission sera pilotée par l'équipe Coeur-Data au sein de la R&D Epargne salariale et retraite. Le data engineer devra intervenir en collaboration avec l'équipe de 5 personnes ainsi qu'avec les clients et les équipes transverses du client. Exemple d'applications du domaine d'intervention : Architecture : Définition de l'organisation du Lakehouse dans le S3 Chargement : Utilisation de pipelines spark, pyspark et python Ordonnancement : Dagster Restitution : Mise à disposition de la donnée brut + création de rapports sur un outil de dataviz à définir sur la base du LakeHouse L'objectif principal de la prestation sera la mise à disposition de data structurées à destination de l'équipe marketing . Dans ce cadre, il conviendra de réaliser : - Le développement d'une solution de collecte de données - Le développement d'un système de stockage de la donnée - La documentation des développements - La réalisation de tests unitaires - La mise en place d'un suivi des traitements - L'assistance à la recette par la MOA / les utilisateurs - Des comptes rendus aux pilotes sur l'avancement du projet et les blocages rencontrés - Des études avec les équipes transverses du client 2. ENVIRONNEMENT FONCTIONNEL DE LA PRESTATION La prestation se déroulera au sein du service IT en charge de la Maintenance applicative 3. ENVIRONNEMENT TECHNIQUE DE LA PRESTATION - Langages de programmation : Python, Spark, Pyspark, SQL - Outil de gestion de version : Git - Intégration continue : JENKINS - Ticketing : JIRA - Documentation : Confluence - Poste de travail Windows 10 avec WSL (Windows Subsystem for Linux) - Outils de la plateforme actuelle : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19 - Outils de la plateforme cible : Dagster, Trino, S3 4. RESULTATS ATTENDUS / LIVRABLES - Respect du planning détaillé validé - Estimation des charges MOE - Mise en œuvre des solutions développées - Programme testé et prêt à la recette par les utilisateurs / MOA - Tests unitaires des développements effectués - Suivi d'avancement des tâches du projet en cours - Documentation technique - Amélioration continue des processus de développements 5. PRE-REQUIS ET/OU ELEMENTS INDISPENSABLES - Python, Spark appliqué à la data - Machine learning appliqué à la donnée (scikit-learn, feature engineering) - Relationnel pour les échanges avec le métier - Outils Informatica - Outils LLM/GenAI pour l'accès et l'exploration de la donnée
Voir cette offre
Freelance

Mission freelanceIngénieur Big Data / Administrateur Hadoop-Cloudera (CDP) confirmé à senior

BEEZEN
Publiée le
Ansible
Big Data
CI/CD

12 mois
500-580 €
Montreuil, Île-de-France
Je recherche un Ingénieur Big Data / Administrateur Hadoop-Cloudera (CDP) confirmé à senior pour une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (CDP). Ainsi qu'un accompagnement au développement d'un ensemble des DATA Services et challenge des fonctionnalités à développer et les standards de travail. Vous contribuerez : · A l'installation de cluster · Au monitoring et à l'administration des outils Big Data · A l'administration de cluster · A l'upgrade des distributions et des composants Hadoop · A l'installation des différents composants sur Hadoop · Au support et à la résolution des problèmes N2 et N3 · A la mise en place d'environnements de développement et de test · A la sécurisation des clusters Compétences techniques requises · Installation et configuration des différents distributions sur Hadoop : · Installation et configuration des différents composants : Zookeeper, HDFS, Spark, Hive, Kerberos, Sentry, Anaconda, Hue, Kafka… · Monitoring des clusters avec Ambari, Cloudera manager, … · Administration des clusters : droits d'accès, Policy Ranger, création d'environnements… · CI/CD Ansible, Jenkins,… · Méthodes agiles : Scrum, Safe, Kanban, … Profil recherché Une expérience significative dans le cadre de projets Big Data sur une plateforme distribution Hadoop & CDP. · Anglais opérationnel et bonne aisance en communication · Capacité d'analyse et d'adaptation · Force de proposition, la veille technologique.
Voir cette offre
CDI
Freelance

Offre d'emploiConsultant AMOA Technico Fonctionnel (H/F) - Saint Denis

Webnet
Publiée le
API REST
Java
MOA

6 mois
48k-57k €
450-500 €
Saint-Denis, Île-de-France
Au sein d'une direction des systèmes d'information, vous intégrerez une équipe en charge de produits applicatifs liés à la gestion, l'exploitation et la mise à disposition de données. Ces solutions accompagnent des enjeux de transformation digitale, d'amélioration des services et d'optimisation de l'utilisation des données. Dans ce contexte, nous recherchons un profil AMOA Technique disposant d'une forte sensibilité back-end, idéalement issu d'un parcours en développement, afin d'assurer l'interface entre les équipes métiers et techniques. Selon l'organisation projet, vous interviendrez sur des activités d'appui au pilotage ou de pilotage opérationnel des sujets applicatifs. Vous aurez pour missions : Assurer la coordination entre les équipes métiers, techniques et les différents acteurs projets Recueillir, analyser et challenger les besoins fonctionnels Faciliter la traduction des besoins métiers en solutions techniques Participer au suivi des évolutions applicatives et des livraisons Piloter l'avancement des tâches et assurer le suivi des actions Contribuer à la planification, la priorisation et au reporting des activités Intervenir sur des sujets liés aux échanges de données, aux flux et aux API Apporter un regard technique lors des phases de cadrage et d'analyse Vous évoluerez dans un environnement applicatif back-end et data comprenant notamment : Java API REST PostgreSQL Cassandra Spark Kafka Superset
Voir cette offre
Freelance
CDI
CDD

Offre d'emploiData Engineer Senior – Databricks / AWS / IA. TJM 550 max

Craftman data
Publiée le
AWS Cloud
Databricks
Python

2 ans
40k-45k €
400-550 €
Paris, France
Contexte de la missionDans le cadre du développement d'un produit stratégique de monitoring et d'observabilité Data, nous recherchons un Data Engineer Senior pour intégrer une squad spécialisée dans l'intégration et les plateformes Data. Le produit a pour objectif de superviser différents services Data dans un environnement multi-cloud. Il collecte et centralise des logs et métriques liés notamment aux pipelines, aux ressources de calcul, aux usages et aux coûts, puis les transforme afin de fournir une vision exploitable via des API et une interface web. L'ambition est d'évoluer progressivement vers une observabilité proactive, notamment grâce à des workflows d'IA agentique capables de détecter des anomalies, d'en analyser les causes et d'assister les équipes dans leur résolution. Missions principalesAu sein de la squad Data, vous prendrez en charge la conception, le développement et l'industrialisation des briques Data du produit, depuis la collecte des données jusqu'à leur modélisation en couche Gold. Vos principales responsabilités seront : Concevoir et industrialiser la collecte de logs et métriques provenant de différentes sources Cloud. Développer les pipelines d'ingestion et de transformation sous Databricks. Concevoir et faire évoluer le Golden Data Model pour répondre aux besoins de monitoring, troubleshooting et pilotage. Garantir la qualité, la traçabilité, l'observabilité et la fiabilité des données et traitements. Mettre en œuvre des pratiques de Spec-Driven Development : spécifications, contrats de données, tests et validation. Participer à la conception de workflows IA agentiques dédiés à la détection d'anomalies et à l'aide au diagnostic. Collaborer avec les équipes Backend et Frontend pour permettre l'exposition des données via API et interfaces applicatives. Contribuer aux standards d'architecture, de sécurité et de performance dans un environnement AWS. Profil recherchéNous recherchons un profil disposant d'une solide expérience en Data Engineering sur des produits Data en production, avec une forte culture Engineering. Compétences recherchées : Excellente maîtrise de Databricks : Spark, Jobs, Notebooks, Delta, orchestration, optimisation, monitoring et gouvernance. Très bonne maîtrise de AWS et de ses services Data. Expertise en Python, PySpark et SQL avancé. Expérience confirmée en modélisation de données analytique, notamment sur des architectures Bronze / Silver / Gold. Maîtrise des problématiques de qualité et contrats de données. Connaissance des architectures Cloud, de la sécurité et des mécanismes IAM. Expérience du développement logiciel : tests automatisés, versioning, revue de code et CI/CD. Connaissance des problématiques d'API et d'intégration avec des services applicatifs. Une expérience des approches Spec-Driven / Contract-First constitue un avantage. Une sensibilité aux LLM et à l'IA agentique appliquée aux workflows Data est fortement appréciée. La connaissance des patterns agentiques, de MCP ou de workflows IA outillés constitue un plus. Livrables attendus – 3 à 6 moisPipelines d'ingestion et de transformation robustes, industrialisés et observables. Golden Data Model formalisé et exploitable par les différents composants du produit. Mécanismes de détection et de diagnostic enrichis par des workflows IA agentiques. Documentation technique et spécifications maintenues à jour. Couverture de tests permettant de garantir la fiabilité des développements. Environnement tech
Voir cette offre
Freelance
CDI

Offre d'emploiIngénieur Système et Réseau IGD (dominante Hadoop)

Ipanema Technology
Publiée le
Hadoop

1 an
Nancy, Grand Est
Vous intégrez une équipe en charge de l'infrastructure de gestion de la donnée d'un acteur bancaire en ligne à très forte volumétrie, sur un système d'information majoritairement construit en briques open source. L'équipe couvre l'intégralité du cycle de vie des plateformes data — conception, déploiement, administration, supervision — sans séparation build/run ni logique de procédures cloisonnées. Vous n'êtes pas administrateur de bases de données au sens classique : vous concevez, scalez, sécurisez et industrialisez les moteurs de données. L'optimisation de requêtes reste marginale. Volumétrie de référence : 180 instances MySQL avec sharding, cluster Hadoop d'environ 3 Po, stockage objet S3 de plusieurs pétaoctets. Vos missions : Traitement N3 des incidents de production sur l'ensemble des briques de gestion de la donnée Industrialisation des moteurs de données via déploiement automatisé (Terraform, sur VM pré-outillées EDR/hardening) Conception et exploitation des mécanismes de haute disponibilité, scalabilité, réplication et sharding à l'échelle Définition et exécution des stratégies de backup/restauration sur gros volumes Traitement de l'obsolescence : montée de version MySQL vers 8.x sur l'ensemble du parc Qualification et industrialisation de nouvelles briques techniques Pilotage de la couche système sous-jacente et des couches d'exposition (ex. Consul) Suivi des KPIs de production et mise en œuvre d'actions correctives Traitement des sujets de sécurité sur les plateformes data Interface quotidienne avec les équipes de développement et l'infrastructure Environnement technique : Socle commun : Linux (Debian/RHEL) niveau confirmé à avancé, Terraform/Ansible/Puppet, CI/CD, Git, Docker, Kubernetes (RKE2) en trajectoire GitOps (ArgoCD) Bigdata/Hadoop (cœur du poste) : Hadoop, Hive, Hue, Yarn, Zeppelin, Spark Streaming — niveau confirmé Autres : Cassandra, Kafka, Airflow niveau confirmé ; MySQL niveau avancé ; suite ELK Supervision : Zabbix, Prometheus, Grafana, Loki
Voir cette offre
CDI

Offre d'emploiExpert Technique Kafka Stream / Lead Developer Data Streaming

Signe +
Publiée le

45k-55k €
Grenoble, Auvergne-Rhône-Alpes
Dans le cadre d'un projet stratégique du Centre de Services de Grenoble, nous recherchons un Expert Technique Kafka Streams ou un Lead Developer Data Streaming afin d'accompagner le développement et l'évolution d'une plateforme de data streaming. Dans le cadre de ce recrutement, une pré-embauche est privilégiée. Vous interviendrez sur une plateforme de data streaming dédiée à la collecte, au traitement et à la valorisation de données énergétiques provenant d'équipements terrain tels que des capteurs IoT, automates industriels et systèmes de gestion technique des bâtiments (GTB). Vous serez en charge de concevoir, développer et optimiser des applications de streaming de données à forte volumétrie, tout en garantissant la performance, la résilience et la fiabilité des traitements temps réel. À ce titre, vos principales responsabilités seront de : • Concevoir et développer des applications en Java, Spring Boot, Spring Data et Kafka Streams. • Définir et mettre en œuvre des architectures Event-Driven et des systèmes distribués. • Optimiser les performances des pipelines de streaming : partitionnement Kafka, gestion du throughput, réduction de la latence et montée en charge. • Garantir la tolérance aux pannes, la reprise sur incident et la cohérence des données. • Superviser et maintenir des pipelines critiques de traitement temps réel. • Participer aux choix d'architecture et accompagner les équipes sur les bonnes pratiques de développement. • Collaborer avec les équipes projets afin d'assurer la qualité, la sécurité et la disponibilité des flux de données. Selon votre expérience, vous pourrez également intervenir sur les technologies suivantes : Kafka Connect, Spring Cloud, InfluxDB, Oracle Database, PL/SQL, AWS Lambda, Amazon SQS, Amazon SNS, Docker, Ansible et Apache Spark. Référence de l'offre : 5ii9nxvver
Voir cette offre
Freelance
CDI
CDD

Offre d'emploiLead Developer Data Streaming (Java / Kafka Streams)

Signe +
Publiée le
Apache Kafka
Springboot

1 an
Grenoble, Auvergne-Rhône-Alpes
Au sein de notre centre de service de Grenoble, vous intervenez sur une plateforme de data streaming dédiée à la collecte et au traitement de données énergétiques issues d'équipements terrain (capteurs IoT, automates, GTB). En tant qu'Expert Kafka Streams / Lead Dev Data Streaming, vous prenez en charge la conception, le développement et la mise en production de pipelines temps réel critiques. Vos missions principales : Concevoir et développer des microservices de streaming en Java / Spring Boot autour de Kafka & Kafka Streams. Construire et optimiser des topologies Kafka Streams (agrégations, fenêtres temporelles, joins, state stores…). Traiter les sujets de partitionnement, throughput, latence, scalabilité et gestion des offsets. Mettre en œuvre la résilience : tolérance aux pannes, reprise sur incident, relecture/replay, cohérence des données. Contribuer à l'architecture event-driven et aux bonnes pratiques de systèmes distribués. Participer à la supervision et au maintien en conditions opérationnelles des pipelines (métriques, alerting, troubleshooting). Assurer un rôle de lead technique : revues de code, standards, accompagnement de l'équipe, design technique. Environnement technique : Expertise : Java, Spring Boot, Spring Data, Kafka, Kafka Streams Idéalement : Kafka Connect, Spring Cloud, InfluxDB, Oracle/PLSQL, AWS (Lambda/SQS/SNS), Ansible, Docker, Spark
Voir cette offre
Freelance

Mission freelance267 - Data Engineer / Architecte Databricks (H/F)

Nicholson SAS
Publiée le
Apache Kafka
Azure DevOps
CI/CD

5 mois
660 €
Paris, France
Date de démarrage : ASAP Date de fin : 31/10/2026 Localisation : Paris Tarif Journalier Moyen (TJM) Max : 660 € Descriptif de la MissionAu sein des équipes Data, vous interviendrez sur la conception, le développement, la gouvernance et l'optimisation de nos plateformes de données. Vos activités principales s'articuleront autour de quatre grands piliers : 1. Développement & Architecture DataConcevoir et développer des pipelines de données robustes et scalables sur Databricks (PySpark, Spark SQL, Delta Live Tables). Mettre en place des architectures Lakehouse basées sur Delta Lake. Industrialiser et orchestrer les workflows ETL/ELT à l'aide de Databricks Workflows. 2. Gestion et Administration de la Plateforme DatabricksAdministrer l'espace de travail (gestion des workspaces, configuration des clusters, gestion des permissions). Assurer l'optimisation des coûts (finops) via la configuration fine, l'autoscaling et le monitoring des clusters. Implémenter et faire respecter les bonnes pratiques de sécurité (Unity Catalog, gestion des accès, lineage de la donnée). 3. Gouvernance & Qualité des DonnéesMettre en place des mécanismes stricts de qualité et de validation des données (expectations, tests automatisés). Documenter rigoureusement les modèles et les flux sur la plateforme. Garantir la fiabilité, la cohérence et la fraîcheur des données mises à disposition. 4. Collaboration & SupportCollaborer étroitement avec les Data Analysts, Data Scientists et les équipes métiers. Accompagner et former les utilisateurs clés dans l'adoption et la prise en main de l'écosystème Databricks. Participer activement aux revues de code, à la standardisation et au partage des bonnes pratiques d'ingénierie. Compétences RequisesTechniques (Incontournables) :Développement : Excellente maîtrise de PySpark ou Spark SQL. Écosystème : Forte expérience pratique avec Databricks (pipelines, clusters, notebooks, Unity Catalog). Architecture : Solides connaissances des architectures Lakehouse, du data modeling, des concepts ETL/ELT et des stratégies d'ingestion (batch & streaming). Cloud : Connaissance approfondie d'au moins un des principaux fournisseurs cloud (Azure, AWS ou GCP). DevOps : Maîtrise de Git et des pratiques de CI/CD (Azure DevOps, GitHub Actions, etc.). Souhaitées (Un plus) :Connaissances en MLflow, orchestration de modèles et pratiques MLOps. Notions avancées en DataOps, cost optimization (FinOps) et outils de monitoring. Expérience dans l'exploitation d'APIs et l'ingestion de données en temps réel (ex: Kafka).
Voir cette offre
CDI

Offre d'emploiDATA OPS / CDI / (H/F)

FINAXYS
Publiée le
Ansible
Apache Kafka
Hadoop

Boulogne-Billancourt, Île-de-France
🚀 Qui sommes-nous ? Finaxys est un cabinet de conseil spécialisé dans les secteurs Banque, Finance et Assurance. Depuis plus de 15 ans, nous intervenons auprès des plus grandes institutions telles que BNP Paribas, Crédit Agricole, Société Générale, AXA, Malakoff Humanis, etc. en proposant des solutions technologiques innovantes (IA, Machine Learning, Data, Cloud, DevSecOps, etc.). Notre mission ? Accompagner nos clients dans leur transformation digitale et répondre aux défis IT les plus complexes grâce à l'expertise de nos équipes. 🎯 Votre mission : En tant que DataOps, vous rejoindrez les équipes techniques de nos clients grands comptes pour : Industrialiser et automatiser les déploiements avec Ansible Mettre en production de nouveaux clusters et mettre à l'échelle les clusters existants (scale horizontal et vertical) Documenter les offres Apporter une expertise technique aux utilisateurs de la plateforme Participer à la définition des architectures des futures briques de la plateforme Streaming Construire un MVP de ces services puis enrichir l'offre Prendre des éléments de la backlog qui ont été formalisés par le Squad Lead et mettre en œuvre les éléments de la backlog Réaliser l'intégration dans le SI (observabilité, alerting, gestion des droits, backup, etc) Rendre compte des difficultés auxquelles il est confronté et proposer des solutions pour les résoudre Participer à l'ensemble des rituels agiles de la Squad (Rétro, Démos, Pi Planning) Environnement technique / fonctionnel : Python, Java, Hadoop, Spark, Kafka, Flink, Kubernetes, Gitlab, Ansible, Vault, Artifactory, CI/CD, Jira
Voir cette offre

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2026 © Free-Work / AGSI SAS
Suivez-nous