Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ DEMARRAGE : Janvier 2026 - 📑 CDI (45-50K€) OU Freelance OU Portage salarial - 🏠 Télétravail - 50% / début de semaine - 📍 Lyon - 🛠 Expérience de 6 ans minimum Envie de rejoindre un projet stratégique dans le secteur de l’énergie ? 🚀 Nous recherchons un.e DevOps / Intégrateur pour intervenir sur un projet d’envergure autour du pilotage et de l’analyse d’un système critique, utilisé par de nombreux utilisateurs métiers et techniques💻💼 Contexte : Vous rejoindrez une équipe de plus de 40 compétences réparties en plusieurs sous-équipes, intervenant sur une plateforme technique et des thématiques variées. Voici un aperçu détaillé de vos missions 🎯 : - Déployer les applications sur les différents environnements jusqu’à la mise en production - Améliorer l’industrialisation et l’automatisation des déploiements (modules Ansible, pipelines Jenkins…) - Développer et mettre en place des outils pour faciliter le quotidien des équipes (supervision, testing, résilience…) - Résoudre ou accompagner la résolution d’incidents de production Activités secondaires : - Rédiger et maintenir les documentations techniques - Participer à la modélisation des données et des traitements - Animer des réunions techniques et métiers

Bonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L’objectif de la mission est d’accompagner la Direction Financière à sortir d’Excel et aller vers Power BI. Pour cela, le data eng travaillera en binôme avec un PO pour comprendre l’existant et réaliser cette bascule. Vous aurez un rôle clé dans le développement, l'optimisation et la modélisation de traitements data complexes, avec un focus particulier sur la mise en place et la maintenance de cube tabulaires. Développement et intégration Optimisation Modélisation des données Recueil et analyse des besoins Documentation et support.

Description de la mission : Nous recherchons un expert Big Data pour intervenir sur un projet stratégique autour du traitement et de la valorisation de données à grande échelle. Le consultant sera intégré à une équipe Data et interviendra sur la conception, l’optimisation et la mise en production de pipelines de données. Compétences attendues : Maîtrise avancée de Apache Spark (batch et streaming) Expertise sur Airflow (orchestration de workflows complexes, bonnes pratiques CI/CD) Connaissance approfondie de Superset (construction et industrialisation de dashboards) Bonnes pratiques en architecture Big Data et Data Lake Connaissances appréciées : Python, SQL, Cloud (AWS / GCP / Azure)

Bonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L’objectif de la mission est d’accompagner la Direction Financière à sortir d’Excel et aller vers Power BI. Pour cela, le data eng travaillera en binôme avec un PO pour comprendre l’existant et réaliser cette bascule. Vous aurez un rôle clé dans le développement, l'optimisation et la modélisation de traitements data complexes, avec un focus particulier sur la mise en place et la maintenance de cube tabulaires. Développement et intégration Optimisation Modélisation des données Recueil et analyse des besoins Documentation et support.

Contexte et objectifs de la prestation : Dans ce cadre, la prestation consiste à contribuer à/au(x) : 1. Projets de migration vers notre nouveau Datalake sur infra “Azure” 2. Projets de maintenance évolutive des Use Cases Data déjà existants 3. Cadrage et chiffrage du projet (et validation) et assistance et expertise dans la définition de la stratégie et solution technique. 4. L'assistance et l'expertise sur l’architecture technique (design et conception) des couches datalake et des moyens de restitutions, 5. La conduite du changement dans la mise en œuvre et l’uniformisation des pratiques Craft 6. La définition des normes et standards de qualité édictés sur le périmètre (qualité de code, sécurité, performance, build automatique, analytics) 7. La définition du bon niveau de la documentation technique et mise à jour associée Diverses étapes de développements notamment sur les développements complexes : chiffrage, conception, spécifications techniques,mise en place, tests, déploiement, revue de code 8. Challenge des choix techniques pour qu’ils soient en adéquation avec : le besoin du client, les normes et standards des entités d’architectures, l’innovation et les principes de la transformation digitale de la banque Expertises : 1. Spark Scala 2. Cloudera, Azure 3. Mode Agile (Scrum) 4. Environnement anglophone.

Pour l’un de nos clients grands comptes, nous recherchons un Data Engineer confirmé maîtrisant Spark, Hadoop, Scala , pour intégrer une Squad data transverse. L’objectif de la mission est d'assurer un rôle de Data Engineer & développeur API , avec les responsabilités suivantes : Suivi et gestion de la production Réduction de la dette technique Évolution de l’architecture existante et proposition d’améliorations Développements projets et intégration dans les pipelines Possibilité d’évolution vers d’autres Squad Data selon les besoins Activités principales Acheminement, traitement et mise à disposition des données Industrialisation des traitements data Mise en production de modèles statistiques Suivi de projet, développement de jobs Spark Ingestion multi-format (batch & streaming) Développement de scripts et API de restitution Génération de Dashboard ou fichiers à destination des équipes métier Participation à la conception et administration de solutions Big Data Installation, configuration de clusters Hadoop Intégration Spring Boot pour extraction depuis Teradata → Kafka → Data Lake

Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise • Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : • Acheminement de la donnée • Mise à disposition de la donnée aux équipes utilisatrices • Mise en production de modèles statistiques • Suivi de projet de développement • Développement job spark • Traitement et ingestion de plusieurs formats des données • Développement des scripts • Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données • Développement des moyens de restitution via génération de fichier et ou API & Dashboarding • Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers • Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) • Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP • Participer à la conception, mise en place et administration de solutions Big Data • Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka • Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Nous recherchons un Data Engineer confirmé pour accompagner un programme stratégique de migration vers Databricks sur Azure. ✅ 4 jours de TT, 1 jour de présentiel à paris ✅ Conseiller le client sur les meilleurs pratiques à adopter ✅ Participer à la migration d’une plateforme legacy vers Databricks ✅ Développer et optimiser des pipelines Spark sur Azure ✅ Collaborer avec les Data Architects et Data Scientists dans un contexte à fort enjeu métier ✅ Améliorer la performance, la robustesse et l’automatisation des flux de données

Dans le cadre du renforcement de notre capacité de support N2, nous recherchons un/une ingénieur spécialisé dans l’exploitation et le support de plateformes Big Data. Role : assurer le maintien opérationnel des plateformes Spark et Airflow tournant sur Kubernetes : Bonne vision de l'univers prod dans la big data Bon niveau en Kubernetes attendu Anglais courant Disponible ASAP Bonnes pratiques d’exploitation de traitements data distribués. Connaissances en tuning Spark, gestion des ressources, profiling applicatif. Capacités rédactionnelles pour formaliser les procédures d’exploitation et de diagnostic. Compétences en scripting (Ansible, Python, Bash..) appréciées. Maitrise chaine CI/CD (Git, jenkins, Gitlab CI, ….)

Data Engineer avec compétence sur la stack technique Hadoop, Python, Spark/PySpark, Cloudera Expérimenté 3 à 5 années d'expérience sur des activités similaires ... ... .. ... ... .. .. ... ... ... ... ... ... ... .. ... ... ... ... .. ... ... .. ..... ... ... ... ... .. ... ... .. .. ... ... ... ... ... ... ... .. ... ... ... ... .. ... ... .. ..... ... ... ... ... .. ... ... .. .. ... ... ... ... ... ... ... .. ... ... ... ... .. ... ... .. ..... ... ... ... ... .. ... ... .. .. ... ... ... ... ... ... ... .. ... ... ... .

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer / Développeur API H/F à Paris, France. Les missions attendues par le Data Engineer / Développeur API H/F : L'objectif de la mission est d'assurer le rôle de Data Engineer et de développeur API au sein de la squad, avec les responsabilités suivantes : - Gestion de la production - Gestion de la dette technique - Revue de l'architecture actuelle et proposition d'évolutions - Développements liés aux projets La mission pourra évoluer vers d'autres squads Data en fonction des besoins.

Le Tech Lead Data Engineer aura pour missions: Assurer un leadership technique auprès des équipes de développement. Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. Participer activement aux phases de conception, développement et tests. Porter la vision technique au sein des équipes Agile. Garantir la qualité des livrables et veiller à la réduction de la dette technique. Réaliser la modélisation des données. Assurer une veille technologique et participer aux POCs. Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques.

Nous recherchons un Data Engineer expérimenté pour rejoindre une équipe projet au sein d’un département IT Groupe. Le poste consiste principalement à intervenir sur un projet DatOps basé sur GCP , et secondairement sur la mise en place d’une plateforme data sur Hadoop. Vos missions : Mettre en place et maintenir des pipelines de données (ingestion, préparation, transformation). Faire évoluer les outils de gestion et d’automatisation des flux de données. Collaborer avec les équipes DevOps pour les évolutions de la plateforme. Participer activement aux rituels agiles et contribuer à l’amélioration continue.

✨ Envie d’un nouveau challenge… CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un.e Développeur Backend Python Senior – IA pour intervenir chez un de nos clients grands comptes. 💻💼 🎯 Voici un aperçu détaillé de vos missions : Concevoir, développer et maintenir des applications backend robustes et évolutives avec Python (Flask, FastAPI, Spark). Mettre en œuvre des architectures orientées messages (Kafka) et assurer l’intégration avec les composants frontend. Optimiser les bases de données PostgreSQL et déployer dans des environnements cloud. Participer à la mise en place de pratiques DevOps : CI/CD, Docker, Kubernetes, OpenShift. Contribuer au cycle de vie complet : recueil des besoins, documentation, tests unitaires, support. Encadrer des profils juniors et collaborer avec les équipes métier.

En quelques mots Cherry Pick est à la recherche d'un "Administrateur Technique plateforme Cloudera" pour un client dans le secteur des telecoms Description 🎯 Contexte L’entité Data & AI (230 experts) accompagne Orange Business dans sa transformation autour de la donnée et de l’intelligence artificielle. L’équipe Platform conçoit et maintient les composants techniques qui permettent de démocratiser l’usage de la Data & de l’IA pour les salariés et clients. Au sein de cette équipe, la mission s’inscrit dans le cadre de l’Enterprise Data Hub (EDH), plateforme Big Data B2B d’Orange Business : +180 sources de données intégrées +700 To de données hébergées +100 projets Data supportés Migration et évolution vers le Cloud Azure en cours 🛠️ Missions principales En tant qu’Administrateur Technique Big Data, vous intégrerez l’équipe en charge de l’exploitation et de l’évolution de la plateforme : RUN & Support : gestion opérationnelle de la plateforme Cloudera et des composants Big Data. Déploiement : participation aux déploiements de nouvelles plateformes et environnements. Monitoring & Optimisation : mise en place et suivi des outils de monitoring, tuning des performances. Automatisation : développement de scripts et d’outils pour uniformiser et industrialiser les processus. Documentation & Knowledge sharing : rédaction et mise à jour de la documentation technique. Collaboration internationale : échanges avec des équipes réparties sur plusieurs continents (anglais professionnel).

Nous recherchons un Data Engineer expérimenté pour renforcer nos équipes dans le cadre d’un projet stratégique autour de la donnée, dans un environnement AWS . Vos missions principales : Concevoir, développer et optimiser des pipelines de données robustes et scalables sur AWS . Intervenir aussi bien sur le BUILD (développement, architecture, intégration) que sur le RUN (exploitation, optimisation, monitoring). Collaborer étroitement avec les équipes métiers pour comprendre leurs besoins et les traduire en solutions techniques performantes. Garantir la qualité, la fiabilité et la performance des traitements de données.