Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

En tant que Data Engineer, vous intervenez sur la conception, le développement et l'optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d'équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d'un fort esprit analytique et d'une grande rigueur Vous êtes autonome, proactif et doté d'un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements Vous disposez d'un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d'interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d'un bagage en software engineering, vous permettant d'écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d'intégration, revue de code) Vous êtes à l'aise avec les outils de versioning (Git) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l'évolutivité et de l'observabilité

Notre client, basé à Nantes (44), est à la recherche d'un Tech Lead Spark Scala (H/F) pour intervenir dans le cadre d'une migration de xDI vers Spark Scala. MISSIONS - Piloter et coordonner les travaux de migration vers Spark/Scala - Définir les choix techniques et accompagner les équipes de développement - Garantir la conformité des traitements migrés avec l'existant - Mettre en place et superviser les stratégies de tests et de validation des données - Assurer la qualité du code, les bonnes pratiques de développement et les processus CI/CD - Participer à l'industrialisation des déploiements dans un environnement Cloud AWS - Contribuer à l'utilisation de solutions d'IA mises en oeuvre pour automatiser une partie des travaux de migration - Collaborer avec les différentes parties prenantes techniques et fonctionnelles afin de sécuriser la réussite du projet ENVIRONNEMENT TECHNIQUE - xDI - Spark, Scala - AWS, GitLab CI/CD, Kubernetes, Docker, Airflow (DAG), jobs Glue Notre client, basé à Nantes (44), est à la recherche d'un Tech Lead Spark Scala (H/F) pour intervenir dans le cadre d'une migration de xDI vers Spark Scala. MISSIONS - Piloter et coordonner les travaux de migration vers Spark/Scala - Définir les choix techniques et accompagner les équipes de développement - Garantir la conformité des traitements migrés avec l'existant - Mettre en place et superviser les stratégies de tests et de validation des données - Assurer la qualité du code, les bonnes pratiques de développement et les processus CI/CD - Participer à l'industrialisation des déploiements dans un environnement Cloud AWS - Contribuer à l'utilisation de solutions d'IA mises en oeuvre pour automatiser une partie des travaux de migration - Collaborer avec les différentes parties prenantes techniques et fonctionnelles afin de sécuriser la réussite du projet ENVIRONNEMENT TECHNIQUE - xDI - Spark, Scala - AWS, GitLab CI/CD, Kubernetes, Docker, Airflow (DAG), jobs Glue

En tant que Data Engineer, vous intervenez sur la conception, le développement et l'optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d'équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d'un fort esprit analytique et d'une grande rigueur Vous êtes autonome, proactif et doté d'un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements Vous disposez d'un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d'interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d'un bagage en software engineering, vous permettant d'écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d'intégration, revue de code) Vous êtes à l'aise avec les outils de versioning (Git) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l'évolutivité et de l'observabilité

Date de démarrage : 14/09/2026 Durée : 12 mois renouvelables ContexteDans le cadre du renforcement de sa plateforme Data, notre client recherche un Data Engineer expérimenté afin de concevoir, développer et maintenir des solutions de traitement de données à grande échelle. Intégré à une équipe Agile (Squad), vous interviendrez sur l'ensemble du cycle de vie des produits Data, depuis la conception de l'architecture jusqu'au maintien en conditions opérationnelles des pipelines de données. Vous évoluerez en étroite collaboration avec les Architectes, le Product Owner, les Business Analysts et les équipes de production afin de garantir la disponibilité, la qualité et la performance des données au service des métiers, dans un environnement exigeant, idéalement bancaire.

Mission Freelance : Lead Data Engineer / Expert Databricks & Spark (H/F) 📋 Contexte de la missionAu sein d'un grand pôle industriel et de sa direction des systèmes d'information, vous rejoignez l'équipe Transverse SI Chaînes Communicantes à Lyon. Cette équipe, actuellement en pleine phase de structuration, pilote et supervise des projets d'envergure commune. L'objectif majeur de votre intervention est d'accompagner la migration globale et l'industrialisation d'une nouvelle plateforme data cible autour des technologies les plus modernes du marché. Vous serez l'un des piliers techniques pour mener à bien la refonte complète de nos applications d'informatique décisionnelle (Business Intelligence) à forte valeur ajoutée. 🎯 Vos principales responsabilités1. Ingénierie Data & Développement (Activité principale)Pipelines de données : Concevoir, développer et maintenir des pipelines de données robustes sous Databricks et Spark. Traitements complexes : Développer l'ensemble des flux de traitement de données en Python, PySpark et SQL. Modélisation : Contribuer activement à la définition et à la mise en œuvre du modèle de données cible en exploitant Delta Lake et Unity Catalog. Orchestration : Assurer l'ordonnancement des traitements via Databricks Workflows et Lakeflow Jobs. 2. Industrialisation & QualitéStandards de production : Mettre en œuvre des pratiques d'industrialisation poussées (tests unitaires/d'intégration, pipelines CI/CD pour la Data). Performance & FinOps : Optimiser l'exécution des requêtes techniques, garantir la scalabilité du système tout en maîtrisant les coûts d'infrastructure cloud. MCO : Participer au suivi de la production (Run), analyser les incidents techniques et piloter l'amélioration continue de la plateforme (fiabilité et observabilité). 3. Cadrage & Accompagnement (Activité secondaire)Participer au cadrage fonctionnel des besoins en étroite collaboration avec le Product Owner et les équipes utilisatrices. Assurer l'interfaçage de la plateforme avec Power BI pour faciliter l'exposition et la consommation des données par le métier. Contribuer à l'intégration de flux d'alimentation temps réel vers le datalake (via Kafka). Rédiger la documentation technique et animer les rituels agiles au sein de la feature team. 👤 Profil recherchéNous recherchons un Lead Data Engineer / Expert Databricks senior (Niveau 3) capable de démontrer une autonomie complète après une phase d'intégration de 4 jours sur nos spécificités métiers. Vous devez justifier d'une expertise confirmée de 4 ans minimum sur l'environnement Databricks, idéalement validée par une certification officielle de l'éditeur. Votre parcours témoigne obligatoirement d'une participation active à un projet d'envergure de migration ou de transformation d'architectures data, soutenu par de solides compétences en modélisation de données (Delta Lake, Unity Catalog). Sur le plan technique, vous possédez une maîtrise parfaite de l'écosystème Spark / PySpark, de Python et de SQL, ainsi qu'un savoir-faire éprouvé dans l'automatisation de l'infrastructure via Terraform pour les sujets Cloud et Databricks. Au-delà de vos compétences de développeur émérite, vous affichez un véritable leadership technique naturel (sans posture managériale requise) qui vous permet de guider, structurer, standardiser et documenter le travail d'une équipe. Force de proposition, orienté solutions robustes et pragmatiques, vous savez collaborer avec des profils variés, allant des Data Scientists et experts BI jusqu'au Product Owner et interlocuteurs métiers. 💻 Environnement de travailVous évoluerez au cœur de Lyon au sein d'une structure moderne favorisant un équilibre de vie professionnelle grâce à un accord de télétravail fixé à 50%. La mission s'inscrit dans un cadre méthodologique strictement Agile, au sein d'une équipe transverse dynamique et en pleine construction, actuellement composée d'un chef de projet et appuyée par des experts du pôle (référents techniques, managers, coordinateurs). La stack technique mise à votre disposition est à la pointe de l'ingénierie des données : Databricks, Spark, PySpark, Delta Lake, Unity Catalog, le tout s'exécutant sur un environnement cloud public. L'industrialisation, l'observabilité et la qualité de service sont au centre des préoccupations de cette DSI, s'appuyant sur des chaînes CI/CD automatisées et de l'Infrastructure as Code. Vous aurez l'opportunité d'intervenir sur des flux de données complexes, incluant l'ingestion de sources variées, l'intégration de technologies événementielles comme Kafka, et la liaison étroite avec des outils de restitution de premier ordre tels que Power BI. Aucun horaire décalé (HHN) ni aucune astreinte ne sont prévus pour cette mission, vous assurant un cadre de production stable au quotidien. 🛠️ Stack technique récapitulativeIncontournables (Niveau Expert) : Databricks, Spark, PySpark, Python, SQL. Architecture Data : Modélisation de données, Delta Lake, Unity Catalog. DevOps / Industrialisation : CI/CD, Tests automatisés, Terraform, Databricks Workflows. Écosystème apprécié : Kafka, Lakeflow / DLT, Power BI, Certifications Cloud.

Dans le cadre d'un programme de transformation digitale et de la mise en place d'une plateforme data Big Data, un grand groupe d'assurance français renforce son dispositif avec un Architecte / Tech Lead Big Data. Vous serez le référent technique de la plateforme : vous porterez la conception des solutions data avec les métiers, encadrerez les équipes de développement et garantirez la qualité des traitements batch et streaming, depuis les sources jusqu'à leur exposition dans des zones dédiées ou via des API. Vos missions : • Concevoir les solutions et les usages Big Data avec les métiers • Animer les ateliers et les comités multi-acteurs (métiers, POs, équipes techniques, partenaires) • Coordonner les mises en place et les recettes • Définir les architectures cibles des traitements batch et streaming (Spark SQL, Java Spark) • Encadrer techniquement les développeurs de la Squad (revues de code, bonnes pratiques, montée en compétences) • Analyser les spécifications et les besoins des métiers avec les Product Owners • Produire et maintenir la documentation d'architecture sous Confluence • Assurer le support de niveau 3 et la maintenance des produits en production • Participer à l'ensemble des cérémonies agiles de votre Squad (Scrum) Environnement technique : distribution Big Data Cloudera/MapR, Spring Boot, Java 11, Kafka, MongoDB, Jenkins, K8S, ArgoCD, Sonar, et plusieurs autres technologies à la pointe

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Big Data Spark (H/F) à Lyon, France. Contexte : Au sein du pôle de la DSI, le projet de BI du système et répond aux enjeux suivants : • Piloter le système et les processus métier associés • Garantir la qualité et la cohérence des données • Fournir les données pour l'analyse et l'amélioration continue du système Elle est utilisée par environ 1000 utilisateurs (analystes, experts métiers, experts SI). Le projet est composé de cinq équipes couvrant à la fois le développement des traitements fonctionnels, des reportings ainsi que la gestion des plateformes et de l'outillage. Dans un contexte de transformation du SI décisionnel, l'équipe porte actuellement des enjeux forts de modernisation des traitements Big Data, avec une migration en cours vers Spark ainsi qu'un projet de refonte complète dans le cloud basé sur Databricks à moyen terme. Les missions s'inscrivent dans une trajectoire progressive : Phase 1 : Modernisation des traitements existants • Migration de traitements Informatica et PL/SQL vers Spark (Java) • Participation à l'optimisation des traitements existants • Maintenance corrective et évolutive des traitements PL/SQL • Appropriation des processus métier derrière les flux de données Phase 2 : Refonte cloud (Databricks) • Participation au projet stratégique de migration vers le cloud • Conception et mise en œuvre de pipelines de données sur Databricks • Industrialisation des traitements dans un environnement moderne Les missions attendues par le Développeur Big Data Spark (H/F) : Activité principale • Concevoir, développer et maintenir des pipelines de données en Spark (Java) • Migrer des traitements legacy vers des architectures Big Data modernes • Assurer la maintenance des traitements existants SQL / PL-SQL • Garantir la performance, la robustesse et la qualité des données • Participer activement au RUN et à l'amélioration continue Activité secondaire • Contribution aux bonnes pratiques de développement et d'exploitation • Mise à jour du référentiel documentaire • Partage de connaissances au sein de l'équipe • Participation à la guilde Spark de l'équipe (choix de conception, optimisation des traitements, road map technique etc…) Stack technique de l'équipe : Spark, Java, Ceph, Tableau Server, Oracle, Informatica, Maven, Control-M, Git, Jenkins, Terraform

Acteur majeur dans le domaine IT, depuis notre création en 1993, nous n'avons cessé de croître et d'évoluer. Avec une équipe dévouée de près de 1.400 collaborateurs répartis sur plusieurs sites en Belgique, au Luxembourg, en France et au Canada, NSI a suivi une trajectoire exceptionnelle. Notre entreprise est à la pointe de la révolution numérique, offrant une gamme complète de services IT, de l'analyse au développement de logiciels, en passant par l'architecture et la gouvernance IT. Votre rôle au sein de NSI Nous recherchons un(e) Consultant(e) Data Analyst – Big Data H/F afin d'intervenir au sein d'un grand acteur du secteur des télécoms, sur le pilotage de la qualité de service de son réseau fixe. Descriptif des missions Au sein d'une cellule dédiée à la qualité de service, vous produisez des analyses à partir de datasets que vous constituez sur les données issues des plateformes Big Data du client. Vous avez également la responsabilité de rendre disponibles les données une fois celles-ci nettoyées, préparées et formatées, sous forme de datasets ou de tables mis à disposition des Data Scientists de l'équipe. Vous développez enfin des tableaux de bord de suivi des KPI. Missions Constituer des datasets à partir des données des plateformes Big Data Nettoyer, préparer et formater les données Mettre à disposition des Data Scientists des datasets et des tables exploitables Développer des tableaux de bord de suivi des KPI Produire des analyses commentées

Contexte de la mission Dans le cadre de la transformation et de l'industrialisation d'une plateforme Data stratégique au sein d'un grand acteur national, nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration vers une nouvelle architecture Data moderne. Vous interviendrez au sein d'une équipe transverse en charge de la refonte des plateformes décisionnelles et analytiques, avec un fort enjeu de standardisation, performance et industrialisation des traitements. Missions principalesConception et développement de pipelines Data sous Databricks / Spark Développement Python, PySpark et SQL Participation à la définition du modèle de données cible Industrialisation des traitements (CI/CD, tests, déploiement) Mise en œuvre des bonnes pratiques de développement Data Orchestration des flux via Databricks Workflows Participation au RUN, à l'amélioration continue et à l'observabilité des traitements Accompagnement des équipes sur les standards techniques et les choix d'architecture Contribution aux sujets de performance et d'optimisation des coûts Cloud