Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Lead tech Python Spark (H/F) à Lyon, France. Contexte : Le Groupe réalise des études et des produits data innovants sur des sujets tels que la maintenance prédictive, la mobilité électrique, les charges sur le réseau. Les missions attendues par le Lead tech Python Spark (H/F) : Activité principale Développement d’applications et de traitements orientés data en Python : Création et maintenance d'API, de dashboards et de pipelines pour analyser et visualiser les données. Maintien de la qualité logicielle : Effectuer des revues de code régulières, promouvoir et diffuser les bonnes pratiques de développement au sein de l'équipe. Appui aux projets : Fournir une aide ponctuelle et des conseils techniques aux différents projets en cours. Cadrage technique des sujets : Participer à la définition des besoins techniques et à la planification des solutions à mettre en place. Échanges transverses avec les autres équipes : Collaborer avec les équipes transverses pour remonter les besoins et implémenter un cadre commun de travail. Activité secondaire Cadrage, accompagnement technique des différents projets Accompagnement des PO Industrialisation de projets Etudes data Stack technique de l'équipe Python : FastAPI, Dash, Pandas, parallélisation, packaging, PyTest Spark (PySpark / Scala) SQL : PostgreSQL, Teradata Hadoop Git Gitlab CI/CD Jira / Confluence / Bitbucket

Votre rôle sera de : La mission a pour objectif le développement de Micro Services ayant pour fonction de collecter , transformer et alimenter le comptoir de données. Architecture évènementielle (Message Broker KAFKA Confluent), hébergée dans le cloud AWS. Activités : Développement , mise en place des TDD et BDD, déploiement Compétences et qualités attendues : Langage : Java Framework : Spring Boot. BDD : MongoDB , Message Broker : Kafka CI/CD : Docker, Kubernetes, GitLab, Jenkins, Artifactory, Sonar Test : JUnit, TestContainers, Gatling Cloud : AWS, Confluent Pattern & Architecture : Event Driven Architecture, Microsevice Architecture

Contexte de la mission Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme DSI pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées.

Dans le cadre d’un programme stratégique de transformation Data pour un de nos clients, nous recherchons un(e) Tech Lead / Senior Solution Architect Databricks afin d’accompagner la modernisation et l’industrialisation d’une plateforme Data Azure à forte volumétrie. Vous interviendrez dans un environnement exigeant autour des enjeux suivants : • Migration et industrialisation sur Databricks • Gouvernance et qualité des données • Optimisation des performances et des coûts cloud (FinOps) • Accompagnement et montée en compétence des équipes Data 🎯 Vos missions : Data Engineering & Plateforme Data Concevoir et développer des pipelines d’ingestion à forte volumétrie Structurer et faire évoluer une plateforme Data moderne sur Azure Databricks Mettre en œuvre des traitements batch et streaming dans une architecture Lakehouse Industrialisation & DevOps Industrialiser les pipelines et renforcer les pratiques DevOps Mettre en place les bonnes pratiques CI/CD et automatiser les déploiements Participer à la fiabilisation des environnements de production Architecture & Gouvernance Définir l’architecture cible et garantir les standards techniques Accompagner les équipes sur les bonnes pratiques d’ingénierie Data Participer aux sujets Data Governance & Data Quality Performance & FinOps Optimiser les traitements Spark Maîtriser les coûts d’infrastructure cloud Améliorer les performances globales de la plateforme MCO & Support Intervenir sur des incidents complexes (support N3) Contribuer au maintien opérationnel de la plateforme

Nous recherchons pour l'un de nos clients un Data Engineer Senior – Java / Spark / GCP / SQL. Missions principales Développer et maintenir des pipelines de données Participer à la conception et à l’optimisation des traitements Big Data Intervenir sur les flux de transformation et d’intégration de données Participer aux déploiements et à l’automatisation des traitements Assurer la gestion et l’optimisation des bases de données Collaborer avec les équipes techniques dans un environnement Agile Contribuer à l’amélioration continue des outils et architectures Data

Bonjour, Nous recherchons pour notre client un Data Engineer BI / Big Data disposant d’une solide expérience sur les environnements GCP, Spark Java et Teradata, pour intervenir au sein d’un programme data d’envergure dans le secteur du transport aérien. Localisation Toulouse – présence sur site requise 2 jours par semaine Budget 400€/jour selon expérience Démarrage 08/06/2026 Fin de mission 12/03/2027 Contexte de la mission Vous intégrerez une équipe Agile SAFe d’une dizaine de personnes dédiée aux sujets BI et gestion de la donnée client. L’environnement technique combine à la fois des architectures BI traditionnelles et des plateformes Big Data, avec une migration progressive vers GCP actuellement en cours. La mission s’articule autour de deux volets : participation aux évolutions et projets de transformation data, maintien et amélioration des solutions existantes. Vous travaillerez en proximité avec le Product Owner, les Business Analysts ainsi que les différentes équipes métiers impliquées dans la gestion des données clients. Compétences requises Java / Spark SQL GCP (BigQuery) Terraform ➕ Compétences appréciées Kafka Spotfire Power BI Control-M Jira

Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au cœur de notre stratégie data. Vous concevrez et mettrez en œuvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers. Vos missions : Conception et développement: Définir et mettre en œuvre des architectures de données robustes (data lakes, data warehouses). Concevoir et développer des pipelines de données automatisés (ETL). Optimiser les performances des traitements de données. Technologies: Maîtrise des langages de programmation : Python, Scala, SQL. Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka. Connaissance des bases de données relationnelles et NoSQL. Expérience avec les clouds (GCP) Collaboration: Travailler en étroite collaboration avec les équipes métiers. Participer à la définition de la roadmap data.

Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.

Nous recherchons un Data Engineer senior avec une forte expertise Big Data pour intervenir sur un projet stratégique de construction et d’industrialisation d’un Data Product à forte volumétrie. L’objectif est de construire une plateforme fiable, automatisée et scalable permettant la diffusion de données de référence à destination des usages reporting, contrôle et analyse. Missions principales Concevoir et développer des pipelines Data robustes et performants. Industrialiser les traitements Big Data à grande échelle. Optimiser les performances de traitement et de requêtage. Participer à la structuration du Data Product et des architectures Data. Collaborer avec les équipes métiers, Product Owners et développeurs. Garantir la qualité et la cohérence des données diffusées.

Dans le cadre de la modernisation de son système de gestion des données, notre client recherche un(e) Data Engineer afin de participer à la transformation et à l’industrialisation de ses traitements data. Vous intégrerez une équipe technique engagée sur des projets stratégiques liés à la migration d’applications historiques vers des technologies Big Data et Cloud plus performantes et évolutives. Vos missions Participer à la migration de traitements décisionnels développés sous Informatica et PL/SQL vers des solutions Big Data basées sur Spark (Java). Assurer la maintenance corrective et évolutive des traitements existants afin de garantir leur stabilité et leur performance. Concevoir, développer et optimiser des pipelines de données dans un environnement Cloud moderne autour de Databricks. Industrialiser les traitements data afin d’améliorer leur fiabilité, leur automatisation et leur exploitabilité. Développer et maintenir des flux de données performants répondant aux besoins métiers et techniques. Collaborer avec les différentes équipes projets pour comprendre les besoins fonctionnels et proposer des solutions adaptées. Participer aux phases de tests, de validation et de mise en production des traitements. Contribuer à l’amélioration continue des pratiques de développement et d’exploitation des plateformes data. Veiller à la qualité, à la cohérence et à la disponibilité des données au sein des environnements de production.

Je recherche un Intégrateur d'exploitation / Ingénieur Devops pour intégrer l' équipe APS Trade est en charge du support de l'ensemble des applicatifs Front, Middle et Back-Office Trade utilisées par les métiers Documentary Products : moyens de paiement et financement du commerce international, c'est-à-dire credits documentaires, remises documentaires, et garanties internationales. Il y actuellement 9 applications basées sur des progiciels (iVision, FileNet, Connexis Trade, AML-TF,...) du développement offshore et onshore, de l'infrastructure Microsoft (SharePoint, MSSQL, BI, ...), TIBCO, ... Des instances sont dédiées par métier et à l'international. La mission consiste à assister, qualifier, comprendre les différents besoins et façons de mettre en œuvre nos applications en production. En gardant à l'esprit qu'il y a un utilisateur au bout. Tout cela dans le respect du suivi via les outils mis à disposition. Vos missions Pilotage technique & fonctionnel: Coordination de l'équipe offshore (Inde), gestion du planning, priorisation, KPIs, remontée des alertes et relation DEV/OPS. Chaînes CI/CD & automatisatio: Mise en place des pipelines de DEV à PROD, automatisation des déploiements, des tests et des batchs avec consignes associées. Intégration & exploitation: Installation des systèmes, analyse des dossiers d'exploitation, rédaction des procédures, maintien des conditions de production. Surveillance & qualité de service: Mise en place des surveillances applicatives, garantie des SLA, amélioration continue et contribution aux choix d'évolution. Move To Cloud (IVx): Participation active au programme de migration cloud — intégration des standards industrialisés Stack technique : RHEL, Shell Unix, Kubernetes Tomcat Oracle DB Jenkins Argo CD Ansible Bitbucket Autosys Spark Dynatrace Apigee Confluence SharePoint / O365

Contexte : La mission se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. MISSIONS : 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Profil & Expertises demandées : • Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant delta lake • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques Niveau d’expertise attendu : Sénior : plus de 5 ans d’expérience significative dans le type d’expertise demandé dans le type d’expertise demandé

Contexte de la mission Amundi Technology recherche un profil Data Engineer Senior orienté plateformes Data & IA afin d’accompagner la montée en puissance de son socle Data/ML. La mission s’inscrit au sein de l’équipe DAT, responsable des plateformes Data, IA/ML et des environnements Kubernetes du groupe. Le consultant interviendra dans un contexte très orienté production et scalabilité, avec une forte proximité avec les équipes d’ingénierie de production. L’objectif n’est pas uniquement de conseiller, mais d’intervenir concrètement sur les problématiques techniques, les optimisations de plateformes et l’industrialisation des usages Data/IA. Informations clés • Localisation : Paris 15e • Démarrage : ASAP / Mai 2026 • Durée : longue visibilité (3 ans) • Présence : 100% • Horaires : HO uniquement • Télétravail : non précisé • Type de mission : expertise opérationnelle / engineering plateforme Responsabilités principales Plateformes Data & IA • Optimisation et amélioration des plateformes Dagster et Trino en production • Analyse de performances, tuning, optimisation des usages et configurations • Conception et optimisation de pipelines Spark à forte volumétrie • Gestion des problématiques de partitionnement, formats Delta Lake / Iceberg et performance des traitements • Participation à l’évolution du socle Data/IA et aux choix d’architecture techniques • Contribution à la gouvernance technique et aux standards d’engineering Industrialisation & Scalabilité • Industrialisation des pipelines Data & ML • Mise en place des mécanismes de monitoring, observabilité et alerting • Construction des patterns de déploiement à l’échelle • Gestion des problématiques de montée en charge et de robustesse plateforme • Support niveau 3 sur les incidents complexes Data/IA Accompagnement technique • Accompagnement des équipes Data Science et Développement • Pair-working et rôle de référent technique opérationnel • Réalisation de POCs et veille technologique autour des plateformes Data & IA Environnement technique Data / Big Data • Dagster • Trino • Apache Spark • Hive • Delta Lake / Iceberg • Superset • OpenMetadata Cloud / Infra • Kubernetes • Rancher RKE • AKS Azure • Docker DevOps / Observabilité • ArgoCD • Jenkins • Grafana • Prometheus • Sysdig Langages • Python • Go Versioning / Storage • GitLab • Artifactory • S3 Compétences indispensables • Très forte expertise sur des plateformes Data en production • Expertise Dagster (ou équivalent orchestration Data) • Expertise Trino / moteurs distribués • Solide maîtrise Apache Spark et optimisation de pipelines Big Data • Bonne connaissance Delta Lake / Iceberg / Hive • Expérience réelle de problématiques de scaling plateforme • Très bon niveau Python • Bonne maîtrise Linux / Unix Compétences appréciées • Kubernetes / Docker • Azure AKS • GitOps / Infrastructure as Code • MLOps • Go ou Java

Dans le cadre de notre besoin, nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark, SQL et Python. Vous intégrerez l’une de nos squads, responsable de la migration de traitements existants depuis une plateforme on premise vers notre plateforme Data Cloud Azure / Databricks. Le profil recherché devra impérativement démontrer une forte motivation pour intervenir sur des projets de migration et être force de proposition, notamment pour identifier et mettre en œuvre des leviers d’accélération afin d’optimiser le delivery. Mission : • Analyse des traitements existants dans le cadre de projets de migration • Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake • Développement de notebooks Databricks pour des traitements avancés de données • Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) • Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) • Réalisation de revues de code dans une logique de qualité et de bonnes pratiques • Conception et exécution de tests unitaires • Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés Compétences techniques requises • Expérience Data minimum 5 ans • Azure minimum 3 ans • Databricks minimum 5 ans • Spark minimum 5 ans • Python minimum 5 ans • SQL minimum 5 ans • Maitrise de CI/CD, Azure DevOps Minimum 3 ans • Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an Aptitudes personnelles • Force de proposition, rigueur, réactivité, bon relationnel. Test technique • Un test technique sera réalisé lors de l’entretien

Dans le cadre de notre besoin, nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark, SQL et Python. Vous intégrerez l’une de nos squads, responsable de la migration de traitements existants depuis une plateforme on premise vers notre plateforme Data Cloud Azure / Databricks. Le profil recherché devra impérativement démontrer une forte motivation pour intervenir sur des projets de migration et être force de proposition, notamment pour identifier et mettre en œuvre des leviers d’accélération afin d’optimiser le delivery. Mission : • Analyse des traitements existants dans le cadre de projets de migration • Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake • Développement de notebooks Databricks pour des traitements avancés de données • Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) • Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) • Réalisation de revues de code dans une logique de qualité et de bonnes pratiques • Conception et exécution de tests unitaires • Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés Compétences techniques requises • Expérience Data minimum 5 ans • Azure minimum 3 ans • Databricks minimum 5 ans • Spark minimum 5 ans • Python minimum 5 ans • SQL minimum 5 ans • Maitrise de CI/CD, Azure DevOps Minimum 3 ans • Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an Aptitudes personnelles • Force de proposition, rigueur, réactivité, bon relationnel. Test technique • Un test technique sera réalisé lors de l’entretien

Contexte de la mission Dans le cadre de la gestion et de l’évolution de ses plateformes Data, notre client recherche un Responsable RUN Data & BI afin d’assurer le pilotage opérationnel des activités Décisionnel, Big Data et Business Intelligence. Rattaché au Responsable du pôle Plateformes de Données et Applications Data, le consultant interviendra en tant que relais opérationnel sur l’ensemble des activités de maintien en conditions opérationnelles des plateformes Data et contribuera à garantir la qualité de service du système d’information tout au long du cycle de vie des solutions. Le poste s’inscrit dans un environnement stratégique où les enjeux de disponibilité, de performance, de qualité de service et d’accompagnement de la transformation des équipes sont majeurs. Missions principales Pilotage opérationnel des activités Data Assurer le maintien en conditions opérationnelles des plateformes Décisionnel, Big Data et BI ; Piloter directement les opérations et plans d’actions associés ; Garantir le respect des engagements de service et des niveaux de qualité attendus ; Identifier, qualifier et remonter les alertes ainsi que les risques opérationnels ; Assurer le suivi des incidents, problèmes et actions correctives ; Veiller à la bonne exécution des processus opérationnels au quotidien. Gouvernance & Pilotage Construire et suivre les feuilles de route opérationnelles ; Élaborer les plannings détaillés des projets et activités ; Assurer le suivi des budgets, plans de charge et capacités ; Produire les tableaux de bord de pilotage et indicateurs clés (KPI) ; Préparer et animer les instances de gouvernance : COPIL ; COMOP ; ateliers de suivi ; Produire les reportings périodiques à destination des parties prenantes. Management transverse & accompagnement des équipes Animer les équipes du pôle Data ; Accompagner les collaborateurs dans leur montée en compétences ; Participer à la transformation des activités et des méthodes de travail ; Être force de proposition sur l’amélioration continue des processus et de l’organisation ; Apporter une analyse critique sur les résultats, les méthodes et les orientations proposées. Gestion des risques & qualité de service Mettre les risques sous contrôle et suivre les plans de remédiation ; Construire et maintenir les cartographies de risques ; Définir et suivre les plans de mitigation ; Garantir le respect des procédures qualité et sécurité du SI ; Assurer la cohérence des solutions mises en œuvre avec les besoins métiers. Contribution à la stratégie Data Participer à la définition des orientations Data et Décisionnel ; Contribuer à la déclinaison opérationnelle des feuilles de route Data ; Garantir la pertinence des solutions mises en œuvre vis-à-vis des besoins métiers ; Participer aux projets d’évolution des plateformes et outils Data.