Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Bonjour à tous, notamment aux Senior Python Engineers orientés Data & Distributed Systems 🐍☁️ (AWS / Spark / Ray / Pandas / Performance) ⚠️ Seniorité de 8 ans minimum 🔎 Je cherche un Senior Software Engineer Python pour rejoindre un programme stratégique au sein d’un grand acteur de la finance quantitative, autour de la valorisation de données financières massives (tick data L3). Dans ce contexte très exigeant, l’objectif est de rendre exploitables des datasets ultra-volumineux pour des chercheurs, en construisant des solutions de feature engineering distribuées tout en conservant une expérience utilisateur simple type pandas. 💻 Ce que tu vas faire : - Traduire des workflows Python/pandas en traitements distribués (Spark, Ray…) - Optimiser des traitements sur des volumes massifs de données (performance, scalabilité) - Concevoir des abstractions simples pour les data scientists (UX orientée chercheurs) - Participer aux choix d’architecture (Spark / Ray / Iceberg…) - Travailler sur des datasets complexes (données temporelles, dépendances, déséquilibres) - Collaborer étroitement avec des équipes ML Platform et des chercheurs quant - Contribuer à une plateforme data scalable et industrialisée sur AWS 🎯 Stack & environnement : Python (expert) / Pandas / NumPy / Spark / Ray / AWS (S3, EMR, SageMaker) / Iceberg / Data Lake / Feature Engineering / HPC (bonus) / Kubernetes (EKS en réflexion) 📍 Mission : Paris 💰 TJM : Selon profil 📅 Démarrage : ASAP

Solide expérience en développement avec des langages comme Scala et/ou Java, et une compréhension approfondie des concepts de programmation fonctionnelle. Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark. Expérience significative dans le domaine de la Data et du Cloud, notamment sur Google Cloud Platform (GCP). Très bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données. Maîtrise de SQL pour la manipulation, l’analyse et la valorisation de données. Connaissance approfondie de DBT (Data Build Tool) pour la gestion et l’orchestration de pipelines de données. Expérience avec Pubsub pour la gestion de flux de données en temps réel. Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l’automatisation des workflows data. Bonne connaissance de l’environnement Linux et des outils de ligne de commande. Expérience solide avec les systèmes de gestion de version (Git). Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires.

Bonjour à tous 😀 🚀 Contexte de mission Nous recherchons un Data ingénieur - Référent technique Nifi et Data , vous intervenez au sein d’une équipe Data & IA sur des environnements critiques à forte volumétrie. L’objectif : concevoir, optimiser et sécuriser les flux de données dans un contexte de production exigeant, avec des enjeux forts de continuité de service . 🎯 Vos missions Développer et maintenir des pipelines de données (Apache NIFI / Databricks) Optimiser les flux existants (performance, fiabilité, scalabilité) Assurer le RUN et le support (HNO / 24-7) Mettre en place et améliorer les processus CI/CD Superviser les traitements (monitoring, alerting) Participer aux études techniques et POC Produire la documentation et les reportings d’incidents Être force de proposition sur l’ amélioration de l’architecture data ✅ Must Have Expertise Apache NIFI Très bonne maîtrise de Databricks Expérience solide sur Azure Bon niveau en Python & Spark Expérience en environnement de production critique (RUN / incidents) Connaissance CI/CD (Git / GitLab) Expérience en monitoring (type DataDog) Bonne maîtrise des bases de données (PostgreSQL) Expérience en Agile / Scrum ➕ Nice to Have Connaissance AKS (Kubernetes) Expérience avec Zookeeper Background sur des projets data à forte volumétrie Culture DevOps / automatisation avancée

Contexte Dans le cadre de projets de transformation et de modernisation des systèmes d'information chez de grands acteurs de la distribution et de la grande consommation, nous recherchons un Data Engineer confirmé / sénior pour intervenir sur une migration de plateforme Data vers le Cloud. Vous intégrerez une squad Agile dédiée, au sein d'une organisation Data Factory, dont la mission est de concevoir et déployer des produits Analytics innovants à destination des fonctions support, des équipes logistiques et des points de vente. Vos missions En tant que Data Engineer, vous interviendrez sur tout ou partie des missions suivantes : Analyse des traitements existants dans le cadre de projets de migration on-premise vers le Cloud Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein d'un Data Lake Développement de notebooks Databricks pour des traitements avancés de données Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) Rédaction de la documentation technique (dossiers d'analyse, release notes, etc.) Réalisation de revues de code dans une logique de qualité et de bonnes pratiques Conception et exécution de tests unitaires Livraison des développements dans un environnement DevOps intégrant des processus CI/CD Environnement technique Azure / Databricks / Spark Python / SQL CI/CD, Azure DevOps Outils Agile (JIRA)

Contexte Dans le cadre de son plan de transformation Data, un grand groupe média poursuit un objectif central : développer des applications Data permettant aux directions métiers (pilotage, marketing, commerce, etc.) de gagner en autonomie dans l'analyse de leurs données et le suivi de leurs KPI mais aussi de mettre en place des applications customer-facing. Pour répondre à cet enjeu, ce groupe s'appuie sur un écosystème technologique étendu, comprenant notamment : AWS, GitLab, Terraform, DBT, Snowflake, GenAI, Braze, Scala, Spark, Python, Power BI , ainsi que des briques d'Intelligence Artificielle. La plateforme repose sur des architectures robustes et évolutives (Datalake, Lakehouse, des architectures multi-tenant, des architectures event-driven et streaming) conçues pour ingérer et gérer plus de 100 To de données par jour , dont une part majoritaire en temps réel. Les cas d'usage couverts sont variés, parmi lesquels : IA pour recommandation des programmes et des offres Plateforme agentique customer-facing Gender Equality Monitoring Feature Store Modernisation des flux financiers Content Platform Mise en place Kubernetes Plateforme pour le traitement des données CRM et usage Partager des informations sur les clients à des partenaires Piloter plus efficacement l'activité des marchés professionnels Mettre à disposition des applications de data-selfservice Le consultant aura pour mission de réaliser des développements avancés sur le socle des données Big Data pour la mise en place des usecases IA. Cet environnement Big Data, fortement orienté Streaming et IA, traite quotidiennement plus de 100 To de données . Le consultant doit maîtriser les architectures de Streaming Data, AWS (notamment Lambda, Batch, Step Function, EMR Serverless, Kinesis Stream, S3, Firehose, DynamoDB, etc.), Airflow, Scala, Spark, SQL, Snowflake, GitLab CI/CD, Terraform. Missions Concevoir et développer des pipelines de données performants Développer en utilisant des outils tels que Scala, DBT et Spark Implémenter des architectures de Streaming Data robustes Contribuer activement aux initiatives FinOps Développer et optimiser des traitements d'intégration de données en streaming Participer activement à l'évolution continue de la plateforme IA

🎯 MISSIONS : Intégré(e) aux équipes d'un de nos clients grands comptes vos missions seront les suivantes : - Assurer la disponibilité et la stabilité des environnements (Test, Prod). - Exécuter et superviser l'installation (déploiement, bon démarrage). - Automatiser les déploiements et les pipelines (CI/CD) dans un but de fluidifier et de fiabiliser la réalisation. - Collaborer à la mise en place de la supervision incluant la documentation des dépendances. - Analyser, résoudre les incidents et suivre les plans de remédiation. - Participer à la définition des Exigences Non Fonctionnelles (sécurité, performance, scalabilité) et s'assurer de leur implémentation en projet et en production. - Garantir la conformité et la qualité des livrables (tests, documentation) et anticiper les risques. Connaissances techniques : - Ordonnanceur (Control M) - Déploiement continu (Gitlab, Openshift, CICD, Terraform) - SQL (Oracle, MySQL, PostgreSQL) - Monitoring (Dynatrace) - ETL Powercenter / ELT DBT - Hadoop (HDFS, Spark) - Scripts (shell, ksh) - Python - Google Cloud Platform (Big Query) - Jira, Confluence, Easyvista, Google Workspace

Data Architect DATABRICKS Azur gen AI 600 e /J – Minimum 6-8 ans d’expérience en data, dont plusieurs années en architecture – Expérience confirmée en environnement Azure – Forte maîtrise d’Azure Databricks, Spark, Delta Lake – Expérience en conception de plateformes Big Data à forte volumétrie – Connaissances en intégration de modèles ML en production – Bonne compréhension des architectures GenAI / LLM (RAG, vectorisation, orchestration) – Capacité à interagir avec des équipes métiers industrielles – Anglais courant – Expérience Volvo fortement appréciée Le poste s’inscrit dans un environnement exigeant, orienté performance industrielle et transformation digitale. Nous recherchons un profil structurant, capable de poser les bases d’une architecture robuste et évolutive, tout en accompagnant la montée en maturité IA du client. Compétences professionnelles et techniques: - Azure - Databricks - Python - Gen AI - Angl

Contexte : Nous recherchons un/une développeur/développeuse Python DevOps GCP pour renforcer nos équipes. Missions : Vous serez amené(e) à réaliser les tâches suivantes : La mission consiste à participer à la réalisation du projet basée sur Google Cloud Platform, à forts enjeux au sein d'une équipe engagée et experte sur le sujet. Développement et Intégration de solutions Python Spark avec les services data et compute de Google Cloud Platform Participer à des projets avec de fortes contraintes techniques, de sécurité et de performances.

Notre client est un grand acteur du secteur de l'énergie en France, engagé dans une transformation technologique ambitieuse. Dans ce cadre, il recherche un Domain Lead Engineer pour piloter la stratégie technique d'un département à grande échelle (~50 personnes). Véritable bras droit du CTO, le DLE est le garant de la cohérence architecturale, de la vision technique long terme et du lien entre stratégie globale et réalité terrain. Le poste est localise à Lyon, ouvert aux freelances. Démarrage janv. 27 En tant que Domain Lead Engineer, vos missions sont les suivantes : Décliner les orientations techniques du CTO à l'échelle du département Définir et maintenir la vision technique court, moyen et long terme Construire et piloter les roadmaps techniques structurantes Identifier en amont les risques techniques et zones de transformation Garantir la cohérence globale des architectures du département Définir et diffuser les standards, cadres et bonnes pratiques d'ingénierie Participer aux revues d'architecture et de code sur les sujets critiques Assurer l'adoption des standards via les Apps Leads et Lead Techs Être le point d'escalade technique pour les équipes sur les sujets complexes et multi-périmètres Remonter au CTO les difficultés techniques, organisationnelles et process Identifier des opportunités d'innovation à fort impact et favoriser l'expérimentation Diffuser la connaissance et les retours d'expérience au sein du département Requirements Profil recherché Minimum 15 ans d'expérience, avec un solide passé de développeur Minimum 6 ans de pilotage technique (50+ personnes) Très forte expertise technique full-stack, data engineering et architecture de SI complexes Maîtrise des technologies du département : Java, Spring, Angular, PostgreSQL, Kafka, Hadoop, Hive, Impala, PySpark, Spark (Java/Scala), Python, Databricks, PowerBI, Git/Gitlab, Kubernetes, Docker, Helm, Ansible, Grafana Capacité à adresser des problématiques de scalabilité, performance et architecture distribuée Vision bout-en-bout du SI (applications, infra, data, tests, sécurité, production) Capacité à fédérer des équipes aux intérêts parfois divergents Expérience en contexte cloud appréciée

Contexte Une équipe centralisée gère la plateforme mais de nombreuses équipes (Feature Team organisées par domaine de données) travaillent sur la Data Platform . Toutes les équipes fonctionnent en mode agile. Un Tech Lead est recherché pour une Feature Team du client . La maîtrise de l'outil DATABRICKS est un prérequis. Missions Conception, développement et maintenance des pipelines de données Cadrage technique Garant de la mise en production des traitements au sein de la plateforme Optimisation du code pour chaque traitement, maîtrise de l'usage Databricks au regard des coûts Maîtrise de l'architecture médaillon de Databricks, des problématiques de qualité de données, du DevOps Développement sous Databricks (Python / SQL / Spark) Force de propositions techniques Capacité à encadrer / coacher des data engineers juniors, challenger la solution et assurer un rôle de tech lead dans l'équipe

La tribu « CRM » est en charge du parc applicatif dédié à la mise en œuvre et au suivi de l’ensemble de la relation client-banque et des outils de conformité (fraude, lutte contre le blanchiment et financement du terrorisme). La mission consiste à assurer les fonctions suivantes au sein de la Squad Conformité et Sécurité Financière : • vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ • Teradata • CONTROL-M • Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) • SQL sur SGBD relationel (Teradata) • TPT • Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea • Spark • HDFS • Python • Hadoop

Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l’amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Dans le cadre d’un projet Data à forte valeur ajoutée, nous recherchons un Data Engineer / Software Engineer orienté Data afin de renforcer une équipe agile SAFe. Le consultant interviendra sur la conception, le développement et l’industrialisation de pipelines Data et Machine Learning dans un environnement cloud Azure. Il participera à la transformation de solutions analytiques et prototypes Data Science en solutions robustes, scalables et industrialisées. Missions principales Data Engineering / Pipelines Data & ML Conception et développement de pipelines batch sur Azure Databricks Traitement et transformation de données avec PySpark Mise en place de workflows Data industrialisés Utilisation de Delta Lake pour la gestion des données Intégration de modèles ML en collaboration avec les Data Scientists 2. Industrialisation & performance Optimisation des performances Spark : partitionnement gestion mémoire optimisation des jobs Mise en place de mécanismes de : reprise sur erreur traçabilité des traitements monitoring des pipelines Software Engineering / Développement Développement de packages Python industrialisés Conception d’API (Azure Functions / Container Apps) Respect des standards de développement : tests unitaires qualité du code documentation CI/CD Contribution projet & Agile Participation aux phases projet : étude de faisabilité conception développement mise en production (MEP) Participation aux activités RUN et amélioration continue Contribution active aux cérémonies Agile SAFe

Contexte de la mission : Dans le cadre de projets stratégiques autour de la donnée et de l'intelligence artificielle, un grand groupe industriel renforce ses équipes afin de structurer et valoriser des données issues d'environnements industriels complexes. La mission s'inscrit dans une dynamique de construction et d'optimisation de plateformes data, avec des enjeux forts autour de la qualité, de la volumétrie et de l'exploitation des données pour des cas d'usage avancés (analytics, IA). L'environnement technique repose sur un écosystème cloud AWS, avec des outils modernes de data engineering tels que Databricks et Apache Spark, ainsi qu'une forte culture DevOps. Vous intégrerez une équipe en charge de l'ingestion, du traitement et de l'exposition de données à grande échelle. Responsabilités : - Concevoir et procéder à la maintenance des pipelines de données, de l'ingestion à l'exposition ; - Contribuer à l'optimisation des traitements de données à grande échelle et à la fiabilisation des flux ; - Collaborer avec les équipes data et IA afin de garantir la disponibilité et la qualité des données pour les usages analytiques et machine learning.

Contexte OnSpark est un cabinet spécialisé dans la GMAO/EAM et l'intégration SI, en forte croissance (40 collaborateurs, CA 3,3 M€). Dans le cadre de la diversification de son offre vers la Data et l'Intelligence Artificielle, nous recherchons un Expert / Lead Tech Big Data pour accompagner nos clients grands comptes. Vous interviendrez en tant que référent technique au sein d'environnements Big Data on-premise matures (Cloudera CDP), avec de fortes exigences en matière de performance, de sécurité (ISO 27001, RGS) et de qualité. Responsabilités Définir les orientations techniques de la plateforme Big Data Encadrer et accompagner les équipes Data Engineering Optimiser les performances des traitements distribués (Spark, Hadoop) Assurer une veille technologique active et contribuer à la roadmap technique Garantir la sécurité, la fiabilité et l'évolutivité de la plateforme

Almatek recherche pour l'un de ses clients Un Lead Technique / Consultant Digital Factory SENIOR sur Velizy. Objectifs de la mission Le consultant interviendra sur deux volets complémentaires : Volet 1 – Leadership technique transversal & coaching • Définir et maintenir le référentiel d’architecture et les standards techniques • Concevoir des composants transverses (librairies, SDK, templates, exemples de référence) • Assurer un coaching technique hands-on (pair programming, ateliers, refactoring) • Animer des peer reviews transverses (code, design, architecture) • Rédiger des guides opérationnels, checklists qualité et bonnes pratiques Volet 2 – Delivery & industrialisation de solutions digitales • Analyser les besoins projets et rédiger les spécifications techniques détaillées • Développer des solutions : o Back-end : services, APIs, microservices, traitements o Front-end : interfaces web et écrans métiers • Intégrer les solutions dans le SI existant (IAM, référentiels, bus d’échanges) • Mettre en place et maintenir les pipelines CI/CD • Contribuer à l’industrialisation et à l’exploitation o tests automatisés o monitoring, logs, métriques o procédures de run et gestion d’incidents Environnement technique • Langages o Python o JavaScript / NodeJS o .NET • Data & Big Data o Apache Spark o Conception et développement de plateformes Data / Big Data • Cloud o AWS Compétences attendues Techniques & transverses • Conception d’architectures robustes • Capacité à argumenter et challenger les choix techniques • Expérience en environnement industriel contraint Soft skills • Leadership naturel • Proactivité • Sens du résultat • Esprit d’équipe et pédagogie Livrables attendus • Référentiel d’architecture et standards techniques • Composants transverses (librairies, templates, exemples de code) • Spécifications techniques et plans de tests • Code, artefacts déployables et scripts d’intégration • Pipelines CI/CD opérationnels • Documentation d’intégration et de run • Rapport hebdomadaire d’activité, commenté avec le client Langues • Anglais : professionnel courant (lu, parlé, écrit) • Français : courant Séniorité • Profil Senior / Expert • Environ 7 ans d’expérience professionnelle • Expérience confirmée en lead technique ou rôle équivalent • Minimum 3 ans d’expérience sur AWS ou cloud équivalent Lieu : Principalement sur site client : Velizy – Île-de-France Télétravail : À définir avec le client (2j de tt habituellement)