Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Au sein d'une équipe Agile dédiée à des produits innovants pour le réseau électrique, vous intervenez en tant que Lead Tech Java / Angular. Vous assurez le rôle de référent technique sur des applications web et des sujets data liés notamment à la maintenance prédictive, à la mobilité électrique et aux charges réseau. Vous concevez, développez et maintenez des applications Java Spring Boot et Angular. Vous participez au cadrage fonctionnel et technique, accompagnez les Product Owners, réalisez les revues de code et garantissez la qualité, la sécurité et la maintenabilité des solutions. Vous intervenez sur l'ensemble du cycle de vie des projets, du POC à la mise en production, tout en accompagnant techniquement les équipes.

Contexte Un grand groupe industriel souhaite renforcer temporairement son équipe Data Platform au sein de sa Digital Factory afin d'accompagner l'accélération des projets Data et IA, l'augmentation des volumes de données et l'industrialisation des traitements de données. L'équipe Data Platform est responsable de la mise à disposition, de l'exploitation et de l'évolution des services permettant l'ingestion, le stockage, la transformation et la diffusion des données. Elle assure également la supervision, la sécurisation des flux et le support aux équipes Data Engineering, BI et métiers. Description du poste Le consultant interviendra en tant que Data Platform & Data Ops Engineer avec une forte composante Cloud AWS, exploitation de plateformes Data et industrialisation des environnements. Administration et exploitation Data Platform • Administrer et maintenir les plateformes de données. • Gérer les pipelines d'intégration et les déploiements. • Administrer les environnements DEV, TEST et PROD. • Gérer les espaces de stockage, les accès et les habilitations. • Garantir la disponibilité et la sécurité des plateformes. Architecture et infrastructure DataOps • Concevoir et maintenir des architectures Data sur AWS. • Automatiser le provisionnement d'infrastructure via Terraform. • Optimiser les coûts Cloud (FinOps). • Assurer la scalabilité, la résilience et la sécurité des services Data. Industrialisation et DevOps • Mettre en place et maintenir les chaînes CI/CD. • Automatiser les déploiements et les tests. • Standardiser les composants Data. • Améliorer continuellement les processus d'exploitation. Support et expertise technique • Assurer le support N2/N3 des plateformes Data. • Diagnostiquer et résoudre les incidents complexes. • Accompagner les équipes Data Engineering et BI. • Réaliser des analyses de performance et de capacité. Monitoring et observabilité • Mettre en oeuvre les solutions de supervision. • Définir les alertes et tableaux de bord opérationnels. • Assurer le suivi des SLA et indicateurs de performance. • Anticiper les risques de saturation ou de dégradation des services. Gouvernance et transformation • Contribuer aux standards de la Data Platform. • Participer aux revues d'architecture. • Documenter les procédures et bonnes pratiques. • Accompagner les projets de migration Cloud et les évolutions de plateforme. Livrables attendus • Templates d'infrastructure automatisés (IaC). • Pipelines CI/CD industrialisés. • Documentation d'exploitation. • Procédures de déploiement et de supervision. • Runbooks et modes opératoires. • Dossiers techniques d'architecture. • Reporting d'activité. • Plans de remédiation des incidents majeurs. • Supports de transfert de compétences. • Documentation des processus d'automatisation et d'exploitation.

Bonjour à tous, Mission Data Engineer Senior / Expert – Lakehouse AWS Nous recherchons 2 Data Engineers Senior / Experts pour accompagner une équipe Data dans la conception, l'industrialisation et l'évolution de solutions data à grande échelle. La mission · Concevoir et optimiser des pipelines de données · Développer des flux batch, streaming et API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Contribuer à l'évolution d'une architecture Lakehouse · Garantir la qualité, la supervision et l'observabilité des traitements Stack technique Spark / PySpark • Python • AWS • DBT • Iceberg Airflow • Terraform • Docker • KubernetesAWS S3, Glue, EMR Trino / Starburst • Datadog ➕ Data Catalog 📍 Localisation : Île-de-France 🏠 Télétravail : 3 jours/semaine 📅 Démarrage : dès que possible ⏳ Durée : jusqu'à août 2027 🎓 Expérience : 8 ans minimum en Data Engineering Vous avez une solide expérience en Data Engineering, Big Data et architectures Lakehouse et vous maîtrisez Spark, AWS, Python et DBT ? 📩 N'hésitez pas à me contacter en MP ou à partager votre CV.

VOS MISSIONS • Concevoir et développer les composants d'ingestion, de traitement, de normalisation et de distribution des données. • Construire et améliorer le framework commun, notamment le monitoring, la CI/CD, les tests, la performance, la résilience et la qualité du code. • Recueillir, comprendre, challenger et affiner les besoins métiers. • Concevoir des solutions conformes aux directives d'architecture et aux standards internes du Groupe. • Piloter les activités de développement et contribuer en qualité de profil senior / expert. • Identifier les goulots d'étranglement et les anomalies, puis proposer des solutions d'amélioration continue. • Livrer des services prêts pour la production, avec les outils de supervision et d'alerte associés. • Rédiger et maintenir la documentation technique en anglais, et accompagner les déploiements dans différents pays.

Dans le cadre du renforcement d'une équipe Data Platform au sein d'une Digital Factory, nous recherchons un Data Platform & DataOps Engineer confirmé pour contribuer à l'exploitation, à l'industrialisation et à l'évolution de plateformes Data dans un environnement Cloud AWS. Votre rôle sera essentiel pour garantir la disponibilité, la sécurité, la performance et l'automatisation des services Data, tout en accompagnant les équipes Data Engineering, BI et Architecture. Vos principales responsabilités Data Platform & Cloud AWS Administrer et faire évoluer les plateformes Data. Concevoir et maintenir des architectures Cloud scalables, sécurisées et résilientes. Gérer les pipelines d'intégration, les environnements DEV/TEST/PROD et les habilitations. Optimiser les coûts d'infrastructure AWS dans une logique FinOps. DataOps, DevOps & automatisation Industrialiser les traitements et les déploiements Data. Mettre en place et maintenir les pipelines CI/CD. Automatiser le provisionnement des infrastructures avec l'Infrastructure as Code. Standardiser les composants Data et renforcer les tests automatisés. Monitoring & support Assurer le support technique N2/N3 et résoudre les incidents complexes. Mettre en place des outils de supervision, des alertes et des tableaux de bord opérationnels. Analyser les performances et anticiper les besoins en capacité. Sécurité & gouvernance Appliquer les standards de sécurité Cloud et de gestion des accès. Contribuer à la gouvernance, à la qualité et à la documentation des plateformes Data. Participer aux revues d'architecture et aux projets de transformation Cloud.

RECHERCHE – DATA ENGINEER SENIOR Je recherche 2 Data Engineers Senior pour intervenir sur un projet Data ambitieux en Île-de-France. 🔹 Expérience : 8 ans minimum en Data Engineering 🔹 Localisation : IDF 🔹 Télétravail : 3 jours/semaine 🔹 Démarrage : ASAP 🔹 Mission longue durée 🛠️ Compétences indispensables : • Python • Spark • AWS (Glue, EMR, S3…) • Big Data • DBT • Architecture Lakehouse • Modélisation et collecte de données • Terraform • Airflow ⭐ Une expérience sur Iceberg et Starburst/Trino est fortement appréciée. Le poste implique également des sujets de pipelines Data à grande échelle, batch/streaming, industrialisation, qualité et observabilité des données. 📩 Vous êtes disponible ou connaissez un profil correspondant ? N'hésitez pas à me contacter en MP ou à m'envoyer votre CV.

- Analyser les besoins fonctionnels et contribuer aux choix de conception technique. - Développer et maintenir des traitements distribués en Java avec Apache Spark. - Concevoir des pipelines de transformation et d'agrégation de données volumineuses. - Optimiser les performances des traitements : partitionnement, jointures, gestion de la mémoire et utilisation des ressources. - Développer les tests et garantir la qualité du code à travers les revues et les bonnes pratiques. - Participer à l'industrialisation des développements et aux déploiements via les pipelines CI/CD. - Diagnostiquer les anomalies et contribuer au maintien en conditions opérationnelles des applications. - Rédiger la documentation technique et collaborer avec les équipes métiers, Data et infrastructure. ENVIRONNEMENT TECHNIQUE : Java, Apache Spark, Spark SQL, SQL, Git, Maven ou Gradle, CI/CD, Linux.

Vous voulez voir vos pipelines faire tourner la logistique d'un géant de la distribution ? Cette mission est pour vous. VADEMI recherche un Data Engineer confirmé / senior pour rejoindre la Data Factory d'un grand groupe national de la distribution, en pleine accélération. Après de premiers succès, la Data Factory passe à l'échelle : nouvelle organisation Agile en Domaine / Tribu / Squad, industrialisation des pratiques et livraisons accélérées. Vous intégrez la Squad Supply / Logistique, qui conçoit des produits BI, Analytics et Data Science sur une plateforme Azure + Databricks. Vos traitements alimentent concrètement les entrepôts, les magasins et les consommateurs. Vos missions : - Recueillir les besoins métier et analyser les données - Concevoir et construire des pipelines de données au sein du Data Lake - Développer des notebooks Databricks pour des traitements avancés (PySpark / Spark SQL) - Optimiser les traitements et tuner les requêtes SQL (Cloud Data Warehousing) - Réaliser les revues de code et les tests unitaires - Assurer la QA / le testing des pipelines de votre binôme Data Engineer - Construire des tableaux de bord Power BI - Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes) - Livrer en continu via une chaîne CI/CD Azure DevOps Pourquoi nous rejoindre ? - Un rôle complet et à fort impact, du besoin métier jusqu'au dashboard - Une stack moderne : Azure, Databricks, Spark, Lakehouse, CI/CD - Un environnement Agile structuré, au cœur de la Supply Chain d'un leader du retail - Un rythme hybride : 2 jours de télétravail par semaine - Une mission en régie jusqu'à fin décembre 2026, avec perspective de prolongation Démarrage : dès que possible (fin septembre au plus tard) – Châtillon (92), 3 jours par semaine sur site. Processus : après votre candidature, nous vous transmettrons une grille de compétences à compléter. Un test technique est prévu en présentiel lors de l'entretien client.

DevOps Senior Data Python, Jenkins, Ansible, Git/GitLab et SQL/NoSQL. Nantes (2 jours sur site / semaine) Une expérience significative en environnement Data / DevOps / Production est recherchée, avec une bonne maîtrise de Python, Jenkins, Ansible, Git/GitLab et SQL/NoSQL. La connaissance de Spark/Scala, Databricks et Azure constitue un vrai plus. Python, TypeScript / JavaScript, SQL / NoSQL, Jenkins, Ansible, Git / GitLab, CI/CD, Spark / Scala, Databricks, Databricks Unity Catalog, Azure Data Lake, Azure Synapse, Datadog, scripting, automatisation, supervision, Cloud, conteneurisation, Scrum / Agile, ITIL Ce poste est ouvert à la pre-embauche Le consultant interviendra en qualité de DevOps Senior orienté Data au sein d'une équipe Data Engineering. La mission couvre des activités Build et Run : développement et industrialisation des applications, mise en place et amélioration des chaînes CI/CD, automatisation, supervision et maintien en conditions opérationnelles. Le consultant prendra également en charge le support N2/N3, l'analyse des incidents et causes racines, les correctifs, l'amélioration de l'observabilité et l'optimisation des processus d'exploitation. \n\nLe consultant pourra assurer un rôle de Lead Tech / référent technique, accompagner l'équipe et contribuer aux choix et bonnes pratiques techniques. Une expérience significative en environnement Data / DevOps / Production est recherchée, avec une bonne maîtrise de Python, Jenkins, Ansible, Git/GitLab et SQL/NoSQL. La connaissance de Spark/Scala, Databricks et Azure constitue un vrai plus.

CONTEXTE Dans le cadre d'un environnement international de trading d'énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève. Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité. Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu'avec des équipes internationales basées notamment à Paris, Houston et Singapour. RESPONSABILITÉS Concevoir, maintenir et optimiser des pipelines de données batch et temps réel. Développer des solutions de streaming data à haute performance. Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake. Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis. Développer des pipelines et APIs en Python. Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM. Garantir la disponibilité, l'intégrité, la qualité et la performance des données. Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel. Participer à l'amélioration continue des pratiques de monitoring, CI/CD et observabilité. Collaborer avec les équipes métier et techniques dans un contexte international et exigeant. ENVIRONNEMENT TECHNIQUE Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana

Dans le cadre du renforcement d'une équipe en charge d'une plateforme Data, nous recherchons un Expert Talend / Data Engineer Senior pour intervenir sur le maintien, l'évolution et la modernisation de l'écosystème Data. Le poste comporte deux dimensions : une expertise forte sur Talend, qui constitue le cœur de la mission, et une contribution plus ponctuelle aux développements d'un socle technique générique. Tes missions principales : Assurer un rôle de référent technique Talend Accompagner les équipes de développement et apporter un support sur les traitements Talend Analyser et résoudre les anomalies liées aux flux et traitements Data Intervenir sur des traitements Big Data / Spark Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3 Maintenir et faire évoluer les projets de référence, patterns et composants partagés Travailler sur les variables de contexte, joblets, métadonnées et standards de développement Comprendre et manipuler la structure interne des projets Talend Maintenir et faire évoluer les composants custom Suivre les incidents ou demandes éditeur lorsque nécessaire Diffuser les bonnes pratiques auprès des équipes et Tech Leads Contribuer ponctuellement aux développements Java / Spring Boot Participer à l'analyse et à la correction d'anomalies sur le socle technique Accompagner les évolutions et travaux de modernisation de la plateforme Data

Notre client dans le secteur Assurance recherche un/une Expert Talend H/F Description de la mission : 1. Expertise Talend, cœur du poste - Assurer un rôle de référent technique Talend 8. - Accompagner les équipes utilisatrices et apporter du support aux développements Talend. - Analyser et résoudre les anomalies liées aux traitements Talend. - Maîtriser les spécificités des traitements Big Data / Spark. - Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3. - Maintenir et faire évoluer les projets de référence CORE et HOWTO : variables de contexte, joblets, métadonnées et patterns de développement. - Comprendre et manipuler la structure des projets Talend, notamment les fichiers .item , les composants et leurs attributs. - Contribuer au maintien des composants custom Talend. - Assurer la création et le suivi des Cases Talend lorsque nécessaire. - Diffuser les bonnes pratiques et accompagner les Tech Leads. 2. Contribution au Socle Générique En complément de son rôle Talend, le candidat pourra participer aux activités du Socle Générique : - développement Java / Spring Boot ; - analyse et correction d'anomalies ; - contribution aux évolutions techniques du socle ; Compétences recherchées : Indispensables - Très bonne maîtrise de Talend dans un écosystème Cloudera, idéalement Talend 8 - Expérience significative en développement ETL - Bonne maîtrise de Java - Bonne connaissance de Spark - Capacité d'analyse et de diagnostic sur des traitements Data - Bonne compréhension de l'industrialisation des développements et des chaînes de build Fortement souhaitées - Cloudera / CDP - Hadoop / environnement Big Data - Maven - Git / CI-CD - SQL - Java / Spring Boot - Expérience de migration ou de modernisation de traitements Data Compétences / Qualités indispensables : Talend, Cloudera, ETL, Java, Spark Compétences / Qualités qui seraient un + : - Bonne compréhension de l'industrialisation des développements et des chaînes de build Fortement souhaitées - Cloudera / CDP - Hadoop / environnement Big Data - Maven - Git / CI-CD - SQL - Java / Spring Boot - Expérience de migration ou de modernisation de traitements Data Informations concernant le télétravail : Oui — 2 jours/semaine

ContexteDans le cadre de la modernisation de sa plateforme Data, notre client recherche un Expert Talend pour renforcer son équipe et assurer l'évolution et l'industrialisation des traitements Data. MissionsAssurer le rôle de référent technique sur Talend 8. Accompagner les équipes et résoudre les anomalies liées aux traitements ETL. Intervenir sur les environnements Big Data utilisant Spark et Cloudera. Maintenir et faire évoluer les composants et projets de référence Talend. Participer à la modernisation de la plateforme Data et à l'amélioration des chaînes de build. Contribuer ponctuellement aux développements Java / Spring Boot. Compétences recherchéesIndispensable : expertise Talend, idéalement Talend 8, et expérience significative en ETL. Bonne maîtrise de Java et connaissance de Spark. Capacité à diagnostiquer des incidents Data et à industrialiser les développements. Atouts : Cloudera / CDP, Hadoop, Maven, Git, CI/CD, SQL et Spring Boot. Une expérience en migration ou modernisation de plateformes Data est appréciée.

Au sein de l'équipe Socles Data / DataHub, nous recherchons un profil expérimenté pour renforcer l'expertise autour de Talend et contribuer au maintien, à l'évolution et à la modernisation de notre plateforme Data. Le poste comporte deux dimensions : Priorité : expertise et maîtrise de Talend En complément : contribution aux développements et évolutions du Socle Générique La société devra fournir les prestations suivantes : Expertise Talend, cœur du poste - Assurer un rôle de référent technique Talend 8. - Accompagner les équipes utilisatrices et apporter du support aux développements Talend. - Analyser et résoudre les anomalies liées aux traitements Talend. - Maîtriser les spécificités des traitements Big Data / Spark. - Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3. - Maintenir et faire évoluer les projets de référence CORE et HOWTO : variables de contexte, joblets, métadonnées et patterns de développement. - Comprendre et manipuler la structure des projets Talend, notamment les fichiers .item et .properties, les composants et leurs attributs. - Contribuer au maintien des composants custom Talend. - Assurer la création et le suivi des Cases Talend lorsque nécessaire. - Diffuser les bonnes pratiques et accompagner les Tech Leads. Contribution au Socle Générique En complément de son rôle Talend, le candidat pourra participer aux activités du Socle Générique : - développement Java / Spring Boot ; - analyse et correction d'anomalies ; - contribution aux évolutions techniques du socle ;

Contexte : Au sein de l'équipe Socles Data / DataHub, nous recherchons un profil expérimenté pour renforcer l'expertise autour de Talend et contribuer au maintien, à l'évolution et à la modernisation de notre plateforme Data. Le poste comporte deux dimensions : - Priorité : expertise et maîtrise de Talend - En complément : contribution aux développements et évolutions du Socle Générique MISSIONS: 1. Expertise Talend, cœur du poste - Assurer un rôle de référent technique Talend 8. - Accompagner les équipes utilisatrices et apporter du support aux développements Talend. - Analyser et résoudre les anomalies liées aux traitements Talend. - Maîtriser les spécificités des traitements Big Data / Spark. - Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3. - Maintenir et faire évoluer les projets de référence CORE et HOWTO : variables de contexte, joblets, métadonnées et patterns de développement. - Comprendre et manipuler la structure des projets Talend, notamment les fichiers .item et.properties, les composants et leurs attributs. - Contribuer au maintien des composants custom Talend. - Assurer la création et le suivi des Cases Talend lorsque nécessaire. - Diffuser les bonnes pratiques et accompagner les Tech Leads. 2. Contribution au Socle Générique En complément de son rôle Talend, le candidat pourra participer aux activités du Socle Générique : - développement Java / Spring Boot ; - analyse et correction d'anomalies ; - contribution aux évolutions techniques du socle ;

Le besoin La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours. Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur. Vos missionsExploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout. Refresh des données entre environnements, puis leur automatisation. Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell. Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages. Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon). Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases). Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage. Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables. Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.