Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Au sein du pôle Big Data d'un grand groupe, l'objectif principal de ce poste est de réaliser et de maintenir les développements nécessaires à l'alimentation du Datalake sur une plateforme Cloudera Hadoop, de mettre en place des extractions de données et d'accompagner les utilisateurs. Rattaché(e) au responsable Big Data, vous évoluerez dans un contexte de production à fortes attentes où la tenue des délais de livraison et le pilotage opérationnel sont primordiaux. Vos principales missions seront les suivantes : Développement et intégration : Prendre en charge les évolutions des données à intégrer et reprendre les développements existants pour l'alimentation du Datalake. Vous développerez également des extractions avec un niveau d'expertise en SQL et créerez des scripts Shell avancés pour l'automatisation. Expertise technique et mentorat : Spécifier techniquement les tâches, fournir des requêtes de référence, effectuer des revues de code et accompagner les collaborateurs juniors, stagiaires ou alternants. Support et accompagnement : Assurer le support de niveau 2, faire appliquer les bonnes pratiques et consignes aux utilisateurs, et rédiger la documentation requise (guides, description de processus). Optimisation et maintenance : Garantir la maintenabilité, les performances et l'exploitabilité de la plateforme en respectant l'utilisation des modèles référencés par la Gouvernance de la Donnée. Vous optimiserez les traitements de la plateforme et ceux des utilisateurs, et mènerez des investigations (reverse engineering) dans une architecture héritée complexe

Dans le cadre du développement de nos activités, nous recherchons un(e) Data Engineer pour renforcer l'équipe technique de notre client et intervenir sur des projets à forte valeur ajoutée autour de la data. En tant que Data Engineer, vous serez amené(e) à : Assurer le suivi technique des projets : suivi des développements, réalisation de revues de code et respect des bonnes pratiques Gérer les incidents techniques : analyse, résolution et mise en production des correctifs Proposer des améliorations techniques : identification des axes d’évolution et optimisation des performances et de la stabilité des applications Garantir la qualité du code : mise en place de tests unitaires et gestion de l’intégration continue Assurer la documentation technique : maintien à jour de l’architecture et de la documentation

Missions principales Conception et optimisation de pipelines de données à grande échelle (batch, streaming, API) Structuration des données selon le modèle Médaillon (Bronze / Silver / Gold) Développement et industrialisation via DBT, Spark et Iceberg Orchestration des workflows ETL/ELT via Airflow Déploiement cloud sur AWS et infrastructure as code avec Terraform Conteneurisation des traitements ( Docker, Kubernetes ) Supervision, observabilité, gestion des incidents et qualité des données Documentation et conformité RGPD Accompagnement de profils juniors

Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe du secteur financier, nous recherchons un Développeur Data confirmé basé à Nantes . Vous interviendrez sur des projets stratégiques liés à l’ingestion, la transformation et la valorisation des données dans un environnement Big Data. Vos missions : Développer des user stories liées à l’ingestion et transformation de données (ETL / SQL) Réaliser les tests unitaires et participer à la recette fonctionnelle Déployer les développements sur différents environnements Rédiger la documentation technique Participer à l’analyse et au chiffrage des besoins Assurer le suivi des traitements en production (run) Contribuer aux cérémonies Agile Scrum

Contexte : Intégration d´une équipe de développeurs data (Java, Spark, Spring) dont le rôle est la mise en place de pipelines de données à destination de vues NoSQL (Cassandra, MongoDB, Elasticsearch) Hard skills demandés : Maîtrise Développement Objet Maîtrise d’un langage objet (Java) Maîtrise SQL Framework Spring Plateforme Spark Connaissance des Web Applications & Micro-services Maîtrise DevOps (CICD, Git, Jenkins) Connaissance approfondie des bonnes pratiques de développement et des Design Pattern Connaissance Domaine Cloud Connaissance du Métier Data / Big Data Vernis langage Python Hard skills optionnels : Maitrise de Mongo DB , Cassandra, et Elastic Search Conception asynchrone Connaissance Domaine DataScience Connaissance Domaine Cybersecurité Soft skills : Autonomie Motivation Organisation Humilité Négociation Curiosité Partage Sens du service Pragmatique / Réaliste Mindset Sensibilisé à la Qualité de code Sensibilisé à la vie de Production Expérience demandée : Développement objet en environnement de production Expérience de 5 ans min en développement data Expérience dans un grand groupe (expérience de l’inertie et des contraintes d’un groupe) Expérience sur tout le cycle de vie d’une application (besoin, conception, développement, déploiement, maintenance) Expérience souhaitée en amélioration d’une solution existante (contrainte de SLA, performance, montée en charge, refactoring, voir refonte) Les missions sont : Recueillement du besoin utilisateur/BA, conceptualisation de la solution technique associée et l’implémenter Adoptation d´une approche proactive sur la qualité de code avec une méthodologie TDD Amélioration continue du code existant et revue avec les pairs des évolutions Support et sensibilisation des pairs à la qualité du code, aux bonnes pratiques et outillage améliorant l’expérience de développement Inscription dans une démarche agile avec un rythme de livraison soutenu (1 MEP / mois)

Dans le cadre du renforcement de sa Data Factory, un grand groupe international accélère la structuration de sa plateforme data sur Microsoft Azure avec un usage central de Databricks pour le traitement, la transformation et la valorisation des données. L’environnement s’inscrit dans une logique Data Lake , organisation Bronze / Silver / Gold et montée en maturité data à l’échelle groupe. Mission L’Architecte Data interviendra sur la conception et l’industrialisation de la plateforme data Azure. Ses responsabilités principales : Concevoir et faire évoluer l’architecture data sur Azure Structurer et optimiser les pipelines data via Databricks (Spark) Mettre en place les traitements de transformation et d’agrégation Modéliser les données pour les usages analytiques Garantir performance, scalabilité et qualité des flux Participer aux ateliers de cadrage technique avec les équipes métiers et IT Contribuer aux standards d’architecture et aux bonnes pratiques data Compétences clés (Must Have) Databricks (obligatoire) Azure (Data Lake, Synapse, Data Factory) Spark / PySpark SQL avancé Architectures Data Lake – Bronze / Silver / Gold Conception de pipelines data industrialisés Modélisation Data Warehouse Compétences appréciées (Nice to Have) Power BI DAX MDM (Master Data Management) Data Quality / Gouvernance Data Mesh Azure DevOps / Git ERP (SAP) Profil recherché 5 à 10 ans d’expérience en Data Engineering / Architecture Data Expérience confirmée sur des environnements Azure + Databricks Capacité à intervenir sur des environnements data complexes Autonomie technique et posture structurante Bon relationnel et capacité à challenger les choix d’architecture Environnement de travail Cloud : Microsoft Azure Traitement data : Databricks, Spark Stockage : Azure Data Lake Gen2 Orchestration : Azure Data Factory BI (selon besoins) : Power BI Gouvernance (selon périmètre) : MDM / Data Quality Conditions de la mission Lieu de la mision : Paris Mission longue : 6 à 12 mois renouvelables Temps plein Télétravail partiel possible Démarrage rapide TJM : 450-550€

Nous recherchons actuellement un Data Engineer pour intervenir au sein d’un grand groupe international du secteur du luxe (cosmétique & parfums), dans le cadre du renforcement de ses équipes data. Contexte Vous interviendrez sur la mise en place et l’optimisation d’une plateforme data moderne basée sur Microsoft Fabric, avec des enjeux autour de la centralisation, de la transformation et de la valorisation des données métiers. Missions principales Développer et maintenir des pipelines de données sur Microsoft Fabric Participer à la conception de l’architecture data (Lakehouse, Data Warehouse) Intégrer et transformer des données issues de multiples sources Assurer la qualité, la fiabilité et la performance des flux de données Collaborer avec les équipes Data, BI et métiers Contribuer aux bonnes pratiques Data Engineering (CI/CD, monitoring, documentation) Stack technique Microsoft Fabric Azure Data Factory / Synapse (ou équivalent) Python / SQL Data Lake / Lakehouse Git / CI-CD Profil recherché 3 à 4 ans d’expérience en Data Engineering Première expérience sur Microsoft Fabric ou forte appétence sur l’écosystème Microsoft data Bonne maîtrise de Python et SQL Expérience sur des environnements cloud (idéalement Azure) Bon niveau d’anglais Soft skills Esprit analytique Autonomie Capacité à monter rapidement en compétence Bonne communication avec les équipes métiers

Contexte de la mission Dans le cadre du développement d’une plateforme data au sein d’un grand groupe du secteur de l’énergie, vous intervenez au sein d’une équipe transverse dédiée à l’accélération des usages Data et IA. L’équipe accompagne les différents métiers dans la conception, la mise en œuvre et l’industrialisation de solutions data à grande échelle, dans un environnement moderne (cloud, big data, data gouvernance). Missions Collecter et intégrer des données issues de sources multiples (structurées et non structurées) Concevoir et maintenir des pipelines de données fiables et performants Structurer et modéliser la donnée (logique sémantique, normalisation) Mettre en place des processus de data quality (nettoyage, déduplication, validation) Assurer la qualité et la cohérence des données intégrées dans le Data Lake Participer à la cartographie et à la gestion des référentiels de données Collaborer avec les Data Analysts et Data Scientists pour faciliter l’exploitation des données Contribuer à la gouvernance des données et à la définition du cycle de vie de la donnée Participer à l’amélioration continue des performances et des coûts des traitements Environnement technique SQL (niveau avancé) Spark Python APIs AWS Databricks Outils de data gouvernance (type Collibra – apprécié)

Contexte Dans le cadre du développement d’une Data Marketplace interne pour un grand groupe international du secteur de l’énergie, nous recherchons un Data Engineer expérimenté afin de renforcer une équipe produit data. La plateforme permet de centraliser l’ensemble du parcours data des utilisateurs : découverte de données, data quality, data governance, transformation de données, monitoring de pipelines et BI. Elle sera progressivement déployée auprès de plusieurs milliers d’utilisateurs dans un environnement international. Le consultant interviendra sur la conception et l’évolution des pipelines de données ainsi que sur l’optimisation de la qualité et de la performance des flux. Missions Développement et maintenance de pipelines de données en Python et Scala Conception et évolution d’une architecture data scalable et modulaire Gestion et optimisation des flux de données Mise en place de processus de data quality et validation des données Optimisation des performances des ingestions de données Participation aux rituels agiles et aux revues de code Documentation des choix techniques et de l’architecture Environnement technique Python Scala / Spark Cloud : AWS et Azure AWS : Lambda, Glue, Redshift, Step Functions, DynamoDB Streaming : Kafka, Kinesis, EventHub, EventGrid API REST Git CI/CD Big Data Architecture Connaissance de Langchain ou Langgraph appréciée.

Dans le cadre de son plan de transformation Data, le groupe poursuit un objectif central : développer des applications Data permettant aux directions métiers (pilotage, marketing, commerce, etc.) de gagner en autonomie dans l'analyse de leurs données et le suivi de leurs KPI mais aussi de mettre en place des applications customer-facing Pour répondre à cet enjeu, le groupe s'appuie sur un écosystème technologique étendu, comprenant notamment : AWS, GitLab, Terraform, DBT, Snowflake, GenAI, Braze, Scala, Spark, Python, Power BI, ainsi que des briques d'Intelligence Artificielle. La plateforme repose sur des architectures robustes et évolutives (Datalake, Lakehouse, des architectures multi-tenant, des architectures event-driven et streaming) conçues pour ingérer et gérer plus de 100 To de données par jour, dont une part majoritaire en temps réel. Description du poste : Notre environnement de travail combine rigueur, une ambiance décontractée au sein des équipes, et des méthodes Agiles (Scrum et Kanban). Votre mission principale, si vous l'acceptez, consistera à intervenir sur des architectures de Streaming Data et IA full AWS (notamment Lambda, Step Function, Kinesis Stream, S3, Batch, Firehose, EMR Serverless, DynamoDB, etc.), ainsi que sur des technologies comme Scala, Spark, SQL, Snowflake, GitLab CI/CD, DBT, Airflow, Terraform. Vous serez amené à : Concevoir et développer des pipelines de données performants Développer en utilisant des outils tels que Scala, DBT et Spark Implémenter des architectures de Streaming Data robustes Contribuer activement aux initiatives FinOps Développer et optimiser des traitements d'intégration de données en streaming Rejoignez une équipe dynamique où innovation et expertise se rencontrent !

Pour le besoin de mon client basé à Nantes , je suis à la recherche d'un Responsable d'application Data Tâches Assurer le bon fonctionnement des applications : Garantir la disponibilité des applications Superviser et coordonner les mises en production Maitriser les flux entrants et sortants Participer aux chiffrage et cadrage des sujets Qualifier les anomalies et suivre leur correction Maintenir la documentation des applications Compétences Demandées Compétences ~5 ans d'expérience Maitrise des architectures Big Data Environnement technique : Cloud Azure, Databricks, Spark, Python, Scala, Power BI … Gestionnaire de configuration : git Connaissances en algorithmie A l’aise avec la manipulation de données

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Ilest composé de 300 experts passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre Mission : En tant que Développeur(se) Fullstack Java AWS, vous interviendrez sur des projets innovants, au cœur des enjeux de transformation de nos clients. Vous participerez à la conception, au développement et à l’industrialisation de solutions modernes, robustes et évolutives. Concrètement vous allez : Concevoir et développer des applications Java / Spring Boot performantes. Contribuer au développement front (Angular, React ou Vue.js selon les projets). Participer à la définition des architectures techniques. Travailler en méthodologie agile au sein d’équipes pluridisciplinaires. Collaborer avec nos experts DevOps, Cloud et Data pour industrialiser et optimiser les solutions. Contribuer à l’amélioration de la qualité du code (tests automatisés, revues, bonnes pratiques). Développer en respectant les bonnes pratiques de production logicielle et de CraftsManship. Votre futur environnement technique : Back-end : Java 21, Spring Boot, API REST, microservices Front-end : Angular / React / Vue.js DevOps : CI/CD (GitLab, Jenkins, Azure DevOps…), Docker, Kubernetes Cloud : Azure, AWS ou GCP Modélisation de données : Kafka Qualité : tests unitaires, tests d’intégration, Sonar, automatisation

Le Projet Rejoignez l'élite de la Tech publique au sein d'une structure d'envergure nationale dédiée à l'innovation par la donnée. La mission est capitale : concevoir, sécuriser et maintenir la plateforme technologique qui centralise les données de santé pour faire avancer la recherche médicale en France. 🏥📊 Dans un environnement Agile et ultra-sécurisé, vous intégrez l'équipe Secure Process Environment . Votre terrain de jeu ? Une infrastructure complexe, innovante et 100% automatisée. 🛠️ Votre Stack Technique Infrastructure : Azure, Terraform, Terragrunt, Packer, Ansible. Orchestration : Kubernetes (K8s), Helm. Automation/Scripting : Bash, Python. Outils : Gitlab, Keycloak, Nexus, Jupyter, Spark, PostgreSQL. 🎯 Vos Missions : "Design, Automate & Secure" Infrastructure-as-Code (45%) : Développer et maintenir une infrastructure 100% terraformée sous Azure à grande échelle. Kubernetes & Apps (30%) : Industrialiser le déploiement des composants transverses (Ingress, Keycloak) et des outils data (Jupyter, Spark) via Helm & Docker. Scripting & Outillage (25%) : Créer des utilitaires de check, de déploiement et collaborer avec les Data Engineers pour répondre aux besoins des utilisateurs finaux. Sécurité & Architecture : Participer activement à l'homologation de la plateforme et à l'évolution de l'architecture distribuée. Culture Ops : Documenter vos succès pour un partage de connaissance fluide au sein de l'équipe (12 développeurs passionnés).

Description du poste Dans le cadre du développement de ses plateformes data, l’entreprise recherche un administrateur spécialisé sur des solutions de type CDP et les services de données associés, notamment Private Cloud (PVC), évoluant dans un environnement conteneurisé OpenShift. Rattaché à l’équipe infrastructure ou data platform, le collaborateur intervient sur l’exploitation, l’administration et l’optimisation des plateformes big data, tout en garantissant leur disponibilité, leur performance et leur sécurité. Missions principales L’administrateur est responsable du bon fonctionnement de la plateforme CDP et de ses services data. Il assure l’installation, la configuration et la maintenance des environnements CDP Private Cloud ainsi que des services de données associés. Il prend en charge le déploiement et l’administration des services CDP Data Services (tels que Data Warehouse, Machine Learning ou Data Engineering) en s’appuyant sur l’infrastructure OpenShift. Il surveille en continu les performances de la plateforme et met en place des actions correctives ou d’optimisation afin de garantir un niveau de service optimal. Il participe à la gestion des incidents et des problèmes en analysant les causes racines et en proposant des solutions durables. Il veille à la bonne intégration des composants CDP avec l’écosystème technique existant, notamment les systèmes de stockage, de sécurité et de réseau. Il contribue à l’automatisation des tâches d’administration et de déploiement à travers des scripts ou des outils d’infrastructure as code. Il travaille en étroite collaboration avec les équipes data, DevOps et sécurité afin de faciliter l’usage de la plateforme et d’assurer sa conformité aux standards internes. Responsabilités techniques L’administrateur assure la gestion des clusters CDP Private Cloud (PVC), incluant leur installation, leur montée de version et leur maintenance corrective et évolutive. Il administre les environnements OpenShift utilisés pour héberger les services CDP Data Services et garantit leur bon dimensionnement. Il configure et maintient les services essentiels tels que Hive, Spark, Impala, HDFS et les services Kubernetes intégrés. Il met en œuvre les politiques de sécurité, notamment l’authentification (Kerberos, LDAP), la gestion des accès et le chiffrement des données. Il supervise les ressources système (CPU, mémoire, stockage) et optimise leur utilisation. Il participe à la mise en place de solutions de supervision et de logging adaptées à l’environnement. Compétences requises Le candidat possède une solide expérience sur la plateforme CDP, en particulier en environnement Private Cloud. Il maîtrise les concepts et l’administration d’OpenShift et des environnements Kubernetes. Il dispose de bonnes connaissances des composants big data tels que Hadoop, Spark, Hive et des outils associés. Il comprend les problématiques liées aux architectures distribuées, à la haute disponibilité et à la performance des systèmes. Il est à l’aise avec les environnements Linux et les outils d’automatisation (shell scripting, Ansible ou équivalent). Une bonne compréhension des enjeux de sécurité des données est attendue. Profil recherché Le poste s’adresse à un profil autonome, rigoureux et capable d’intervenir dans des environnements techniques complexes. Le candidat fait preuve d’un bon esprit d’analyse et de synthèse, et sait travailler en équipe avec des interlocuteurs variés. Une expérience dans un contexte DevOps ou data platform constitue un atout important. Environnement technique CDP Private Cloud (PVC) CDP Data Services (Data Warehouse, Data Engineering, Machine Learning) OpenShift / Kubernetes Hadoop ecosystem (HDFS, Hive, Spark, Impala) Linux (RedHat / CentOS) / Outils de monitoring et de logging

Vous rejoignez la direction des systèmes d’information d’un acteur majeur du secteur de la construction. L’équipe IT Architecture accompagne la transformation digitale et veille à la cohérence du système d’information du groupe. Vous intervenez comme architecte référent sur un domaine métier stratégique, garantissant l’alignement entre besoins métiers et solutions techniques. Mission principale Assurer la cohérence architecturale du SI. Accompagner la transformation digitale des métiers. Être l’interlocuteur privilégié pour les sujets majeurs et stratégiques de votre périmètre. Activités principales Accompagnement métier et aide à la décision Élaborer l’architecture fonctionnelle cible du SI, en cohérence avec la stratégie digitale et métier. Comprendre les processus métiers pour accélérer la génération de valeur via le SI. Accompagnement projet Contribuer à la conception et à l’évolution des systèmes applicatifs sur votre périmètre. Gestion de la cartographie et des référentiels Maintenir la cartographie de domaine (référentiels, catalogue de données, flux, APIs). Gérer les référentiels d’architecture d’entreprise (objets métiers, applications, processus, flux). Patrimoine applicatif et obsolescence Garantir la qualité du patrimoine applicatif en tant que Business Process Owner. Piloter les plans d’actions liés à l’obsolescence technique. Promotion de l’architecture et management transverse Promouvoir les orientations architecturales auprès des directions métiers. Encadrer une ressource et animer les responsables de domaine pour le maintien des référentiels.

Dans le cadre du projet stratégique « Risques Climatiques & Physiques », le client souhaite mettre en place une solution permettant d’ingérer, agréger et exposer des données issues de sources multiples afin de produire des rapports métiers liés à la surveillance du risque de crédit. La mission consiste à intervenir sur un environnement basé sur Google Cloud Platform, au sein d’une équipe experte, avec des enjeux forts de performance, de fiabilité et de qualité des données. Le projet étant à forte visibilité, un haut niveau d’expertise technique est attendu. Une connaissance du domaine du risque de crédit constitue un plus. Objectifs et livrables : -Développer et intégrer des solutions Python / Spark sur GCP -Mettre en place et optimiser les traitements de données (ingestion, transformation, exposition) -Exploiter les services GCP (BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, GCS) -Participer à l’industrialisation des pipelines Data -Contribuer aux pratiques DevOps (CI/CD, déploiement, automatisation) -Garantir la qualité, la performance et la fiabilité des traitements -Collaborer avec les équipes projet dans un environnement Agile Profil recherché : -Le client recherche un développeur Python expérimenté, disposant d’une forte expertise sur Google Cloud Platform et sur les environnements Big Data. Le profil doit être capable d’intervenir sur des pipelines complexes, avec une bonne maîtrise de Spark et des services data GCP. -Une capacité à travailler en équipe, une bonne communication et une autonomie dans la gestion des sujets techniques sont attendues.