Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Bonjour, Nous cherchons pour notre client un Data Engineer Experimenté/Senior . Site : Ile de France Proche paris ; 2/3 jours/semaine obligatoire sur site Date de démarrage : ASAP Date de fin : 31/12/2028 Le Contexte : Rejoignez une équipe de 14 passionnés pour relever un double défi technologique ! Nous recherchons un Data Engineer Senior pour piloter l'évolution d'un écosystème Big Data On-Premise (DataStore) tout en ouvrant la voie vers le Cloud. Vous serez au cœur d’une transformation stratégique : assurer l'excellence opérationnelle actuelle tout en préparant la migration progressive vers GCP . Vos Missions : Piloter l’excellence technique : Superviser les flux, garantir la qualité des données et optimiser les performances du DataStore. Innover et Maintenir : Faire évoluer les pipelines critiques (Spark, Kafka, NiFi). Expertise de pointe : Résoudre les incidents de niveau 3 avec une approche analytique (JIRA/ITZMI). Accélérer la migration : Être un acteur clé des chantiers transverses vers le Cloud.

Au sein de l'équipe Data4Ops, vous jouez un rôle pivot dans la structuration et la valorisation des données opérationnelles du Système d'Information (SI). En collaboration directe avec le Product Owner Data et le Product Manager Observabilité, votre objectif est de transformer des flux de données complexes en leviers de décision stratégiques et opérationnels. Votre mission principale consiste à automatiser la collecte, la manipulation et la mise en image des données pour créer des outils de pilotage haute performance. Conception et stratégie : Recueil des besoins auprès des parties prenantes métiers et techniques. Rédaction des spécifications fonctionnelles et techniques. Conception de la documentation utilisateur et technique pour garantir la pérennité des solutions. Développement de visualisations : Création de tableaux de bord interactifs et de graphiques dynamiques sous Power BI et Grafana. Design d'interfaces intuitives permettant une lecture immédiate des enjeux critiques. Adaptation des rapports aux différents profils utilisateurs (Top Management vs Équipes Ops). 3. Engineering & analyse de données : Définition et implémentation de KPI métiers et techniques. Extraction, transformation et analyse automatisée (ETL) de données multi-sources. Modélisation de données pour optimiser les performances d'affichage des dashboards.

VOS RESPONSABILITÉS PRINCIPALES Recueillir et évaluer les besoins en matière de qualité des données Accompagner et organiser des ateliers avec les data owners pour comprendre le cycle de vie des données et collecter les exigences en matière de qualité des données (règles, impacts de la non-qualité, parties prenantes, etc.) Interagir et se coordonner avec les autres parties prenantes du projet (Data Steward, Data Engineer,…) pour s’aligner sur les contrôles Vérifier et valider la pertinence des règles de qualité des données et leur faisabilité Documenter les règles de qualité dans le catalogue de données (Collibra) Mettre en oeuvre les normes et politique de qualité des données sur votre périmètre pour garantir l'opérabilité des données tout au long de leur cycle de vie dans l'entreprise Concevoir et mettre en œuvre des outils de contrôles et de visualisations de la qualité des données, y compris des alertes pour détecter les erreurs et les incohérences Mettre en œuvre et animer les processus de remédiation afin d’assurer l’amélioration continue du dispositif de qualité des données Développer et appliquer des stratégies pour l'amélioration continue de la qualité des données, en collaboration étroite avec les producteurs de données et les équipes techniques. Sensibiliser les parties prenantes internes à l'importance de la qualité des données, en les formant aux bonnes pratiques et en assurant un suivi régulier. Implémenter des outils pour automatiser les tâches de contrôle et de correction des données. Contribuer et participer activement à la communauté des Data Quality Manager

Nous recherchons un profil hybride, combinant une expertise en développement mobile React Native et une compétence solide en Data Engineering sur Databricks/Azure. Votre mission principale portera sur la maintenance évolutive et corrective d’une application mobile développée en React Native. Vous interviendrez sur les sujets suivants : Développement mobile Assurer la maintenance évolutive et corrective d’une application mobile en React Native Garantir une expérience utilisateur fluide, performante et conforme aux bonnes pratiques (optimisation, modularité, testabilité) Implémenter de nouvelles fonctionnalités ainsi que les tests associés, dans une démarche clean code (sécurité, maintenabilité) Data Engineering Concevoir, développer et implémenter des solutions Big Data Analytics Construire et industrialiser les pipelines de données (collecte, transformation, traitement) dans le Data Lake Développer des notebooks avancés sous Databricks (langage SQL, Framework SPARK) Rédiger la documentation technique (DAT, release notes, etc.) Réaliser des tests unitaires et assurer la qualité des livrables Contribuer à la maintenance évolutive et corrective des traitements Livrer dans un environnement DevOps (CI/CD) et maîtriser les outils associés

Contexte Dans le cadre du développement d’une Data Marketplace interne pour un grand groupe international du secteur de l’énergie, nous recherchons un Data Engineer expérimenté afin de renforcer une équipe produit data. La plateforme permet de centraliser l’ensemble du parcours data des utilisateurs : découverte de données, data quality, data governance, transformation de données, monitoring de pipelines et BI. Elle sera progressivement déployée auprès de plusieurs milliers d’utilisateurs dans un environnement international. Le consultant interviendra sur la conception et l’évolution des pipelines de données ainsi que sur l’optimisation de la qualité et de la performance des flux. Missions Développement et maintenance de pipelines de données en Python et Scala Conception et évolution d’une architecture data scalable et modulaire Gestion et optimisation des flux de données Mise en place de processus de data quality et validation des données Optimisation des performances des ingestions de données Participation aux rituels agiles et aux revues de code Documentation des choix techniques et de l’architecture Environnement technique Python Scala / Spark Cloud : AWS et Azure AWS : Lambda, Glue, Redshift, Step Functions, DynamoDB Streaming : Kafka, Kinesis, EventHub, EventGrid API REST Git CI/CD Big Data Architecture Connaissance de Langchain ou Langgraph appréciée.

Vous rejoindrez un projet stratégique de plateforme unifiée d’intégration et de traitement des données , centralisant plus de 20 sources de données hétérogènes pour répondre aux besoins analytiques des équipes produit et décisionnel. La solution est développée selon les principes d’un lakehouse avec architecture en médaillon (Bronze, Silver, Gold). Environnement technique : Azure Data Factory Azure Databricks Spark Scala & SQL Azure DevOps (Git) Datadog (monitoring) Missions principales : Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory Développer et optimiser des flux de transformation de données en Scala sur Databricks Maintenir et créer de nouveaux indicateurs de qualité de données Garantir la qualité du code et le respect des normes de développement Implémenter des tests unitaires et assurer la fiabilité des solutions Maintenir les dashboards de monitoring sur Datadog Participer au refactoring du code existant pour améliorer performance et maintenabilité (Spark Declarative Pipeline et DBT)

Contexte Dans le cadre de l’exploitation et de l’évolution d’une plateforme Big Data à grande échelle, un acteur majeur recherche un expert technique orienté Data Engineering / DataOps. La mission s’inscrit au sein d’un centre d’expertise dédié aux plateformes data, dans un environnement hybride combinant infrastructures on-premise et cloud public. L’objectif principal est d’assurer la disponibilité, la fiabilité et l’automatisation des environnements Datalake, tout en accompagnant les équipes projets dans leurs usages data. Missions Assurer le maintien en conditions opérationnelles des plateformes Datalake Gérer les incidents, demandes d’exploitation et support aux utilisateurs Participer aux déploiements sur les différents environnements (intégration, pré-production, production) Contribuer à l’automatisation et à l’industrialisation des processus Mettre en œuvre des solutions d’orchestration et de déploiement Participer à l’amélioration continue des outils et pratiques d’exploitation Collaborer avec les équipes techniques et les parties prenantes métiers Assurer le reporting et la communication opérationnelle Livrables attendus Exploitation et supervision opérationnelle des plateformes Documentation technique et procédures d’exploitation Scripts et automatisations de déploiement Améliorations continues des processus DataOps Support technique aux équipes projets Environnement technique Cloud & Infrastructure AWS · Microsoft Azure · Environnements hybrides on-prem / cloud Big Data & Data Engineering Kafka · Kafka Connect · Spark · Starburst · Dataiku Orchestration & Automatisation Kubernetes · Helm · Terraform · Ansible · Airflow CI/CD & DevOps GitLab CI/CD · Jenkins · Pipelines d’intégration continue Systèmes & Langages Linux · Python Profil recherché Expérience confirmée en exploitation de plateformes Big Data / Datalake Solides compétences en environnements Linux et scripting Python Maîtrise des outils d’orchestration et d’automatisation Bonne connaissance des architectures cloud et conteneurisées Expérience en CI/CD et industrialisation des déploiements Capacité à gérer des environnements critiques en production Bon relationnel et esprit d’équipe Informations complémentaires Mission orientée RUN avec contribution aux évolutions Environnement technique complexe et à forte volumétrie de données Collaboration avec équipes Data, DevOps et métiers Contexte nécessitant rigueur, autonomie et réactivité

Almatek recherche pour l'un de ses clients, Un IED Java / Spark / Scala / SIG sur Ecully Profil recherché : IED Sénior Java / Spark / Scala / SIG Une expérience >5 ans sur des technologies SPARK & JAVA est nécessaire. Une connaissance des librairies géographiques dans Spark est un plus. Une connaissance d'une solution similaire (exemple Apache Beam) est un plus. Contexte client : Dans le cadre de la mise en place d'un socle SIG (Système d'Information Géographique) permettant la gestion des risques climatiques, notre client souhaite s'appuyer sur des expertises de développement en Spark Java, si possible avec une connaissance des librairies Géographiques, dans un environnement Google Cloud platform. Le projet consiste à industrialiser des modèles définis par la direction actuariale, afin d'intégrer des données géographiques, topographiques, satellites, des données métier, pour définir les scores de risque des différents risques climatiques (inondation, sécheresse, tempête, etc. Sur le périmètre confié, en coordination avec l'équipe projet de développement de notre client et l'intégrateur, les objectifs sont les suivants : • Comprendre et analyser les modèles de calculs définis par les actuaires • Participer avec l'intégrateur aux phases de conception de la solution • Réaliser le développement en Spark Java, en utilisant des librairies géospatiales • Accompagner la montée en compétence des équipes sur la mise en œuvre de traitements en Spark / Java • Déployer les développements dans un environnement Google Cloud Platform • Créer la documentation et la communiquer aux équipes concernées • Anticiper les phases d'exploitation en relation avec les équipes du client • Rendre compte à son chef de projet Livrables • Solution applicative développée et testée • Mises à jour de la documentation • Mise à jour du suivi interne de l'équipe Compétences Fonctionnelles: IARD : notion Compétences Techniques: JAVA / SCALA / SPARK : Expert Oracle / ITIL : Avancé Agile : avancé

Expert en systèmes distribués, votre mission est de concevoir, déployer et administrer les clusters Apache Kafka au cœur de l'échange de données en temps réel de la banque. Vous intervenez sur la configuration fine des brokers, la gestion des topics, des schémas (Schema Registry) et des partitions pour garantir une haute disponibilité et une tolérance aux pannes maximale. Vous accompagnez les équipes de développement dans l'implémentation des producteurs et consommateurs, ainsi que dans l'utilisation de Kafka Streams ou ksqlDB pour le traitement de flux. Vous assurez le monitoring proactif des performances (latence, débit), la sécurité des flux (SSL/SASL/ACLs) et le troubleshooting complexe en environnement de production critique. Vous êtes le référent sur les stratégies d'archivage et de réplication inter-sites.

Nous recherchons un Data Engineer Senior pour rejoindre une équipe spécialisée dans la gestion et l’exploitation des données au sein d’une grande organisation numérique. L’équipe intervient au cœur de la plateforme Data et collabore étroitement avec les différentes directions techniques pour transformer la data en levier stratégique et opérationnel. L’équipe actuelle est composée d’un Product Owner, d’un Data Steward et de deux autres Data Engineers. La mission s’inscrit dans un contexte de traitement de volumes de données importants et de projets transverses autour de la connaissance utilisateur et de la mise à disposition d’outils de pilotage internes. Missions de l’équipe Collecter et centraliser des sources de données hétérogènes. Assurer la conformité, la sécurité et la qualité des données. Participer aux initiatives de gouvernance des données. Missions du Data Engineer En interaction avec les membres de l’équipe, le Data Engineer aura pour responsabilités de : Participer aux phases de conception, planification et réalisation des projets data. Construire et maintenir des pipelines de données robustes et scalables. Accompagner l’équipe dans l’exploitation et le requêtage des données. Organiser et structurer le stockage des données pour en faciliter l’accès et l’usage. Mettre en place et maintenir des infrastructures scalables capables de gérer l’augmentation rapide du volume de données. Développer et maintenir les workflows de CI/CD pour les pipelines data. Partager les bonnes pratiques et contribuer à la montée en compétences des autres data engineers. Garantir l’évolutivité, la sécurité et la stabilité des environnements de données. Participer activement aux instances techniques de l’équipe. Contribuer à la mise à jour et à la qualité de la documentation technique. Effectuer une veille technologique proactive sur les outils et méthodes data. Stack technique Langages & traitements : Python, SQL, Spark Orchestration : Airflow Stockage : Cloud Storage, Delta Lake Cloud & services associés : Google Cloud Platform (BigQuery, Dataproc, Pub/Sub) Infrastructure & IaC : Terraform, Terragrunt CI/CD & versioning : GitLab, GitLab CI/CD Méthodologie : Agile (Scrum ou Kanban) Profil recherché Minimum 7 ans d’expérience en Data Engineering. Expertise solide en structuration et traitement de données, code et architecture data. Expérience significative dans la conception et la maintenance de pipelines data . Expérience dans un environnement Google Cloud Platform et utilisation de BigQuery et Dataplex Universal Catalog. Maîtrise des langages Python et SQL et du framework Spark . Expérience avec Delta Lake , Terraform, Terragrunt. Maîtrise des outils GitLab et GitLab CI/CD. Capacité à vulgariser et communiquer sur des sujets techniques complexes. Autonomie, rigueur et capacité à travailler en équipe dans un contexte Agile. Qualités personnelles Esprit d’équipe et collaboration. Proactivité et sens de l’initiative. Curiosité technologique et veille active. Capacité à documenter et partager les bonnes pratiques.

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : Administration et optimisation de clusters HDP/CDP Installation, configuration et maintenance des clusters Gestion des mises à jour et des patchs de sécurité Surveillance des performances et optimisation des ressources Gestion/administration de clusters Kubernetes Automatisation des déploiements avec Operators Sécurisation et monitoring des environnements conteneurisés Orchestration des workflows avec Apache Airflow Développement et optimisation des DAGs pour la gestion des pipelines de données Gestion des dépendances et optimisation des temps d'exécution Intégration avec les autres outils de l'écosystème Traitement et analyse des données avec Apache Spark Développement et optimisation des jobs Spark (batch et streaming) Gestion des performances et tuning des jobs Intégration avec les systèmes de stockage distribués Optimisation des requêtes et accès aux données avec Starburst Configuration et administration de Starburst Optimisation des requêtes SQL distribuées Sécurisation et gestion des accès aux différentes sources de données

Cette mission d’envergure au sein du pilier RPBI de mon client bancaire dans le Val de Marne vise à transformer l'architecture data du groupe. En tant qu’ Architecte Solutions / Tech Lead , vous piloterez la migration stratégique de l'écosystème Hadoop vers Snowflake/Snowpark . Le rôle combine vision architecturale et leadership technique au sein d’un environnement Agile. Vos responsabilités incluent la définition des standards de développement, l'optimisation des pipelines de données via Snowpark/Scala et l'encadrement des Feature Teams. Dans un contexte Cloud Azure , vous garantirez la robustesse des solutions en appliquant les principes de Clean Code et de CI/CD. Points clés : Expertise : Snowflake, Snowpark, Scala et migration Hadoop (Cloudera). Profil : +7 ans d'expérience, capacité de vulgarisation et leadership. Durée : Longue visibilité (jusqu’en sept. 2028). Rythme : Hybride (2 jours sur site). C'est une opportunité rare de structurer la gouvernance data d'une grande banque internationale.

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Ilest composé de 300 experts passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre Mission : En tant que Développeur(se) Fullstack Java AWS, vous interviendrez sur des projets innovants, au cœur des enjeux de transformation de nos clients. Vous participerez à la conception, au développement et à l’industrialisation de solutions modernes, robustes et évolutives. Concrètement vous allez : Concevoir et développer des applications Java / Spring Boot performantes. Contribuer au développement front (Angular, React ou Vue.js selon les projets). Participer à la définition des architectures techniques. Travailler en méthodologie agile au sein d’équipes pluridisciplinaires. Collaborer avec nos experts DevOps, Cloud et Data pour industrialiser et optimiser les solutions. Contribuer à l’amélioration de la qualité du code (tests automatisés, revues, bonnes pratiques). Développer en respectant les bonnes pratiques de production logicielle et de CraftsManship. Votre futur environnement technique : Back-end : Java 21, Spring Boot, API REST, microservices Front-end : Angular / React / Vue.js DevOps : CI/CD (GitLab, Jenkins, Azure DevOps…), Docker, Kubernetes Cloud : Azure, AWS ou GCP Modélisation de données : Kafka Qualité : tests unitaires, tests d’intégration, Sonar, automatisation

Support Technique et Expérience Développeur Assurer un support quotidien aux ingénieurs et data scientists. Identifier et contribuer à la gestion de la dette technique ; fournir des outils d'automatisation et de test. Collaborer avec les équipes plateforme pour optimiser l'expérience développeur globale. Adoption de la plateforme et bonnes pratiques Promouvoir l'utilisation efficace des outils et fonctionnalités de la plateforme. Se tenir informé(e) des tendances du secteur et des technologies cloud/données pertinentes. Développement des compétences et animation de la communauté Évaluer les compétences de l'équipe et dispenser des formations ciblées. Animer une communauté de pratique pour présenter les améliorations et partager les bonnes pratiques. Produire de la documentation technique et des supports de formation. Retours d'information et évolution de la plateforme Recueillir les retours des utilisateurs et contribuer à l'amélioration du produit. Valider les livrables d'ingénierie de la plateforme par des tests alignés sur des cas d'utilisation réels. Défendre les intérêts des ingénieurs et des data scientists en interne.

Vous rejoignez la direction des systèmes d’information d’un acteur majeur du secteur de la construction. L’équipe IT Architecture accompagne la transformation digitale et veille à la cohérence du système d’information du groupe. Vous intervenez comme architecte référent sur un domaine métier stratégique, garantissant l’alignement entre besoins métiers et solutions techniques. Mission principale Assurer la cohérence architecturale du SI. Accompagner la transformation digitale des métiers. Être l’interlocuteur privilégié pour les sujets majeurs et stratégiques de votre périmètre. Activités principales Accompagnement métier et aide à la décision Élaborer l’architecture fonctionnelle cible du SI, en cohérence avec la stratégie digitale et métier. Comprendre les processus métiers pour accélérer la génération de valeur via le SI. Accompagnement projet Contribuer à la conception et à l’évolution des systèmes applicatifs sur votre périmètre. Gestion de la cartographie et des référentiels Maintenir la cartographie de domaine (référentiels, catalogue de données, flux, APIs). Gérer les référentiels d’architecture d’entreprise (objets métiers, applications, processus, flux). Patrimoine applicatif et obsolescence Garantir la qualité du patrimoine applicatif en tant que Business Process Owner. Piloter les plans d’actions liés à l’obsolescence technique. Promotion de l’architecture et management transverse Promouvoir les orientations architecturales auprès des directions métiers. Encadrer une ressource et animer les responsables de domaine pour le maintien des référentiels.

Data Engineer Senior afin d’accompagner la conception, l’industrialisation et l’évolution de ses solutions data. Le prestataire interviendra sur les sujets d’architecture, de modélisation, d’optimisation des pipelines et contribuera activement à la stratégie Lakehouse de l’entreprise. Missions principales Concevoir, développer et optimiser des pipelines de données à grande échelle. Mettre en œuvre des flux batch , streaming et ingestion via API . Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold). Développer et industrialiser les pipelines via DBT , Spark et Iceberg . Contribuer à l’évolution de l’architecture Lakehouse de l’entreprise. Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent). Orchestrer les workflows ETL/ELT via Airflow . Mettre en œuvre l’ Infrastructure as Code ( Terraform ). Exécuter les traitements dans des environnements conteneurisés ( Docker , Kubernetes ). Garantir la disponibilité, la supervision et l’observabilité des traitements. Participer à la gestion des incidents et à l’amélioration continue. Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés). Documenter les architectures, pipelines et règles métier. Garantir la conformité des flux, notamment dans le cadre RGPD .