Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Almatek recherche pour l'un de ses clients Un Data Engineer Spark/Scala sur Bordeaux. Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : -Socle Big Data (OI1) : *Compute : Yarn *Storage: HDFS (avec chiffrement pour C3), Hive *Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : -MoveNAStoHDFS -Moteur d'ingestion v2 -Spark Scala -Dictionnaire de données -Socle Data Science : *DataiKu Automation Frameworks/langage/outils utilisés: -Spark 3 -HQL Localisation : Bordeaux + 2 à 3 jours de présence sur site requise

CONTEXTE : Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour nous accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs MISSIONS Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. Dans le même ordre d'idée, quelques attendus : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs Livrables attendus "Code source documenté Plan de tests / fiches de test Bilan Bordereau de livraison Manuel d’installation Dossier d’exploitation JIRA documentée" Environnement technique - technologique "• Cloudera Hadoop • Hive, impala • Python • SQL • Shell • Spark • VBA • GIT • Jupyter • Linux • JIRA" Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale

Contexte : Intégration d´une équipe de développeurs data (Java, Spark, Spring) dont le rôle est la mise en place de pipelines de données à destination de vues NoSQL (Cassandra, MongoDB, Elasticsearch) Hard skills demandés : Maîtrise Développement Objet Maîtrise d’un langage objet (Java) Maîtrise SQL Framework Spring Plateforme Spark Connaissance des Web Applications & Micro-services Maîtrise DevOps (CICD, Git, Jenkins) Connaissance approfondie des bonnes pratiques de développement et des Design Pattern Connaissance Domaine Cloud Connaissance du Métier Data / Big Data Vernis langage Python Hard skills optionnels : Maitrise de Mongo DB , Cassandra, et Elastic Search Conception asynchrone Connaissance Domaine DataScience Connaissance Domaine Cybersecurité Soft skills : Autonomie Motivation Organisation Humilité Négociation Curiosité Partage Sens du service Pragmatique / Réaliste Mindset Sensibilisé à la Qualité de code Sensibilisé à la vie de Production Expérience demandée : Développement objet en environnement de production Expérience de 5 ans min en développement data Expérience dans un grand groupe (expérience de l’inertie et des contraintes d’un groupe) Expérience sur tout le cycle de vie d’une application (besoin, conception, développement, déploiement, maintenance) Expérience souhaitée en amélioration d’une solution existante (contrainte de SLA, performance, montée en charge, refactoring, voir refonte) Les missions sont : Recueillement du besoin utilisateur/BA, conceptualisation de la solution technique associée et l’implémenter Adoptation d´une approche proactive sur la qualité de code avec une méthodologie TDD Amélioration continue du code existant et revue avec les pairs des évolutions Support et sensibilisation des pairs à la qualité du code, aux bonnes pratiques et outillage améliorant l’expérience de développement Inscription dans une démarche agile avec un rythme de livraison soutenu (1 MEP / mois)

Le rôle du Data Engineer dans ce projet consistera à : • Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark (glue jobs, sans utilisation de solutions managées type Databricks) • Traiter et normaliser les données • Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers) et notre modèle uniformisé/harmonisé à toutes les plateformes (aggrégateurs, market exchanges) • Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud • Distribuer les données aux différents consommateurs/Métiers • Implémenter les règles de Data Quality (DataQuality framework : great expectation) et gérer le data calatog • Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) • Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, … • Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données • Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. • Être force de proposition pour améliorer les processus et les performances des systèmes.

Nous recherchons actuellement un Data Engineer pour intervenir au sein d’un grand groupe international du secteur du luxe (cosmétique & parfums), dans le cadre du renforcement de ses équipes data. Contexte Vous interviendrez sur la mise en place et l’optimisation d’une plateforme data moderne basée sur Microsoft Fabric, avec des enjeux autour de la centralisation, de la transformation et de la valorisation des données métiers. Missions principales Développer et maintenir des pipelines de données sur Microsoft Fabric Participer à la conception de l’architecture data (Lakehouse, Data Warehouse) Intégrer et transformer des données issues de multiples sources Assurer la qualité, la fiabilité et la performance des flux de données Collaborer avec les équipes Data, BI et métiers Contribuer aux bonnes pratiques Data Engineering (CI/CD, monitoring, documentation) Stack technique Microsoft Fabric Azure Data Factory / Synapse (ou équivalent) Python / SQL Data Lake / Lakehouse Git / CI-CD Profil recherché 3 à 4 ans d’expérience en Data Engineering Première expérience sur Microsoft Fabric ou forte appétence sur l’écosystème Microsoft data Bonne maîtrise de Python et SQL Expérience sur des environnements cloud (idéalement Azure) Bon niveau d’anglais Soft skills Esprit analytique Autonomie Capacité à monter rapidement en compétence Bonne communication avec les équipes métiers

Dans le cadre du renforcement de sa Data Factory, un grand groupe international accélère la structuration de sa plateforme data sur Microsoft Azure avec un usage central de Databricks pour le traitement, la transformation et la valorisation des données. L’environnement s’inscrit dans une logique Data Lake , organisation Bronze / Silver / Gold et montée en maturité data à l’échelle groupe. Mission L’Architecte Data interviendra sur la conception et l’industrialisation de la plateforme data Azure. Ses responsabilités principales : Concevoir et faire évoluer l’architecture data sur Azure Structurer et optimiser les pipelines data via Databricks (Spark) Mettre en place les traitements de transformation et d’agrégation Modéliser les données pour les usages analytiques Garantir performance, scalabilité et qualité des flux Participer aux ateliers de cadrage technique avec les équipes métiers et IT Contribuer aux standards d’architecture et aux bonnes pratiques data Compétences clés (Must Have) Databricks (obligatoire) Azure (Data Lake, Synapse, Data Factory) Spark / PySpark SQL avancé Architectures Data Lake – Bronze / Silver / Gold Conception de pipelines data industrialisés Modélisation Data Warehouse Compétences appréciées (Nice to Have) Power BI DAX MDM (Master Data Management) Data Quality / Gouvernance Data Mesh Azure DevOps / Git ERP (SAP) Profil recherché 5 à 10 ans d’expérience en Data Engineering / Architecture Data Expérience confirmée sur des environnements Azure + Databricks Capacité à intervenir sur des environnements data complexes Autonomie technique et posture structurante Bon relationnel et capacité à challenger les choix d’architecture Environnement de travail Cloud : Microsoft Azure Traitement data : Databricks, Spark Stockage : Azure Data Lake Gen2 Orchestration : Azure Data Factory BI (selon besoins) : Power BI Gouvernance (selon périmètre) : MDM / Data Quality Conditions de la mission Lieu de la mision : Paris Mission longue : 6 à 12 mois renouvelables Temps plein Télétravail partiel possible Démarrage rapide TJM : 450-550€

Description du poste : Dans le cadre de l'activité Big Data de notre client, nous recherchons un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour nous accompagner dans nos actions sur notre plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs.

Localisation : Bretagne Présence sur site minimum 3 jours par semaine Candidatures locales privilégiées Contexte Au sein d’un Chapitre Data intervenant en transverse dans l’entreprise, vous contribuez à la fabrication des cas d’usage Data portés par différentes Squads métiers. Vous évoluez dans un environnement collaboratif avec des interlocuteurs variés et participez activement aux échanges avec les membres du Chapitre présents sur d’autres sites en France. Missions Participer à la définition de l’architecture Data avec les architectes et les Squads Concevoir et développer des solutions de collecte, transformation et stockage de données issues de multiples sources Développer des pipelines Spark batch et Spark Streaming Mettre en place les tests unitaires et automatisés Déployer les solutions dans les différents environnements Assurer le suivi en production et la gestion des incidents Être force de proposition et contribuer à l’amélioration continue Environnement technique Spark (batch et streaming) indispensable SQL indispensable Scala apprécié Kafka apprécié Java et Shell appréciés Stack Hadoop Cloudera HDFS, Hive, HBase, Phoenix, MongoDB Git, Jenkins, Artifactory, XL Release ELK, Grafana Méthodologie Scrum Connaissances appréciées Outils de data visualisation tels que MicroStrategy, Power BI ou Tableau Profil recherché Expérience confirmée en Data Engineering Big Data Solide maîtrise de Spark dans un environnement Hadoop / Cloudera Capacité à évoluer en contexte transverse Soft skills attendues Autonomie Adaptabilité Bonne communication Capacité à challenger les besoins Prise de lead et force de proposition

Contexte Nous recherchons un(e) Développeur(se) Spark / Java pour intervenir sur la mise en place d’un socle SIG (Système d’Information Géographique) dédié à la gestion des risques climatiques. Le projet vise à industrialiser des modèles de calcul définis par une direction actuarielle afin d’intégrer et croiser des données géographiques, topographiques, satellites et métier, pour produire des scores de risques climatiques (inondation, sécheresse, tempête, etc.) dans un environnement Google Cloud Platform (GCP). Objectifs de la mission Comprendre et analyser les modèles de calcul définis par les actuaires Participer aux phases de conception de la solution Réaliser les développements en Spark Java, avec des librairies géospatiales Accompagner la montée en compétence sur la mise en œuvre de traitements Spark / Java Déployer les développements dans un environnement Google Cloud Platform Produire la documentation et assurer sa transmission aux parties concernées Anticiper les phases d’exploitation et de maintien en conditions opérationnelles Assurer un reporting régulier sur l’avancement Livrables Solution applicative développée et testée Documentation mise à jour Suivi interne mis à jour Profil recherché +5 ans d’expérience sur Spark & Java Expérience sur des traitements Big Data et pipelines de calcul Connaissance de librairies géospatiales dans Spark (fort plus) Expérience sur une solution équivalente type Apache Beam (plus) Capacité à produire de la documentation claire Autonomie, rigueur, bonne communication Environnement technique Java Apache Spark Librairies géospatiales Google Cloud Platform (GCP) Plus : Apache Beam

Descriptif du poste Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur IKS (Kubernetes IBM) et bientôt sur OpenShift : Apache Spark Apache Airflow/Astronomer Starburst (trino) Dans le cadre du renforcement de notre capacité de support sur la nouvelle offre "DATAHUB V2", nous recherchons des prestataires spécialisés dans l'exploitation et le support de ces plateformes. Missions La prestation visera à : Assurer le maintien en condition opérationnelle en production des plateformes (Airflow, Spark, Starburst) Intervenir dans la gestion des incidents, l'analyse des root causes et la résolution Participer à l'optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l'optimisation de l'orchestration Airflow, à la gestion des catalogues Starburst Accompagner les équipes métiers dans l'utilisation efficace et sécurisée des plateformes Contribuer à la documentation et à l'amélioration continue de l'écosystème d'exploitation

Dans le cadre de notre besoin, nous recherchons un profil hybride associant : Une expertise confirmée en développement mobile React Native, et une compétence en Data Engineering sur Azure / Databricks. La mission repose principalement sur la maintenance évolutive et corrective d’une application mobile développée en React Native. En fonction de la charge de travail sur la partie front, le consultant pourra également intervenir sur les traitements back/data, notamment sur les pipelines et notebooks Databricks sur le cloud Azure. Informations complémentaires : - Démarrage souhaité : ASAP - Conscients que ce type de profil hybride est rare, nous vous remercions de ne proposer que des candidats répondant strictement aux critères décrits dans la fiche de mission. - 3 jours obligatoire sur site ANALYSE : Participe à l'analyse fonctionnelle détaillée des besoins utilisateurs et peut être sollicité pour des ateliers de définition des spécifications générales Étudie les opportunités et la faisabilité technologique de l'application, réalise l'analyse technique, l'étude détaillée et contribue à l'estimation des charges CONCEPTION ET DÉVELOPPEMENT : Contribue au design du logiciel et des frameworks utilisés dans le cadre du projet Adapte et applique les paramètres techniques des progiciels ou des middlewares Réalise le prototypage Analyse et développe les composants en utilisant les langages appropriés Participe à la structuration des Bases de Données Participe à la revue croisée des développements de ses pairs Initialise le dossier d'exploitation Assemble les composants unitaires dans un package applicatif cohérent destiné au déploiement de la solution et l'intègre à la gestion de configuration Documente les applications pour les développements ultérieurs et la Mise en Production (MEP) Harmonise et industrialise l'ensemble des composants et applications Utilise les composants logiciels réutilisables et met à jour la nomenclature RECETTE UNITAIRE ET TESTS D'INTÉGRATION : Responsable des tests unitaires : élaboration des jeux d'essais et réalisation Teste, identifie et traite les dysfonctionnements éventuels du logiciel développé Vérifie la conformité de l'ouvrage avec la demande formulée Contribue à la préparation et à la réalisation des tests d'intégration Analyse les résultats et rédige le rapport de tests MAINTENANCE : Réalise les développements nécessaires à la maintenance corrective et évolutive Participe à l'analyse et à la résolution des incidents de production Compétences techniques : React Native - Expert - Impératif Databricks - Confirmé - Impératif Spark - Confirmé - Impératif SQL - Confirmé - Impératif

CONTEXTE DU POSTE : Nous recherchons pour notre client Grand-Compte un DevOps streaming Data. Vous intégrerez le pôle technologique en charge de concevoir et d’opérer des plateformes « as a service » permettant le déploiement d’architectures modernes, distribuées et hautement résilientes pour l’ensemble des entités du Groupe. MISSIONS PRINCIPALES : Industrialiser et automatiser les déploiements (Ansible) Mettre en production de nouveaux clusters Kafka et faire évoluer les clusters existants (scale horizontal & vertical) Participer à la définition des architectures des futures briques de la plateforme Streaming Apporter une expertise technique aux utilisateurs de la plateforme Développer des prototypes en lien avec les cas d’usage métiers Documenter les offres et démontrer la valeur des solutions Data

Dans le cadre du renforcement du DataLab, nous recherchons un Data Analyst Lead en prestation, rattaché à l’équipe Gouvernance des données. La mission s’inscrit dans un environnement Grande Distribution, multienseignes et multimétiers, avec de forts enjeux de pilotage de la performance, qualité des données, modélisation et usages analytiques à grande échelle. La connaissance du domaine de la Grande Distribution est un critère essentiel. Objectifs de la mission Apporter une expertise en data analyse et en conception de solutions informatiques orientées données. Contribuer à la montée en compétence des Data Analysts du DataLab. Accompagner les équipes produits et projets sur des sujets analytiques et techniques avancés. Animer la communauté des Data Analystes. Coanimer la Data Authority et les ateliers associés, en lien avec l’équipe Gouvernance des données. Principales missions Expertise en data analyse et conception de solutions data. Support avancé aux équipes produits / projets (indicateurs complexes, modélisation, cohérence des solutions). Contribution à la structuration et à l’alignement des KPI métiers. Animation de la communauté des data analystes (ateliers, bonnes pratiques, retours d’expérience). Contribution à la modélisation des données, notamment en faisant vivre le modèle de données communes. Coanimation de la Data Authority et des ateliers associés. Compétences clés attendues Expertise confirmée en data analyse. Capacité à concevoir et challenger des solutions data. Pratique avérée de la modélisation des données. Connaissance significative et opérationnelle de la Grande Distribution (critère indispensable) : enjeux business, indicateurs clés (vente, marge, stock, approvisionnement, performance magasin), compréhension des usages métiers de la donnée. Capacité à accompagner et faire monter en compétence des Data Analysts. Aisance dans l’animation de communautés et d’ateliers transverses. Contexte technique Technologies Big Data : SQL, Databricks, Scala, Python BI / Reporting : Power BI, MicroStrategy Modélisation des données : PowerDesigner Gouvernance des données : DataGalaxy Qualité des données / Data Observability : SODA Méthodologie projet : SAFE (Agilité à l’échelle) Outils Agile : Jira Environnements Big Data : Microsoft Azure & DataBricks Définit, développe, met en place et maintient les outils nécessaires à l'analyse des données par les équipes Data Conçoit les modèles de données et les contrats d'interfaces Est responsable de créer des solutions permettant le traitement de volumes importants de données tout en garantissant leur sécurité MISE EN PRODUCTION Prépare les documents requis pour les Mises En Production (MEP) et pour le Run (document d'exploitation, supervision, ?) Participe à la mise en place des processus et outils de supervision de son produit et des traitements associés Participe au transfert de compétences vers l'équipe en charge du RUN Respecte les bonnes pratiques de développement (optimisation, sécurisation, documentation, etc.) Participe aux différentes cérémonies agiles VEILLE ET SUIVI Assure une veille active sur les technologies et langages utilisés et leurs évolutions afin d'améliorer les compétences des équipes Participe à la résolution d'incidents sur le produit en collaboration avec les parties prenantes

Dans le cadre de la création d’une nouvelle plateforme Data , le Data Engineer Senior intervient sur l’ensemble du cycle de vie de la donnée . Il conçoit, développe et maintient des pipelines de données batch et streaming en Spark et Python , contribue à la mise en place d’une architecture Lakehouse moderne , et garantit la qualité, la fiabilité et la sécurité des données . Le rôle inclut l’ industrialisation des traitements (CI/CD, DataOps), l’observabilité, la documentation et une forte collaboration avec les équipes techniques et métiers.

Développeur Mobile React Native / Data Engineer Objectif global Renforcer une équipe projet avec un profil hybride Développeur Mobile React Native / Data Engineer, intervenant à la fois sur une application mobile et sur des traitements data. - Présence sur site : 3 jours par semaine obligatoires Livrables attendus : - Évolutions et corrections applicatives - Code documenté, maintenable et industrialisé - Tests unitaires et rapports de tests - Documentation technique associée Compétences techniques requises : - React Native : Expert – impératif - Databricks : Confirmé – impératif - Spark : Confirmé – impératif - SQL : Confirmé – impératif Description de la mission : Dans le cadre d’un projet de transformation digitale, nous recherchons un profil hybride associant développement mobile et data engineering. La mission porte principalement sur la maintenance évolutive et corrective d’une application mobile développée en React Native. En fonction de la charge de travail sur la partie front, le consultant pourra également intervenir sur la partie back/data, notamment sur : - les pipelines de données, - les notebooks Databricks, - les traitements Spark et SQL sur environnement Cloud (Azure). Activités détaillées : - Analyse - Participation à l’analyse fonctionnelle détaillée des besoins utilisateurs - Contribution aux ateliers de définition des spécifications - Étude de faisabilité technique et estimation des charges Conception et développement : - Contribution au design technique et aux frameworks applicatifs - Développement et prototypage des composants applicatifs - Structuration et exploitation des bases de données - Revue croisée des développements - Documentation technique et préparation à la mise en production - Harmonisation et industrialisation des composants Tests et recette : - Conception et réalisation des tests unitaires - Identification et correction des anomalies - Contribution aux tests d’intégration - Rédaction des rapports de tests Maintenance : - Réalisation de la maintenance corrective et évolutive - Analyse et résolution des incidents en production Profil recherché : - Expérience significative en React Native en production - Solide compétence en Data Engineering (Databricks, Spark, SQL) - Maîtrise des APIs REST - Utilisation courante de Git - Sensibilité aux pratiques DevOps / CI-CD appréciée

Contexte Dans le cadre du renforcement de sa Data Platform, un acteur majeur de la gestion d’actifs quantitatifs recherche un Senior Data Engineer très opérationnel pour accompagner et faire monter en compétence une communauté de plus de 50 data engineers et data scientists. Le rôle est central : interface entre les feature teams et les équipes plateforme, avec une forte dimension technique et stratégique. MissionsSupport technique hands-on Accompagnement direct des équipes sur leurs problématiques data Développement et optimisation de pipelines end-to-end Identification et réduction de la dette technique Mise en place d’outillage (tests, automation, AI agents…) Amélioration de la Developer Experience Data Platform Evangelism Promotion et adoption quotidienne de la plateforme Partage des best practices et des standards Veille technologique et diffusion interne Animation de communauté de pratique Upskilling & Transmission Évaluation du niveau des équipes Mise en place de formations, workshops, contenus techniques Création de documentation et supports techniques Feedback & Amélioration continue Collecte des besoins utilisateurs Collaboration étroite avec les équipes plateforme Validation technique des assets produits Stack TechniqueCloud AWS (S3, EMR, Glue, Athena, Lake Formation) CloudFormation / CDK Lambda, Fargate Data Engineering Python avancé Spark / Pandas Airflow Parquet Apache Iceberg DevOps CI/CD Jenkins SonarQube Conda Infra-as-Code (idéalement CDK en Python)