Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Data Engineer Teradata, bases Hive, Phoenix, HDFS, API Springboot VANNES Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi) Prestation : • Assure le développement et l’intégration des évolutions sur le périmètre des solutions de la Squad • Prépare, réalise la mise en production avec les équipes expertes; assure le SAV • Gère et maintient la documentation fonctionnelle et technique • Contribue à l’assistance à l’utilisation des solutions • Contribue aux séances d'affinage technique en phase de conception • Réalise une veille technologique régulière pour être au fait des dernières tendances • Contribue à alimenter le contenu du backlog pour prévoir les développements futurs • Analyse du patrimoine existant Le besoin est d'accompagner la squad dans un contexte de développement et de maintenance de solutions Data (Teradata, bases Hive, Phoenix, HDFS) et d'API Springboot. Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi)

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala

Description du poste Prestation de Data Engineering sur site client à Nantes. La mission consiste à : - Réaliser les développements en langage Scala. - Assurer les travaux jusqu'en environnement de production. - Assurer le support N3 de la production. - Superviser les traitements. - Être force de proposition. - Documenter les réalisations. Notre client attend un candidat disposant de plusieurs années d'expérience en Scala et Spark. Conditions de travail : - Prestation sur site. - 4 jours de télétravail par semaine.

Nous avons besoin d’un renfort de profil développeur pour notre client grand compte dans le secteur bancaire, dont les missions sont les suivantes : Tâches : - Développer des User story relatives à l’ingestion /transformation de données avec des technos de type ETL sur une plateforme Cloudera customisée ou des procédures stockées - Mettre en œuvre les tests unitaires, participer à la recette fonctionnelle avec les Business analyst - Déployer le produit dans différents environnements - Produire la documentation associée à ces développements - Participer à l’affinage et chiffrage des solutions - Garantir et assurer le fonctionnement des produits en production (suivi du run) - Participer aux cérémonies et démarche agile Scrum Attendus : Prise en charge des récits de développement du backlog et des travaux associés (conception /DevTU/Recette/Déploiement ) du périmètre et de la trajectoire des produits de la squad Environnement techniques : Indispensables : ETL Jobfacto / Spark / HIVE / Oozie … Indispensables : Devops : Gitlab, Artifactroy

Data Engineer Big Data / BI – Scala, Spark, SQL, Hive, Cloudera (H/F) 💼 Contrat : CDI 🏢 Entreprise : ADBI – Expert en Data Management et transformation digitaleContexte du poste Dans le cadre de l’évolution de ses plateformes Big Data et décisionnelles, ADBI recherche un(e) Data Engineer pour intervenir sur des projets d’intégration, de transformation et d’industrialisation de données. Vous participerez à la migration et à l’optimisation d’environnements Big Data (Cloudera, Spark, Hive, Scala) et contribuerez à la mise en place de solutions BI performantes et scalables.

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Missions et responsabilités principales1. Déploiement et industrialisation des clusters Big Data Déploiement automatisé de clusters via des pipelines CI/CD Utilisation d’outils d’automatisation pour l’installation et la configuration des composants Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance) Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code) Déploiement et configuration d’outils de gestion de plateforme Installation et configuration d’interfaces utilisateurs pour les environnements analytiques 2. Stack Big Data administrée Administration et intégration des composants suivants : Service d’annuaire : gestion des identités Service d’authentification : sécurisation des accès Système de fichiers distribué : gestion du stockage Framework de traitement distribué : gestion des ressources et exécution Outil de gestion des accès : politiques de sécurité Moteur de calcul distribué Moteur SQL pour l’accès aux données Base de données relationnelle associée aux services Service de coordination distribué Responsabilités associées : Installation, configuration et paramétrage avancé Gestion des dépendances inter-services Maintien de la cohérence des versions Optimisation des performances et de la stabilité 3. Provisionnement et préparation des environnements Provisionnement des machines virtuelles Préparation des prérequis systèmes (OS, stockage, réseau) Automatisation des installations via scripts et outils d’orchestration Gestion des environnements (développement, test, production) 4. Observabilité et supervision Mise en place et maintien de la supervision : Collecte des métriques Gestion et routage des alertes Centralisation et exploitation des logs Visualisation via tableaux de bord Définition et amélioration des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des plateformes Big Data Support technique aux équipes projets et utilisateurs Gestion des incidents et demandes d’évolution Montées de version et correctifs Suivi de la capacité (CPU, RAM, stockage) Documentation technique et mise à jour des procédures Rituels et interactions Participation aux rituels d’équipe Coordination avec : Équipes infrastructure et exploitation Équipes projets data / métiers Référents sécurité Accompagnement des équipes dans l’usage de la plateforme Environnement technique global CI/CD & DevOps : outils d’intégration et de déploiement continus, gestion de code, qualité Automatisation : outils d’orchestration et scripting Infrastructure : virtualisation, conteneurisation Big Data : écosystème de traitement distribué Observabilité : outils de monitoring, logs et visualisation Points de vigilance Forte interdépendance des composants de la plateforme Sensibilité aux problématiques de capacité et de performance Importance de l’anticipation via la supervision Respect strict des standards de sécurité et des procédures internes Coordination transverse nécessaire pour les déploiements et évolutions majeures Charge estimative Déploiement d’un cluster complet : variable selon dimensionnement et spécificités projet MCO : charge récurrente hebdomadaire Incidents critiques : charge ponctuelle selon criticité

Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe du secteur financier, nous recherchons un Développeur Data confirmé basé à Nantes . Vous interviendrez sur des projets stratégiques liés à l’ingestion, la transformation et la valorisation des données dans un environnement Big Data. Vos missions : Développer des user stories liées à l’ingestion et transformation de données (ETL / SQL) Réaliser les tests unitaires et participer à la recette fonctionnelle Déployer les développements sur différents environnements Rédiger la documentation technique Participer à l’analyse et au chiffrage des besoins Assurer le suivi des traitements en production (run) Contribuer aux cérémonies Agile Scrum

Dans le cadre de la gouvernance et de l’industrialisation du Data Lake, nous recherchons un Data Steward chargé de piloter les besoins d’acquisition et d’évolution des données. Vous évoluerez dans un environnement Agile SAFe en coordination avec les équipes produit, data et techniques, afin de garantir la qualité, la cohérence et la conformité des données intégrées dans le Data Lake. Missions principales Piloter les demandes d’acquisition et d’évolution des données dans le Data Lake Coordonner les équipes dans un contexte Agile SAFe Réaliser les analyses d’impact des évolutions Accompagner les équipes produit dans la définition des besoins data Cadrer les prérequis (formats, traitements, ingestion) Participer aux recettes des évolutions livrées Contribuer à la documentation du Data Lake Activités Data Conception et extraction de datasets Exploitation et analyse de données via Hive Utilisation d’outils de dataviz Contribution aux traitements Big Data sur Hadoop Environnement technique Data Lake / Big Data Hive Hadoop Dataviz Datasets (conception, extraction)

Dans le cadre d’une prestation de Data Engineering , vous interviendrez sur site client à Nantes au sein d’une équipe projet data. Vous participerez activement au développement et à l’industrialisation de traitements data à forte volumétrie. Vos principales missions seront : Développer des pipelines data en Scala sous Spark . Assurer les développements jusqu’à la mise en production. Garantir le support de niveau 3 sur les environnements de production. Superviser et optimiser les traitements batch. Être force de proposition sur les choix techniques et les optimisations. Rédiger et maintenir la documentation technique. Stack technique : Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, GitLab. Conditions : Prestation sur site client à Nantes. 4 jours de télétravail par semaine .

💥 Enjeux de la mission Intervention sur des plateformes data critiques , au cœur de l’infrastructure SI. Focalisation sur : performance haute disponibilité fiabilité des systèmes Positionnement à la croisée du run avancé, de l’optimisation et des projets techniques . 🎯 Périmètre d’intervention Gestion des incidents N3 en production critique Optimisation des bases MySQL (tuning, performance, haute disponibilité) Industrialisation des solutions techniques Gestion de l’obsolescence (upgrades, stabilisation) Suivi des KPIs de performance et disponibilité Contribution aux évolutions de l’infrastructure data 🛠️ Environnement technique attendu Maîtrise nécessaire ou forte montée en compétence attendue sur : MySQL → expertise (performance, réplication, HA) Linux → administration avancée Docker → conteneurisation ELK → supervision et analyse avancée Ansible / Puppet → automatisation Kafka → compréhension opérationnelle Airflow → orchestration CI/CD & Git → usage courant Expériences appréciées sur : Hadoop, Spark, Hive

Contexte de la mission Amundi Technology recherche un profil Data Engineer Senior orienté plateformes Data & IA afin d’accompagner la montée en puissance de son socle Data/ML. La mission s’inscrit au sein de l’équipe DAT, responsable des plateformes Data, IA/ML et des environnements Kubernetes du groupe. Le consultant interviendra dans un contexte très orienté production et scalabilité, avec une forte proximité avec les équipes d’ingénierie de production. L’objectif n’est pas uniquement de conseiller, mais d’intervenir concrètement sur les problématiques techniques, les optimisations de plateformes et l’industrialisation des usages Data/IA. Informations clés • Localisation : Paris 15e • Démarrage : ASAP / Mai 2026 • Durée : longue visibilité (3 ans) • Présence : 100% • Horaires : HO uniquement • Télétravail : non précisé • Type de mission : expertise opérationnelle / engineering plateforme Responsabilités principales Plateformes Data & IA • Optimisation et amélioration des plateformes Dagster et Trino en production • Analyse de performances, tuning, optimisation des usages et configurations • Conception et optimisation de pipelines Spark à forte volumétrie • Gestion des problématiques de partitionnement, formats Delta Lake / Iceberg et performance des traitements • Participation à l’évolution du socle Data/IA et aux choix d’architecture techniques • Contribution à la gouvernance technique et aux standards d’engineering Industrialisation & Scalabilité • Industrialisation des pipelines Data & ML • Mise en place des mécanismes de monitoring, observabilité et alerting • Construction des patterns de déploiement à l’échelle • Gestion des problématiques de montée en charge et de robustesse plateforme • Support niveau 3 sur les incidents complexes Data/IA Accompagnement technique • Accompagnement des équipes Data Science et Développement • Pair-working et rôle de référent technique opérationnel • Réalisation de POCs et veille technologique autour des plateformes Data & IA Environnement technique Data / Big Data • Dagster • Trino • Apache Spark • Hive • Delta Lake / Iceberg • Superset • OpenMetadata Cloud / Infra • Kubernetes • Rancher RKE • AKS Azure • Docker DevOps / Observabilité • ArgoCD • Jenkins • Grafana • Prometheus • Sysdig Langages • Python • Go Versioning / Storage • GitLab • Artifactory • S3 Compétences indispensables • Très forte expertise sur des plateformes Data en production • Expertise Dagster (ou équivalent orchestration Data) • Expertise Trino / moteurs distribués • Solide maîtrise Apache Spark et optimisation de pipelines Big Data • Bonne connaissance Delta Lake / Iceberg / Hive • Expérience réelle de problématiques de scaling plateforme • Très bon niveau Python • Bonne maîtrise Linux / Unix Compétences appréciées • Kubernetes / Docker • Azure AKS • GitOps / Infrastructure as Code • MLOps • Go ou Java

Dans le cadre d'une régie longue durée, nous sommes à la recherche d'un Consultant Pre Trade Pricing Tools C#.NET H/F 🎯 Contexte de la mission Vous travaillerez sur un outil permettant au Front de l’aider à gérer son risque de contrepartie, Vos missions: Participation au projet afin de répondre aux besoins de refonte des outils de pricing avec l’équipe des analystes quantitatifs en mettant en oeuvre une architecture micro-services, Mise en oeuvre de l’API market data permettant de récupérer différentes données de marché (interet rate, forex, zero coupon, equity et commodity) en se basant sur la bibliothèque ARM via summit, Mise en oeuvre de l’API legal data permettant de récupérer les données réglementaires de contreparties (CSA & master agreement), Maintenance corrective des composants de calcul MtmForward et mise à jour de l’API d’initial margin LCH., Support de la production quotidienne afin de détecter les éventuelles anomalies, suivi et analyse avec le desk de trading. Participation à l’amélioration de la couverture des tests unitaires des composants de calcul, Préparation, demande et suivi de livraison et la mise en production Environnement technique : C#.NET, .Net Core API 6, LINQ, data warehouse Apache Hive, Git, Jenkins, XlDeploy, Bitbucket, base de données NoSql Couchbase Entreprise Edition 6.6.0, Log4net, JSON, Design, Visual studio 2019/2022, SQL, SQL Server, Sybase, Oracle, SQLDbx, SSAS, Swagger, Nswag, IIS7, Windows 10, Windows Server 2012. Environnement fonctionnel : produits dérivés Equity, Commodity, forex et Fixed Income.

Notre client est un grand acteur du secteur de l'énergie en France, engagé dans une transformation technologique ambitieuse. Dans ce cadre, il recherche un Domain Lead Engineer pour piloter la stratégie technique d'un département à grande échelle (~50 personnes). Véritable bras droit du CTO, le DLE est le garant de la cohérence architecturale, de la vision technique long terme et du lien entre stratégie globale et réalité terrain. Le poste est localise à Lyon, ouvert aux freelances. Démarrage janv. 27 En tant que Domain Lead Engineer, vos missions sont les suivantes : Décliner les orientations techniques du CTO à l'échelle du département Définir et maintenir la vision technique court, moyen et long terme Construire et piloter les roadmaps techniques structurantes Identifier en amont les risques techniques et zones de transformation Garantir la cohérence globale des architectures du département Définir et diffuser les standards, cadres et bonnes pratiques d'ingénierie Participer aux revues d'architecture et de code sur les sujets critiques Assurer l'adoption des standards via les Apps Leads et Lead Techs Être le point d'escalade technique pour les équipes sur les sujets complexes et multi-périmètres Remonter au CTO les difficultés techniques, organisationnelles et process Identifier des opportunités d'innovation à fort impact et favoriser l'expérimentation Diffuser la connaissance et les retours d'expérience au sein du département Requirements Profil recherché Minimum 15 ans d'expérience, avec un solide passé de développeur Minimum 6 ans de pilotage technique (50+ personnes) Très forte expertise technique full-stack, data engineering et architecture de SI complexes Maîtrise des technologies du département : Java, Spring, Angular, PostgreSQL, Kafka, Hadoop, Hive, Impala, PySpark, Spark (Java/Scala), Python, Databricks, PowerBI, Git/Gitlab, Kubernetes, Docker, Helm, Ansible, Grafana Capacité à adresser des problématiques de scalabilité, performance et architecture distribuée Vision bout-en-bout du SI (applications, infra, data, tests, sécurité, production) Capacité à fédérer des équipes aux intérêts parfois divergents Expérience en contexte cloud appréciée