Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive à Paris

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Vous rejoindrez notre équipe Big data en charge de: Assurer la gestion de la donnée afin de répondre aux enjeux en terme de data en fournissant les données et les outils nécessaires au cas d'usage, Travailler sur les référentiels: dans la gestion des bases de données, assurer la gestion documentaire et des courriers et de documenter, d'industrialiser les configuration afin de faciliter les déploiements ainsi que les évolutions. En tant que BUSINESS ANALYST DATA, vos missions consisteront à contribuer: Conception, recette, mise en production et suivi d’évolutions et correctifs Rédaction des user stories ou SFD des évolutions (amélioration de l’outil, évolution réglementaire, extension de périmètre) Réalisation des plans recette et des TNR Suivi de production et RUN : Analyse, qualification, recette des correctifs des anomalies de production Participation aux réunions d’équipe Accompagnement des métiers dans l’utilisation des outils Data Réalisation/automatisation de rapports et d’indicateurs Les livrables seront les suivants: Tableaux de suivi (actions, liste des Jira traités, planning…) Stratégie de recette, cahiers et plans de tests, jeux de données Comptes rendus d’ateliers et comités

Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.

Contexte de la mission Amundi Technology recherche un profil Data Engineer Senior orienté plateformes Data & IA afin d’accompagner la montée en puissance de son socle Data/ML. La mission s’inscrit au sein de l’équipe DAT, responsable des plateformes Data, IA/ML et des environnements Kubernetes du groupe. Le consultant interviendra dans un contexte très orienté production et scalabilité, avec une forte proximité avec les équipes d’ingénierie de production. L’objectif n’est pas uniquement de conseiller, mais d’intervenir concrètement sur les problématiques techniques, les optimisations de plateformes et l’industrialisation des usages Data/IA. Informations clés • Localisation : Paris 15e • Démarrage : ASAP / Mai 2026 • Durée : longue visibilité (3 ans) • Présence : 100% • Horaires : HO uniquement • Télétravail : non précisé • Type de mission : expertise opérationnelle / engineering plateforme Responsabilités principales Plateformes Data & IA • Optimisation et amélioration des plateformes Dagster et Trino en production • Analyse de performances, tuning, optimisation des usages et configurations • Conception et optimisation de pipelines Spark à forte volumétrie • Gestion des problématiques de partitionnement, formats Delta Lake / Iceberg et performance des traitements • Participation à l’évolution du socle Data/IA et aux choix d’architecture techniques • Contribution à la gouvernance technique et aux standards d’engineering Industrialisation & Scalabilité • Industrialisation des pipelines Data & ML • Mise en place des mécanismes de monitoring, observabilité et alerting • Construction des patterns de déploiement à l’échelle • Gestion des problématiques de montée en charge et de robustesse plateforme • Support niveau 3 sur les incidents complexes Data/IA Accompagnement technique • Accompagnement des équipes Data Science et Développement • Pair-working et rôle de référent technique opérationnel • Réalisation de POCs et veille technologique autour des plateformes Data & IA Environnement technique Data / Big Data • Dagster • Trino • Apache Spark • Hive • Delta Lake / Iceberg • Superset • OpenMetadata Cloud / Infra • Kubernetes • Rancher RKE • AKS Azure • Docker DevOps / Observabilité • ArgoCD • Jenkins • Grafana • Prometheus • Sysdig Langages • Python • Go Versioning / Storage • GitLab • Artifactory • S3 Compétences indispensables • Très forte expertise sur des plateformes Data en production • Expertise Dagster (ou équivalent orchestration Data) • Expertise Trino / moteurs distribués • Solide maîtrise Apache Spark et optimisation de pipelines Big Data • Bonne connaissance Delta Lake / Iceberg / Hive • Expérience réelle de problématiques de scaling plateforme • Très bon niveau Python • Bonne maîtrise Linux / Unix Compétences appréciées • Kubernetes / Docker • Azure AKS • GitOps / Infrastructure as Code • MLOps • Go ou Java