Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive à Paris

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Data Engineer Big Data / BI – Scala, Spark, SQL, Hive, Cloudera (H/F) 💼 Contrat : CDI 🏢 Entreprise : ADBI – Expert en Data Management et transformation digitaleContexte du poste Dans le cadre de l’évolution de ses plateformes Big Data et décisionnelles, ADBI recherche un(e) Data Engineer pour intervenir sur des projets d’intégration, de transformation et d’industrialisation de données. Vous participerez à la migration et à l’optimisation d’environnements Big Data (Cloudera, Spark, Hive, Scala) et contribuerez à la mise en place de solutions BI performantes et scalables.

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Missions et responsabilités principales1. Déploiement et industrialisation des clusters Big Data Déploiement automatisé de clusters via des pipelines CI/CD Utilisation d’outils d’automatisation pour l’installation et la configuration des composants Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance) Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code) Déploiement et configuration d’outils de gestion de plateforme Installation et configuration d’interfaces utilisateurs pour les environnements analytiques 2. Stack Big Data administrée Administration et intégration des composants suivants : Service d’annuaire : gestion des identités Service d’authentification : sécurisation des accès Système de fichiers distribué : gestion du stockage Framework de traitement distribué : gestion des ressources et exécution Outil de gestion des accès : politiques de sécurité Moteur de calcul distribué Moteur SQL pour l’accès aux données Base de données relationnelle associée aux services Service de coordination distribué Responsabilités associées : Installation, configuration et paramétrage avancé Gestion des dépendances inter-services Maintien de la cohérence des versions Optimisation des performances et de la stabilité 3. Provisionnement et préparation des environnements Provisionnement des machines virtuelles Préparation des prérequis systèmes (OS, stockage, réseau) Automatisation des installations via scripts et outils d’orchestration Gestion des environnements (développement, test, production) 4. Observabilité et supervision Mise en place et maintien de la supervision : Collecte des métriques Gestion et routage des alertes Centralisation et exploitation des logs Visualisation via tableaux de bord Définition et amélioration des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des plateformes Big Data Support technique aux équipes projets et utilisateurs Gestion des incidents et demandes d’évolution Montées de version et correctifs Suivi de la capacité (CPU, RAM, stockage) Documentation technique et mise à jour des procédures Rituels et interactions Participation aux rituels d’équipe Coordination avec : Équipes infrastructure et exploitation Équipes projets data / métiers Référents sécurité Accompagnement des équipes dans l’usage de la plateforme Environnement technique global CI/CD & DevOps : outils d’intégration et de déploiement continus, gestion de code, qualité Automatisation : outils d’orchestration et scripting Infrastructure : virtualisation, conteneurisation Big Data : écosystème de traitement distribué Observabilité : outils de monitoring, logs et visualisation Points de vigilance Forte interdépendance des composants de la plateforme Sensibilité aux problématiques de capacité et de performance Importance de l’anticipation via la supervision Respect strict des standards de sécurité et des procédures internes Coordination transverse nécessaire pour les déploiements et évolutions majeures Charge estimative Déploiement d’un cluster complet : variable selon dimensionnement et spécificités projet MCO : charge récurrente hebdomadaire Incidents critiques : charge ponctuelle selon criticité

Dans le cadre d'une régie longue durée, nous sommes à la recherche d'un Consultant Pre Trade Pricing Tools C#.NET H/F 🎯 Contexte de la mission Vous travaillerez sur un outil permettant au Front de l’aider à gérer son risque de contrepartie, Vos missions: Participation au projet afin de répondre aux besoins de refonte des outils de pricing avec l’équipe des analystes quantitatifs en mettant en oeuvre une architecture micro-services, Mise en oeuvre de l’API market data permettant de récupérer différentes données de marché (interet rate, forex, zero coupon, equity et commodity) en se basant sur la bibliothèque ARM via summit, Mise en oeuvre de l’API legal data permettant de récupérer les données réglementaires de contreparties (CSA & master agreement), Maintenance corrective des composants de calcul MtmForward et mise à jour de l’API d’initial margin LCH., Support de la production quotidienne afin de détecter les éventuelles anomalies, suivi et analyse avec le desk de trading. Participation à l’amélioration de la couverture des tests unitaires des composants de calcul, Préparation, demande et suivi de livraison et la mise en production Environnement technique : C#.NET, .Net Core API 6, LINQ, data warehouse Apache Hive, Git, Jenkins, XlDeploy, Bitbucket, base de données NoSql Couchbase Entreprise Edition 6.6.0, Log4net, JSON, Design, Visual studio 2019/2022, SQL, SQL Server, Sybase, Oracle, SQLDbx, SSAS, Swagger, Nswag, IIS7, Windows 10, Windows Server 2012. Environnement fonctionnel : produits dérivés Equity, Commodity, forex et Fixed Income.

Description du poste Dans le cadre du développement de ses plateformes data, l’entreprise recherche un administrateur spécialisé sur des solutions de type CDP et les services de données associés, notamment Private Cloud (PVC), évoluant dans un environnement conteneurisé OpenShift. Rattaché à l’équipe infrastructure ou data platform, le collaborateur intervient sur l’exploitation, l’administration et l’optimisation des plateformes big data, tout en garantissant leur disponibilité, leur performance et leur sécurité. Missions principales L’administrateur est responsable du bon fonctionnement de la plateforme CDP et de ses services data. Il assure l’installation, la configuration et la maintenance des environnements CDP Private Cloud ainsi que des services de données associés. Il prend en charge le déploiement et l’administration des services CDP Data Services (tels que Data Warehouse, Machine Learning ou Data Engineering) en s’appuyant sur l’infrastructure OpenShift. Il surveille en continu les performances de la plateforme et met en place des actions correctives ou d’optimisation afin de garantir un niveau de service optimal. Il participe à la gestion des incidents et des problèmes en analysant les causes racines et en proposant des solutions durables. Il veille à la bonne intégration des composants CDP avec l’écosystème technique existant, notamment les systèmes de stockage, de sécurité et de réseau. Il contribue à l’automatisation des tâches d’administration et de déploiement à travers des scripts ou des outils d’infrastructure as code. Il travaille en étroite collaboration avec les équipes data, DevOps et sécurité afin de faciliter l’usage de la plateforme et d’assurer sa conformité aux standards internes. Responsabilités techniques L’administrateur assure la gestion des clusters CDP Private Cloud (PVC), incluant leur installation, leur montée de version et leur maintenance corrective et évolutive. Il administre les environnements OpenShift utilisés pour héberger les services CDP Data Services et garantit leur bon dimensionnement. Il configure et maintient les services essentiels tels que Hive, Spark, Impala, HDFS et les services Kubernetes intégrés. Il met en œuvre les politiques de sécurité, notamment l’authentification (Kerberos, LDAP), la gestion des accès et le chiffrement des données. Il supervise les ressources système (CPU, mémoire, stockage) et optimise leur utilisation. Il participe à la mise en place de solutions de supervision et de logging adaptées à l’environnement. Compétences requises Le candidat possède une solide expérience sur la plateforme CDP, en particulier en environnement Private Cloud. Il maîtrise les concepts et l’administration d’OpenShift et des environnements Kubernetes. Il dispose de bonnes connaissances des composants big data tels que Hadoop, Spark, Hive et des outils associés. Il comprend les problématiques liées aux architectures distribuées, à la haute disponibilité et à la performance des systèmes. Il est à l’aise avec les environnements Linux et les outils d’automatisation (shell scripting, Ansible ou équivalent). Une bonne compréhension des enjeux de sécurité des données est attendue. Profil recherché Le poste s’adresse à un profil autonome, rigoureux et capable d’intervenir dans des environnements techniques complexes. Le candidat fait preuve d’un bon esprit d’analyse et de synthèse, et sait travailler en équipe avec des interlocuteurs variés. Une expérience dans un contexte DevOps ou data platform constitue un atout important. Environnement technique CDP Private Cloud (PVC) CDP Data Services (Data Warehouse, Data Engineering, Machine Learning) OpenShift / Kubernetes Hadoop ecosystem (HDFS, Hive, Spark, Impala) Linux (RedHat / CentOS) / Outils de monitoring et de logging

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage