Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Description du poste Dans le cadre du développement de ses plateformes data, l’entreprise recherche un administrateur spécialisé sur des solutions de type CDP et les services de données associés, notamment Private Cloud (PVC), évoluant dans un environnement conteneurisé OpenShift. Rattaché à l’équipe infrastructure ou data platform, le collaborateur intervient sur l’exploitation, l’administration et l’optimisation des plateformes big data, tout en garantissant leur disponibilité, leur performance et leur sécurité. Missions principales L’administrateur est responsable du bon fonctionnement de la plateforme CDP et de ses services data. Il assure l’installation, la configuration et la maintenance des environnements CDP Private Cloud ainsi que des services de données associés. Il prend en charge le déploiement et l’administration des services CDP Data Services (tels que Data Warehouse, Machine Learning ou Data Engineering) en s’appuyant sur l’infrastructure OpenShift. Il surveille en continu les performances de la plateforme et met en place des actions correctives ou d’optimisation afin de garantir un niveau de service optimal. Il participe à la gestion des incidents et des problèmes en analysant les causes racines et en proposant des solutions durables. Il veille à la bonne intégration des composants CDP avec l’écosystème technique existant, notamment les systèmes de stockage, de sécurité et de réseau. Il contribue à l’automatisation des tâches d’administration et de déploiement à travers des scripts ou des outils d’infrastructure as code. Il travaille en étroite collaboration avec les équipes data, DevOps et sécurité afin de faciliter l’usage de la plateforme et d’assurer sa conformité aux standards internes. Responsabilités techniques L’administrateur assure la gestion des clusters CDP Private Cloud (PVC), incluant leur installation, leur montée de version et leur maintenance corrective et évolutive. Il administre les environnements OpenShift utilisés pour héberger les services CDP Data Services et garantit leur bon dimensionnement. Il configure et maintient les services essentiels tels que Hive, Spark, Impala, HDFS et les services Kubernetes intégrés. Il met en œuvre les politiques de sécurité, notamment l’authentification (Kerberos, LDAP), la gestion des accès et le chiffrement des données. Il supervise les ressources système (CPU, mémoire, stockage) et optimise leur utilisation. Il participe à la mise en place de solutions de supervision et de logging adaptées à l’environnement. Compétences requises Le candidat possède une solide expérience sur la plateforme CDP, en particulier en environnement Private Cloud. Il maîtrise les concepts et l’administration d’OpenShift et des environnements Kubernetes. Il dispose de bonnes connaissances des composants big data tels que Hadoop, Spark, Hive et des outils associés. Il comprend les problématiques liées aux architectures distribuées, à la haute disponibilité et à la performance des systèmes. Il est à l’aise avec les environnements Linux et les outils d’automatisation (shell scripting, Ansible ou équivalent). Une bonne compréhension des enjeux de sécurité des données est attendue. Profil recherché Le poste s’adresse à un profil autonome, rigoureux et capable d’intervenir dans des environnements techniques complexes. Le candidat fait preuve d’un bon esprit d’analyse et de synthèse, et sait travailler en équipe avec des interlocuteurs variés. Une expérience dans un contexte DevOps ou data platform constitue un atout important. Environnement technique CDP Private Cloud (PVC) CDP Data Services (Data Warehouse, Data Engineering, Machine Learning) OpenShift / Kubernetes Hadoop ecosystem (HDFS, Hive, Spark, Impala) Linux (RedHat / CentOS) / Outils de monitoring et de logging

Vous rejoignez une équipe data/BI en charge de la mise en place et de l’évolution de l’architecture décisionnelle : datawarehouse, datamarts, traitements de données et reporting métier. Missions : - Analyser les besoins fonctionnels et techniques des métiers - Localiser et qualifier les données nécessaires - Concevoir, modéliser et enrichir les datawarehouses et datamarts - Développer les processus d’intégration de données (ETL / pipelines Big Data) - Traiter et nettoyer les données, garantir leur qualité - Participer à la migration vers le cloud, (Databricks ) - Développer et optimiser des traitements Spark - Produire des rapports et tableaux de bord lisibles pour les métiers - Accompagner et former les utilisateurs dans l’exploitation des données et des rapports - Tester, documenter, déployer et maintenir les livrables en conditions opérationnelles - Participer aux revues de code et à l’amélioration continue de l’architecture décisionnelle Stack & environnement technique : - Big Data : Spark (essentiel), Hive, Indexima - Cloud / Data Platform : Databricks (fort enjeu de migration) - Stockage : Oracle, CEPH S3 (parquet) - Langages : SQL, Python, PL/SQL, Shell, Java (plus apprécié mais pas obligatoire) - ETL : Informatica - Dataviz : Tableau Server - CI/CD & outillage : Git, Jenkins, Ansible, Terraform - Ordonnancement : Control-M -Méthodologie : environnement agile Profil recherché : - Minimum 5 ans d’expérience sur des fonctions BI / Data Engineer / Ingénieur Décisionnel - Très bonne maîtrise de SQL - Solide expérience en modélisation d’entrepôts de données (DWH, datamarts) - Compétences avérées en traitement et nettoyage de données - Maîtrise de Spark indispensable - Expérience en accompagnement métier : ateliers, recueil de besoins, formation, support - Bon niveau de développement (Spark, SQL, idéalement Python et/ou Java en plus) Soft skills : - Autonomie, rigueur, sens de la qualité - Esprit d’équipe, bonnes capacités de communication - Curiosité, envie de comprendre le métier et les usages data - Capacité d’analyse et de synthèse - Force de proposition sur les solutions techniques et décisionnelles

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. Domain Lead Ingénieur H/F C’est votre future équipe Fondée en 2012, l'agence Rhône-Alpes rassemble une équipe de 120 collaborateurs. Elle accompagne près d’une vingtaine de clients, allant des grands comptes aux ETI et PME. Elle s’appuie sur un Centre de Services spécialisé dans le stockage et la sauvegarde ainsi que sur un Centre d'Expertise en sécurité. L'agence accorde une importance particulière à un recrutement fondé sur l'humain et la transparence. C’est votre mission Vous êtes passionné·e par l’architecture, les systèmes complexes et les environnements à fort enjeu ? Ce poste est fait pour vous. En tant que Domain Lead Engineer , vous êtes responsable de la stratégie technique et de la cohérence globale des architectures de notre écosystème : Côté build : Décliner les orientations techniques du CTO à l’échelle du département Définir la vision technique à court, moyen et long terme Construire et piloter les roadmaps techniques structurantes Garantir la cohérence globale des architectures (applicatives, data, infrastructure) Définir et diffuser les standards, cadres et bonnes pratiques Participer aux revues d’architecture et de code critiques Identifier en amont les zones à risque et les besoins de transformation Favoriser l’innovation et l’expérimentation à fort impact Côté run : Assurer l’adoption des standards techniques par les équipes (Apps Leads, Lead Techs) Intervenir sur les problématiques techniques les plus complexes et transverses Être le point d’escalade technique des équipes Remonter au CTO les enjeux techniques, organisationnels et process Garantir une vision terrain fiable et exploitable Contribuer à la simplification et à la réduction de la complexité du SI Diffuser la connaissance, les retours d’expérience et les bonnes pratiques Assurer un lien constant entre stratégie globale et réalité opérationnelle C’est votre parcours Vous avez au moins 15 ans d’expérience dans des environnements DevOps exigeants, avec un solide passé de développeur. Vous avez piloté techniquement des équipes d’envergure (50 personnes et +) pendant au moins 6 ans . Vous aimez adresser des problématiques complexes à l’échelle d’un SI complet sans jamais cesser d’innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C’est votre expertise : Java, Spring, Angular PostgreSQL, Kafka, Hadoop, Hive, Impala Spark (Java / Scala), PySpark, Python, Databricks Power BI Git, GitLab Kubernetes, Docker, Helm, Ansible Grafana Architecture distribuée, scalabilité, performance, robustesse Vision bout-en-bout SI (applications, data, infra, sécurité, production) Environnements Cloud (un plus) C’est votre manière de faire équipe : Leadership technique fort et capacité d’influence Excellente communication et pédagogie Capacité à fédérer des équipes multi-acteurs Forte culture d’ingénierie et de simplification Esprit stratégique et vision globale Prise de recul et capacité d’arbitrage C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Lyon Contrat : CDI Télétravail : Hybride Salaire : De 60000 € à 70000 € (selon expérience) brut annuel Famille métier : Lead Tech Offre à pourvoir à partir de janvier 2027 Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. Consultant BI / Data ingénieur confirmé H/F C’est votre future équipe Fondée en 2012, l'agence Rhône-Alpes rassemble une équipe de 120 collaborateurs. Elle accompagne près d’une vingtaine de clients, allant des grands comptes aux ETI et PME. Elle s’appuie sur un Centre de Services spécialisé dans le stockage et la sauvegarde ainsi que sur un Centre d'Expertise en sécurité. L'agence accorde une importance particulière à un recrutement fondé sur l'humain et la transparence. C’est votre mission Vous êtes passionné·e par la Data, la BI et les architectures décisionnelles modernes ? Ce poste est fait pour vous. En tant que Consultant BI / Data Engineer confirmé, vous êtes responsable de la conception, de l’évolution et du maintien en conditions opérationnelles de notre écosystème décisionnel. Analyser les besoins fonctionnels et techniques des métiers Localiser et qualifier les données nécessaires Concevoir, modéliser et enrichir les datawarehouses et datamarts Développer les processus d’intégration de données (ETL / pipelines Big Data) Traiter et nettoyer les données, garantir leur qualité Participer à la migration vers le cloud, ( Databricks ) Développer et optimiser des traitements Spark Produire des rapports et tableaux de bord lisibles pour les métiers Accompagner et former les utilisateurs dans l’exploitation des données et des rapports Tester, documenter, déployer et maintenir les livrables en conditions opérationnelles Participer aux revues de code et à l’amélioration continue de l’architecture décisionnelle C’est votre parcours Minimum 5 ans d’expérience sur des fonctions BI / Data Engineer / Ingénieur Décisionnel Très bonne maîtrise de SQL Solide expérience en modélisation d’entrepôts de données (DWH, datamarts) Compétences avérées en traitement et nettoyage de données Maîtrise de Spark indispensable Expérience en accompagnement métier : ateliers, recueil de besoins, formation, support Bon niveau de développement (Spark, SQL, idéalement Python et/ou Java en plus) C’est votre expertise : Big Data : Spark (essentiel), Hive, Indexima Cloud / Data Platform : Databricks (fort enjeu de migration) Stockage : Oracle, CEPH S3 (parquet) Langages : SQL, Python, PL/SQL, Shell, Java (plus apprécié mais pas obligatoire) ETL : Informatica Dataviz : Tableau Server CI/CD & outillage : Git, Jenkins, Ansible, Terraform Ordonnancement : Control-M Méthodologie : environnement agile C’est votre manière de faire équipe : Autonomie, rigueur, sens de la qualité Esprit d’équipe, bonnes capacités de communication Curiosité, envie de comprendre le métier et les usages data Capacité d’analyse et de synthèse Force de proposition sur les solutions techniques et décisionnelles C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Lyon Contrat : CDI Télétravail : Hybrid Salaire : De 44000 € à 49000 € (selon expérience) brut annuel Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Data Engineer/ Developpeur Powercenter Informatica MDM, DBT SQL Oracle NIORT Les prestations porteront sur les activités suivantes : Réception des contrats d’interface Ingestion des fichiers dans la data fabrique Analyse fonctionnelle de donnée Préparation fichier de paramétrage Paramétrage Développement Informatica Mise en place et alimentation du Data Warehouse Préparation de livraison (via OGC et Gitlab) Mise en recette Analyse d’incidents et corrections Environnements : SQL KSH Hive/oracle Informatica powercenter Developpeur Powercenter Informatica DBT SQL Oracle Expected skills Skills Skill level Informatica MDM Expert ORACLE Expert SQL Azure Expert

Nous recherchons un(e) consultant(e) pour initier une équipe (jusqu’à 3 personnes selon les besoins) dédiée au maintien évolutif et correctif des applications décisionnelles RH d’un grand groupe du secteur bancaire. Tu seras en charge de prendre en main l’environnement, aussi bien sur les plans fonctionnels que techniques, et de poser les bases de cette future équipe. Tes missions Gérer le RUN des outils décisionnels RH. Piloter les évolutions (administration du personnel, paie, formation, recrutement, talent management), en lien avec les métiers et les éditeurs. Contribuer à la préparation des recettes fonctionnelles . Développer et maintenir les univers BO ainsi que les rapports associés. Participer à des projets stratégiques comme le Socle Data Groupe (GCP/IDMC). Apporter un support de proximité aux utilisateurs métiers. ️ Ton environnement tech Business Objects BI 4.3 SQL Developer : SQL, procédures stockées, fonctions Bases de données : Oracle , Hive , Indexima Informatica PowerCenter (projet de migration vers Informatica IDMC ) Power BI Google Cloud Platform (GCP) – BigQuery

Contexte Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans nos actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs MISSIONS Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. Dans le même ordre d'idée, quelques attendus : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et ""clients"" (Groupes de protection sociale). La connaissance de Power BI et de SAS sont des plus." Livrables attendus Code source documenté Plan de tests / fiches de test Bilan Bordereau de livraison Manuel d’installation Dossier d’exploitation JIRA documentée" Environnement technique - technologique "• Cloudera Hadoop • Hive, impala • Python • SQL • Shell • Spark • VBA • GIT • Jupyter • Linux • JIRA" Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale (Retraite Complémentaire idéalement)

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil

Au sein de l’équipe Data & IA, l’Ingénieur Infrastructure Data est responsable de l’administration, de l’évolution et du maintien en conditions opérationnelles des plateformes Big Data basées sur l’écosystème Cloudera CDP et des technologies Open Source. Il conçoit et met en œuvre des solutions d’ingestion, de stockage et de traitement de données (Hadoop, Ozone, Hive, Kafka, Spark, etc.), automatise les pipelines de données et veille à la qualité, la sécurité et la conformité des données, notamment au regard du RGPD. Il participe également à l’industrialisation et au déploiement de modèles de data science et de machine learning, tout en assurant le support technique aux équipes applicatives et métiers. Enfin, il contribue aux projets d’évolution des plateformes, à la migration des clusters Hadoop et à l’amélioration continue des infrastructures, en collaboration avec les équipes infrastructures, production et internationales.

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage