Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Dans le cadre de l’évolution de son infrastructure Big Data, notre client, un organisme public recherche un Administrateur / Expert Hadoop pour intervenir sur un projet de migration de la plateforme Hortonworks Data Platform (HDP) vers Cloudera Data Platform (CDP) . Sous la responsabilité du Product Owner et de l’ Architecte Big Data , le consultant interviendra sur l’ensemble des phases techniques du projet. Objectifs de la mission : Participer à la migration du socle Big Data de HDP vers CDP Assurer l’ administration de la plateforme CDP Installer et configurer les composants techniques de la solution Réaliser des développements et configurations spécifiques : scripts Shell, automatisation via Ansible, intégration DevOps Rédiger des modes opératoires et documentations techniques à destination des équipes internes ️ Environnement technique : Hadoop (HDP / CDP) Kerberos, Ranger, Hive, Yarn, Oozie, Spark Ansible, Shell scripting GitLab Docker (notions de conteneurisation)

🎯 Contexte de la mission : Vous rejoignez une équipe agile (Tribe composée de 3 Squads) dédiée à l’administration, à l’évolution et à la sécurisation d’une plateforme Big Data stratégique utilisée pour les calculs réglementaires et financiers d’un grand groupe bancaire. Vous interviendrez au sein de la Squad Data Platform , qui assure l’expertise technique sur la stack (Cloudera Hadoop, Linux, Ansible, K8s, Dataiku, Tableau, etc.). 🚀 Vos missions : Assurer le maintien en conditions opérationnelles de la plateforme Gérer les incidents, évolutions, et montées de version Implémenter des solutions IT répondant aux besoins métiers (calculs réglementaires, stress tests, reporting) Participer à l’ automatisation des déploiements via Ansible Contribuer à l’ amélioration continue de la plateforme (sécurité, obsolescence, résilience, documentation, etc.) Proposer des solutions adaptées aux différents composants techniques : Hadoop (HDFS, Hive, Spark) Dataiku DSS, Tableau Applications internes (Java, Angular, Spark, Shell) Participer à la rédaction de documentation technique et à la conception des solutions dans le respect des normes IT internes

Notre client grand compte est à la recherche d'un Data Engineer Scala/Hadoop Profil : Data Engineer (Spark / Hadoop) Nombre d’années d’expérience minimum : 5 Compétences techniques requises/indispensables : Solide maîtrise de Java Forte maîtrise de Spark Très bonne connaissance de l’écosystème Hadoop (Hive, Hdfs, Yarn, Hbase, …) Maîtrise des bases de données relationnelles et NoSQL Expérience dans l’optimisation performances des traitements Batch Spark Expérience avec les outils CI/CD (Git, Jenkins, Kubernetes, …)

Contexte de la mission : Dans le cadre du renforcement de ses équipes trading, notre client recherche deux ingénieurs de production pour assurer le support technique des infrastructures critiques liées à ses activités de finance de marché. Vous interviendrez directement en salle de marché, au contact des traders, dans un environnement très exigeant, dynamique et à forte pression. Environnement technique : Systèmes : Windows Server (ligne de commande – admin/monitoring/debug), Linux Ordonnancement : Control-M Progiciel : Sophis Risk (finance de marché – un plus) Fermes de calcul : Plusieurs milliers de cœurs DevOps : Jenkins, XLDeploy, XLRelease, cloud interne/externe Langage : Python (développement d’un framework de calcul) Big Data : Hadoop, Spark, Hive

Nous recherchons un Ingénieur Big Data Objectif global : Accompagner Plateforme BigData Les livrables sont: Big Data & Traitement Distribués Orchestration de workflow Compétences techniques: Spark - Expert - Impératif Kafka - Confirmé - Impératif Stack HADOOP - Expert - Impératif Description détaillée: - Langages de programmation : Python (maîtrise avancée, développement de pipelines de données, optimisation de code, savoir mettre en place une campagne de tests) - Orchestration de workflow : Apache Airflow (création, gestion et optimisation de DAGs, intégration avec divers services) - Big Data & Traitement Distribués : o Apache Spark (Dév et optimisations) o Spark Streaming avec dépendances Kafka o Cloudera CDP (tuning des traitements) - Stockage et Bases de Données : o Hive, HDFS, (+ Impala et Iceberg dans un futur proche) - Sécurité & Chiffrement : o Chiffrement des flux de données et des bases (TLS, SSL, Kerberos, Hashicorp Vault, PGP) o Ranger KMS (chiffrement du stockage sur le cluster) - DevOps & CI/CD : o Git, GitLab CI/CD, Importance de la qualité de code (Sonar, XRay), Jenkins, XL Deploy o Monitoring (Open Search Dashboard, Grafana, ELK Stack) 3. Méthode de travail - Méthodologies Agile (Scrum, Kanban) 4. Soft Skills - Capacité à prendre des décisions stratégiques sur les choix technologiques - Adaptabilité et réactivité face aux évolutions technologiques - Esprit analytique et résolution de problèmes complexes 5. Expérience Recherchée - Minimum 5 ans d’expérience en Big Data avec un focus sur Spark et Airflow - Expérience en tant que Tech Lead sur des projets complexes - Connaissance approfondie des architectures distribuées

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de data engineering, point de référence aussi bien pour l'équipe de réalisation des projets (build) que pour les équipes de production (RUN). Environnement et Technologies Analyse et développement de « produits transverses posés sur étagère pour nos Métiers » Java jusqu'à l'intégration avec les chaines CI/CD. Des développements JAVA peuvent être réalisés dans le contexte de besoins spécifiques Langages de programmation : Java, Python (dans un contexte Big Data) Plateformes de configuration et gestions des installations : (Ansible, …) Écosystème object storage et kubernetes : (API S3, Helm,…) Écosystème Hadoop (HDFS, Hive, …), ElasticSearch Écosystème transport de données : Kafka Connect, Kafka Framework spring : Spring-Boot, Spring-Security… Concepts NoSQL et maîtrise d'au moins une solution parmi : MongoDB, PostGres Concepts de streaming : Flink Openshift

Smarteo recherche pour l'un de ses clients, Un Data Analyse ( Maîtrise de Dataiku ) sur Nantes Description: Prestation de Data Analyse, au sein de l'équipe ayant en charge la plateforme Low Code DataiKu, la prestation consiste à assurer les activités suivantes Accompagnement des nouveaux projets Accompagnement des référents data identifiés dans les Directions Produit Animation d'une communauté autour de l'utilisation du produit Amélioration des ressources documentaires pour faciliter les usages Structuration de l'offre d'accompagnement Suivi du run Point de relai entre les utilisateurs et les développeurs Relation avec l'éditeur Pour réaliser cette mission il convient de disposer des compétences suivantes : Analyse de l'utilisation des produits Maîtrise de Dataiku Manipulation des Datasets (conception, extraction de données) Maîtrise du système de fichier HDFS et de l'entrepôt de données Hive Valorisation des données Big Data Connaissance du Machine Learning Gestion de la résolution d'incidents utilisateurs Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

data Eng / data Analyste Apache Hadoop secteur publique du nord LILLE , nous recherchons un data Eng / data Analyste pour rejoindre un environnement Big DATA Objectifs et livrables Dans une équipe agile pluridisciplinaire, composée de data analystes, data ingénieurs et data scientists sont réalisées les tâches suivantes : Ingestion des données Analyses fonctionnelles Restitutions Ordonnancement des traitements Taches : Manipuler les fichiers sous UNIX et HADOOP Développer l’ingestion de données via des scripts SQL Ordonnancer les traitements Suivre le run et gérer les erreurs Optimiser les traitements SQL Industrialiser les solutions d’imports et d’exports de données Industrialiser les traitements des Data Scientists Réaliser des imports et exports de données aux formats non standards Développer des pipelines d’ingestions et d’export en streaming Participer au collectif agile Compétences demandées Cloudera Impala Avancé sql Confirmé Apache Hive Avancé HADOOP Avancé sas va Avancé GIT Avancé

Data-Engineer_confirmé Vannes Spark - spark streaming et batch,GIT, Jenkins, Artifactory - 3 jours sur site de Vannes / 2 jours de TT Tâches : - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers - Mettre en œuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences techniques : Spark - spark streaming et batch (requis), - Kafka (apprécié) - java (apprécié) - shell (apprécié) -Stack Hadoop Cloudera - Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Apprécié : - BDD Teradata, - xDI, - SQL - Data viz : Microstrategy Modalités : - 3 jours sur site de Vannes / 2 jours de TT

Smarteo recherche pour l'un de ses clients, Un Data Engineer (Spark - spark streaming et batch,GIT, Jenkins, Artifactory) sur Vannes Description: Tâches : - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers - Mettre en oeuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l?équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques : Spark - spark streaming et batch (requis), - Kafka (apprécié) - java (apprécié) - shell (apprécié) -Stack Hadoop Cloudera - Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Apprécié : - BDD Teradata, - xDI, - SQL - Data viz : Microstrategy Modalités : - 3 jours sur site de Vannes / 2 jours de TT Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

❗Nous vous prions de bien vouloir postuler uniquement si votre profil correspond aux critères recherchés.❗ ❗Nous vous prions de bien vouloir postuler uniquement si votre profil correspond aux critères recherchés.❗ Durée : 4 à 5 mois Démarrage : Août à mi-septembre 2025 Au sein d’une grande structure de transport public, la Data Factory pilote les plateformes Data de l’entreprise (référentiels, datalake, IA, analytics, self-BI...). Dans ce cadre, notre client cherche un DevOps expérimenté pour intervenir sur deux plateformes Data Cloud : Plateforme Data principale (AWS + Databricks) Plateforme IA Générative (Azure PaaS + Azure OpenAI) Objectif : renforcer le socle technique, assurer la MCO, les déploiements, le monitoring, et accompagner les intégrations applicatives. Profil : Senior/ 8 ans d'expérience Les compétences techniques attendues sont les suivantes (par ordre de priorité) Expérience indispensable de devops d’au moins 4 ans sur des technologies BIG DATA (type Kafka, Apache ORC, Hadoop, Hive, ElasticSearch) et /ou IAGen. Sur IAGen, au moins 1 an d’expérience sur les services suivants : -Azure OpenAI -Azure AI Search -Azure Container Apps -Azure Foundry -Blob Storage / Keyvault / Networking Expérience indispensable d’au moins 4 ans en administration, déploiement, orchestration sur AWS et/ou Azure Expérience indispensable d’au moins 4 ans de gestion des incidents de production, au niveau N3 Maîtrise des outils de sécurité et monitoring pour surveiller de manière pro-active puis résoudre les incidents, par ex. Azure monitors Une expérience de mise en place de monitoring sur Datadog est un plus ; Expérience indispensable d’au moins 5 ans en déploiement avec des outils d'intégration continue (GitLab CI) Expérience d’au moins 2 ans sur le provisionning Terraform (Provider AWS ou Databricks) Expertise en développement de Shell Unix sur Linux RHEL 7.x ou plus Expérience en administration système Linux. Expérience souhaitable sur Jenkins / Nexus Les compétences fonctionnelles attendues sont les suivantes : Au moins 1 an d’expérience de développeur dans le cadre de la méthodologie Agile SCRUM