Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Secteur : Risques / Notation d'entreprises La mission s'inscrit au sein d'une squad dédiée à la notation des entreprises, composée d'un Product Owner, d'un Scrum Master et d'équipiers BA et IT. Environnement technique : Teradata, bases Hive, Phoenix, HDFS, API Spring Boot. Enjeux : accompagner la squad dans le développement et la maintenance des solutions Data, garantir la fiabilité et l'évolutivité des solutions existantes. Missions principales : - Développement et intégration des évolutions sur le périmètre des solutions de la squad - Préparation et réalisation des mises en production avec les équipes expertes, assurance du SAV - Gestion et maintenance de la documentation fonctionnelle et technique - Contribution à l'assistance à l'utilisation des solutions - Participation aux séances d'affinage technique en phase de conception - Veille technologique régulière - Contribution à l'alimentation du backlog pour anticiper les développements futurs - Analyse du patrimoine existant Méthode de travail : fonctionnement en squad Agile, collaboration étroite avec le Product Owner, le Scrum Master et les équipiers BA/IT. Livrables attendus : évolutions développées et intégrées, documentation technique et fonctionnelle à jour, mises en production réalisées, backlog alimenté.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Vous rejoindrez notre équipe Big data en charge de: Assurer la gestion de la donnée afin de répondre aux enjeux en terme de data en fournissant les données et les outils nécessaires au cas d'usage, Travailler sur les référentiels: dans la gestion des bases de données, assurer la gestion documentaire et des courriers et de documenter, d'industrialiser les configuration afin de faciliter les déploiements ainsi que les évolutions. En tant que BUSINESS ANALYST DATA, vos missions consisteront à contribuer: Conception, recette, mise en production et suivi d’évolutions et correctifs Rédaction des user stories ou SFD des évolutions (amélioration de l’outil, évolution réglementaire, extension de périmètre) Réalisation des plans recette et des TNR Suivi de production et RUN : Analyse, qualification, recette des correctifs des anomalies de production Participation aux réunions d’équipe Accompagnement des métiers dans l’utilisation des outils Data Réalisation/automatisation de rapports et d’indicateurs Les livrables seront les suivants: Tableaux de suivi (actions, liste des Jira traités, planning…) Stratégie de recette, cahiers et plans de tests, jeux de données Comptes rendus d’ateliers et comités

Data Engineer Teradata, bases Hive, Phoenix, HDFS, API Springboot VANNES Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi) Prestation : • Assure le développement et l’intégration des évolutions sur le périmètre des solutions de la Squad • Prépare, réalise la mise en production avec les équipes expertes; assure le SAV • Gère et maintient la documentation fonctionnelle et technique • Contribue à l’assistance à l’utilisation des solutions • Contribue aux séances d'affinage technique en phase de conception • Réalise une veille technologique régulière pour être au fait des dernières tendances • Contribue à alimenter le contenu du backlog pour prévoir les développements futurs • Analyse du patrimoine existant Le besoin est d'accompagner la squad dans un contexte de développement et de maintenance de solutions Data (Teradata, bases Hive, Phoenix, HDFS) et d'API Springboot. Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi)

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala

CONTEXTE DE LA MISSION L'équipe « Socles Data » de la Direction Technique Informatique d'un organisme paritaire de retraite complémentaire gère les socles techniques DATA du système d'information. Ces socles couvrent les besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d'exploration de données et de Data science. La mission consiste à assurer le maintien en conditions opérationnelles (MCO) des socles Hadoop Cloudera (environnements Hors-Prod et Prod) et à contribuer aux projets d'évolution technique de ces socles. La mission s'inscrit dans un contexte d'infrastructure DATA industrialisée, avec une exigence forte d'autonomie et de rigueur documentaire. Des astreintes ou interventions ponctuelles en dehors des heures normales ouvrées (HNO) pourront être demandées. RÔLE ET RESPONSABILITÉS PRINCIPALES Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances Capacity planning : suivi de la consommation, mise en place d'outils et de procédures de gestion des capacités Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques Rédaction de procédures d'administration et d'exploitation Intégration avec l'outillage de l'écosystème DSI pour l'exploitation du SI Support et expertise aux équipes Études et Exploitation Participation aux projets d'évolution des architectures techniques (logicielles, matérielles, sécurité) : pilotage possible, définition d'architecture, rédaction de dossiers, mise en œuvre LIVRABLES ATTENDUS Reporting hebdomadaire d'activité Tableau de bord mensuel de suivi d'activités Documentations techniques : normes, principes, dossiers d'architecture, d'administration, d'exploitation, modes opératoires Transferts de connaissances : organisation de sessions et rédaction de supports Gestion des demandes : tickets incidents, demandes et changements dûment complétés Contribution à la continuité de service au sein de l'équipe

Ingénieur SAS BI SERVER 500 e par jour Domaines de compétences : * Architecture autour de la solution SAS 9 Bi Server * Accompagement utilisateurs * Administration de la plateforme * Datawarehouse * Alimentation * Reporting * Industrialisation * Rédaction des documents d’exploitation et guides utilisateurs Compétences technologiques Langages SAS Base/Macro, Shell, MDX, Hive, JAVA/JavaScript, SQL, HTML, CGI, Vbs/Vba, Python, R Outils SAS 9.4 Bi Server, VIYA, E Guide, SAS Access to Hadoop, QlickView, Cloudera, T Budget 500 e par jour

Nous recherchons un(e) Administrateur Expérimenté(e), passionné(e) par la technologie, pour travailler directement chez nos clients, en étant au cœur de leurs défis numériques. Si vous souhaitez participer à des projets d'envergure, continuer à apprendre et évoluer dans votre carrière, c'est l'occasion rêvée ! Vous aurez la charge des missions de Build et Run : RUN : • Administration et maintien en conditions opérationnelles de la plateforme Cloudera CDP • Gestion des clusters Hadoop (HDFS, YARN, Hive, Impala, Spark) via Cloudera Manager • Supervision, performance, gestion des incidents (niveau 3) • Gestion de la haute disponibilité (géo-cluster) et de la sécurité • Exploitation de Dataiku (optionnel) • Orchestration des workloads via Kubernetes BUILD : • Industrialisation des déploiements (automatisation, CI/CD) • Contribution aux évolutions d'architecture du socle Data • Mise en place et optimisation de pipelines data (Spark, Hive, Impala) • Intégration avec les environnements cloud (Azure / hybride) • Contribution au socle IA (Dataiku sur Outscale) Référence de l'offre : 1hnwz9a4s3

La mission s’inscrit dans un domaine Risques , au sein d’une squad dédiée à la notation des entreprises . L’équipe est composée d’un Product Owner, d’un Scrum Master, ainsi que de profils BA et IT. Le consultant intervient dans un contexte de développement et maintenance de solutions Data et d’APIs. Périmètre technique Teradata Bases Hive HDFS Phoenix APIs Spring Boot Environnement Cloudera (forte expertise requise) Missions principales Développer et intégrer les évolutions sur le périmètre des solutions de la squad Participer à la mise en production avec les équipes expertes et assurer le support (SAV) Maintenir et enrichir la documentation fonctionnelle et technique Contribuer au support et à l’accompagnement des utilisateurs Participer aux ateliers d’affinage technique en phase de conception Contribuer à l’alimentation et l’évolution du backlog Réaliser l’analyse du patrimoine existant Effectuer une veille technologique régulière

Je cherche pour un de client un Data Engineer Sénior (+7 ans) sur Vannes avec 3 jours sur site La mission s'effectuera dans le domaine Risques au sien de la squad en charge de la notation des entreprises. La squad est constituée d'un Product Owner, un Scrum Master et d'équipiers BA et IT. Le besoin est d'accompagner la squad dans un contexte de développement et de maintenance de solutions Data (Teradata, bases Hive, Phoenix, HDFS) et d'API Springboot. Tâches : - Assure le développement et l intégration des évolutions sur le périmètre des solutions de la Squad - Prépare, réalise la mise en production avec les équipes expertes; assure le SAV - Gère et maintient la documentation fonctionnelle et technique - Contribue à l assistance à l utilisation des solutions - Contribue aux séances d'affinage technique en phase de conception - Réalise une veille technologique régulière pour être au fait des dernières tendances - Contribue à alimenter le contenu du backlog pour prévoir les développements futurs - Analyse du patrimoine existant

Dans le cadre du renforcement d'une équipe Data au sein d'une Direction Technique Informatique, nous recherchons un Ingénieur Expert Big Data Hadoop Cloudera (CDP) chargé d'assurer le maintien en conditions opérationnelles de plateformes Hadoop Cloudera en environnement Hors-Prod et Production. La mission couvre l'administration et l'exploitation des socles (supervision, gestion des incidents, optimisation des performances, capacity planning), la maintenance proactive (correctifs, mises à jour), ainsi que la rédaction de procédures et de dossiers d'architecture. Le profil interviendra également en support expertise auprès des équipes études et exploitation, et participera aux projets d'évolution des architectures techniques (logicielles, matérielles, sécurité). L'environnement technique s'articule autour de la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg) , avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème élargi incluant Kafka, PostgreSQL, Kubernetes, Ansible et des outils de supervision Prometheus/Grafana. Ce poste requiert une forte autonomie, un bon esprit d'équipe et la capacité à intervenir ponctuellement en dehors des heures ouvrées.

🧾 Lead Data Engineer GCP – Migration Hadoop → GCP🎯 Contexte Dans le cadre de la modernisation de la plateforme Data , le client engage une migration d’un environnement Hadoop on-premise vers GCP . L’équipe existante (≈6 ingénieurs GCP) nécessite un référent technique senior pour structurer et sécuriser la migration. 🧩 Rôle👉 Référent technique de la migration Data Définir la stratégie de migration Hadoop → GCP Analyser les workloads existants (Hive, Spark, batch/stream) Orienter les choix techniques (BigQuery, Dataflow, Dataproc, GCS) 👉 Leadership technique Encadrer et accompagner les ingénieurs GCP Challenger les choix d’implémentation Mettre en place les bonnes pratiques (data engineering, CI/CD, infra as code) 👉 Contribution opérationnelle Participer à la migration des pipelines (Spark → GCP) Optimiser performance et coûts Industrialiser les flux data 🧠 Profil recherchéCompétences clés Expertise GCP Data (BigQuery, Dataflow, GCS…) Solide expérience Hadoop / Big Data Maîtrise Data Engineering (Spark, SQL, Python) Bon niveau en architecture data & cloud Expérience Migration Hadoop → Cloud (idéalement GCP) Rôle de lead technique / référent Contexte grands comptes / environnements complexes ✅ Livrables Stratégie de migration Architecture cible data Standards & bonnes pratiques Contribution aux pipelines migrés ⚠️ Enjeux clés Performance & coûts (FinOps) Qualité & gouvernance de la donnée Coexistence temporaire Hadoop / GCP 🏷️ Positionnement 👉 Lead Data Engineer GCP (orienté architecture) 👉 Profil hybride : hands-on + vision stratégique

Dans le cadre de l'évolution et de la modernisation d'un écosystème Data au sein d'une Direction Technique Informatique d'un grand acteur de la protection sociale, nous recherchons un Architecte Expert Big Data Hadoop Cloudera (CDP) pour concevoir, faire évoluer et maintenir des plateformes Big Data en environnement Hors-Prod et Production. La mission s'articule autour de trois axes majeurs : la participation aux projets d'évolution du socle Hadoop existant (évolutions logicielles et matérielles, sécurité, définition d'architecture, rédaction de dossiers), le maintien en conditions opérationnelles de la plateforme (administration, supervision, gestion des incidents, support aux équipes études et exploitation), et la contribution à un projet stratégique de nouvelle Plateforme DATA (étude d'impact, préconisation des choix techniques, définition des standards et normes, mise en œuvre et transfert de connaissances aux équipes exploitation). L'environnement technique s'appuie sur la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg) , avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème complémentaire incluant Kafka, PostgreSQL, Kubernetes et Ansible. Ce poste requiert une forte autonomie, une capacité à travailler en équipe pluridisciplinaire et une disponibilité pour des interventions ponctuelles en dehors des heures ouvrées.

Contexte du poste : Nous recherchons un Data Engineer afin d’intégrer l’équipe DATA technique de notre client, acteur majeur du secteur des médias et du digital. L’équipe est en charge des traitements d’ingestion, de transformation et d’exposition des données du groupe : audience web et mobile, marketing digital, base clients, contenus éditoriaux, offres commerciales ou encore logistique de distribution. Dans un contexte de transformation de la plateforme DATA, le socle technique migre actuellement d’un environnement Cloudera on premise vers Snowflake. Missions principales : Développer et maintenir les flux d’ingestion et de transformation de données Participer à la migration des traitements Cloudera / Hive / Hadoop vers Snowflake Développer des traitements en Python, SQL et éventuellement PySpark Exploiter différentes sources de données : API, Kafka, RabbitMQ, fichiers plats, bases relationnelles Assurer le suivi de production, analyser les incidents et mettre en place les correctifs Participer aux revues de code et aux bonnes pratiques via Git Rédiger et maintenir la documentation technique des traitements Mettre en place des contrôles de cohérence et de qualité des données

Contexte du besoin L’équipe ‘Socles Data’ de la Direction Technique Informatique s’occupe de gérer les socles techniques DATA du système d’information. Ceux–ci répondent aux besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d’exploration de données, de Data science, etc. Les missions de l’équipe se traduisent par la fourniture d’outils logiciels Data industrialisés et exploitables, la rédaction de dossiers d’architecture, de normes et bonnes pratiques, la réalisation d’études, la recherche et la qualification de nouveaux outils, mais également l’administration et le maintien en conditions opérationnelles des socles DATA. Objet de la prestation Le présent marché spécifique a pour objet la recherche d'une prestation d'expertise technique Big Data / Hadoop de technologie Cloudera, pour renforcer l'équipe 'Socle DATA'. Localisation : Gradignan Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme DSI Agirc-Arrco pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées. Reporting hebdomadaire Tableau de bord Mensuel de suivi d'activités Documentations techniques: Normes, principes, dossier d’architecture, dossier d’administration, dossier d’exploitation, modes opératoires Transferts de connaissances : organisation de session de transferts de connaissances et rédaction de supports. Gestion demandes: Tickets incidents / demandes / changements dûment complétés Contribuer à la continuité de services au sein de l'équipe Environnement Socle Hadoop : Distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg ... Langages de scripting et de developpement : Shell, Python, Spark Moteurs de requêtage : Hive, Impala, SQL, ... Systeme d'exploitation : Linux Redhat Environnement Décisionnel: Teradata, ETL Datastage , PowerBI, SAS Autres environnements techniques: Base de données : PostgreSQL Data Streaming : Kafka, IBM Infosphere CdC Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana,