Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Tâches : Développer et réaliser de nouvelles fonctionnalités/usages définis et priorisés (user stories) au sein de la Squad, tout en respectant les règles de gestion et les critères d'acceptation associés. Aider et conseiller les autres membres de la squad sur les pratiques de développement et de qualité. Attendus : Contribuer au sein d'une équipe agile à répondre aux besoins : Définir les architectures des solutions avec le reste de l'équipe Fabriquer et tester les solutions en mettant l'accent sur l'automatisation des tests Déployer dans les différents environnements Garantir le bon fonctionnement en production Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Contexte de la missionDans le cadre du renforcement d'une squad Data, nous recherchons un Développeur Open xDI Semarchy Sénior afin d'accompagner les équipes sur des activités de développement, d'intégration et de maintenance de solutions Data. Le consultant interviendra sur un environnement technique riche composé notamment de Semarchy xDI, Teradata, PostgreSQL, MySQL, Hive, Phoenix, HDFS ainsi que des API Spring Boot. Missions principalesAu sein de la squad, vos principales responsabilités seront : Assurer le développement et l'intégration des évolutions sur le périmètre des solutions Data. Participer aux phases de conception technique et contribuer aux séances d'affinage. Préparer et réaliser les mises en production en collaboration avec les équipes expertes. Assurer le support applicatif (SAV) et contribuer à la résolution des incidents. Maintenir et enrichir la documentation fonctionnelle et technique. Accompagner les utilisateurs dans la prise en main des solutions. Participer à l'analyse du patrimoine applicatif existant. Contribuer à l'alimentation et à la priorisation du backlog technique. Effectuer une veille technologique régulière afin d'identifier les évolutions pertinentes. Compétences techniques recherchéesCompétence indispensable✅ Semarchy xDI / Open xDI Compétences appréciéesTeradata PostgreSQL MySQL Hive Phoenix HDFS API REST avec Spring Boot

Dans le cadre d'un programme stratégique, nous recherchons un Expert Cloudera / CDP pour intervenir sur la conception, l'administration, l'évolution et l'industrialisation d'une plateforme Data. Vous interviendrez au cœur d'un environnement technique exigeant, sur des sujets d'architecture, d'administration, d'industrialisation et de migration de plateformes Big Data. Vos principales responsabilités : Concevoir et faire évoluer l'architecture de la plateforme Data. Administrer et maintenir les environnements Cloudera / CDP. Participer aux migrations et aux évolutions de la plateforme. Industrialiser les déploiements et traitements via Ansible, Shell et CI/CD. Garantir la disponibilité, la performance, la sécurité et la fiabilité de la plateforme. Analyser et résoudre les incidents techniques complexes. Améliorer la supervision et l'observabilité de la plateforme. Rédiger la documentation technique et les procédures d'exploitation. Accompagner les équipes et contribuer au transfert de compétences.

Développeur Java / Scripting Unix ExpérimentéContexte : Intégration au sein d'une squad Agile en charge du développement, de la maintenance et de l'évolution de solutions d'API basées sur Spring Boot, dans un environnement orienté Data. La mission consiste à accompagner les équipes sur l'ensemble du cycle de vie des applications, depuis la conception technique jusqu'à la mise en production et au maintien en conditions opérationnelles, dans un contexte de modernisation et d'amélioration continue. Missions : Développer et intégrer les évolutions fonctionnelles et techniques des API Java Spring Boot. Concevoir et maintenir des scripts Unix permettant l'automatisation des traitements et des déploiements. Assurer la maintenance corrective et évolutive des applications de la squad. Participer aux phases de conception technique et aux ateliers d'affinage des besoins. Préparer et réaliser les mises en production en collaboration avec les équipes d'exploitation et assurer le support post-production. Analyser l'existant afin de proposer des améliorations techniques et fonctionnelles. Rédiger et maintenir la documentation technique et fonctionnelle. Contribuer à l'alimentation et à la priorisation du backlog technique. Accompagner les utilisateurs et les équipes dans l'exploitation des solutions. Participer à la veille technologique et à l'amélioration continue des pratiques de développement. Garantir la qualité, la sécurité et la maintenabilité du code en appliquant les bonnes pratiques de développement sécurisé.

Au sein de la DSI de notre client, dont la mission est de concevoir et maintenir les applications stratégiques des métiers du Groupe. Dans le cadre de l'évolution du Data Lake CIO Office, nous recherchons un Data Engineer expérimenté afin de participer au développement, à l'évolution et à l'industrialisation des pipelines de données, en collaboration avec les équipes de production applicative et DevOps. Vous évoluerez dans un environnement Big Data moderne, orienté Cloud et Agile, avec des échanges réguliers avec les équipes internationales basées à Porto.

ContexteDans le cadre du renforcement de son équipe Data & IA, notre client recherche un Data Engineer / Administrateur Plateforme Data pour assurer l'administration, l'exploitation et l'évolution des infrastructures Data basées sur Cloudera CDP et les technologies Open Source. Vous interviendrez sur des plateformes critiques en collaboration avec les équipes applicatives, infrastructures, métiers et internationales afin de garantir la disponibilité, les performances et l'évolution des environnements Data. MissionsAdministration & ExploitationAdministrer et maintenir les plateformes Data Cloudera CDP. Garantir le maintien en condition opérationnelle des infrastructures. Superviser les plateformes et assurer le traitement des incidents. Participer aux astreintes et aux interventions hors horaires ouvrés. Optimiser les performances et la capacité des plateformes. Data EngineeringConcevoir les solutions d'ingestion de données (API). Mettre en œuvre des architectures de stockage (Hadoop, Ozone, Druid, ClickHouse...). Développer et automatiser les traitements de données. Mettre en place les tests unitaires et d'intégration. Industrialiser les traitements de nettoyage et de transformation des données. Évolution des plateformesParticiper aux migrations des clusters Hadoop Cloudera. Contribuer au déploiement des nouvelles plateformes Cloudera Data Services sous OpenShift/Kubernetes. Être force de proposition sur les évolutions techniques. Participer au design des infrastructures Data. Support & ExpertiseRésoudre les incidents complexes (Hive, Spark, Yarn...). Accompagner les équipes applicatives et métiers. Assurer un support technique de haut niveau. Participer à la documentation et au partage de connaissances. Environnement techniqueImpératifCloudera CDP 7.1.x RedHat Enterprise Linux 8 & 9 Python Java Ansible DevOps Très bonnes connaissancesHadoop Hive HBase Kafka Spark Solr Knox Ranger ZooKeeper Kerberos LDAP AppréciéesOpenShift Kubernetes Trino / Starburst Airflow Flink Maven Gradle ClickHouse Ozone Druid Profil recherchéFormation Bac+5 en informatique ou équivalent. Expérience significative sur des plateformes Big Data Cloudera. Expertise Linux RedHat. Bonne maîtrise des environnements Open Source Data. Solides compétences en automatisation (Ansible). Connaissances DevOps. Capacité à analyser et résoudre des incidents complexes. Esprit d'équipe, autonomie et bonnes capacités de communication. ConditionsCouverture de l'équipe : 8h00 – 19h00 Astreintes et interventions hors horaires ouvrés selon un planning de rotation. Niveau attendu : Confirmé / Senior (N4). Compétences clés : Cloudera CDP 7.1.x, RedHat 8/9, Hadoop, Spark, Hive, Kafka, Python, Java, Ansible, DevOps, OpenShift, Kubernetes.

Dans le cadre d'un projet stratégique en Banque / Finance, nous recherchons 2 Tech Leads Big Data / Data Engineering expérimentés pour rejoindre une équipe intervenant sur des sujets à fort enjeu autour des environnements BFI et Risk. 🎯 Profil recherchéExpérience confirmée en Big Data / Data Engineering Bonne connaissance des environnements Banque de Financement et d'Investissement (BFI) et des problématiques Risk Capacité à évoluer dans des environnements techniques complexes et à accompagner les équipes 💻 Compétences techniques indispensablesSpark / PySpark / Scala Python Hive / SQL Elasticsearch / Kibana Jenkins Ansible Oozie Méthodologie Agile 🚀 Vos missionsConcevoir et développer des solutions Big Data performantes Accompagner les équipes sur les choix techniques et les bonnes pratiques Participer à l'industrialisation des traitements et à l'optimisation des performances Intervenir sur des projets stratégiques à fort impact dans le secteur bancaire 📍 2 postes à pourvoir immédiatement 👉 Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé.

Rattaché à l'équipe Data, vous êtes garant du bon fonctionnement, de la fiabilité et de la performance de l'écosystème Big Data de l'entreprise. Vous intervenez sur une plateforme Hadoop hybride, articulée avec des services Cloud GCP et des environnements Kubernetes-as-a-Service. Exploitation et maintien en conditions opérationnelles Vous assurez le MCO de l'écosystème Hadoop et garantissez la disponibilité, la performance et la sécurité des clusters. Vous supervisez l'état de santé des composants (HDFS, Yarn, Hive, Spark, Oozie) et contribuez à la fiabilisation du socle technique en réduisant progressivement les points de fragilité identifiés. Gestion des incidents et support N2/N3 Vous prenez en charge les incidents, menez les analyses techniques, identifiez les causes racines (RCA) et proposez les plans d'actions correctifs. Vous assurez le suivi jusqu'à résolution complète et maintenez la documentation technique associée. Amélioration continue et automatisation Vous contribuez aux chantiers d'amélioration de la plateforme (performance, architecture, déploiements) et développez ou optimisez les scripts d'automatisation en Python, Shell ou Ansible. Vous participez aux évolutions de l'écosystème et aux projets de transformation Big Data. Environnement Cloud GCP Vous participez à l'exploitation et à l'évolution des services GCP liés au Big Data (BigQuery, Dataproc, Cloud Storage), contribuez aux migrations et interconnexions entre Hadoop et GCP, et assurez le monitoring, la gouvernance ainsi que l'optimisation des coûts Cloud. Plateformes KaaS Vous administrez et exploitez les environnements Kubernetes-as-a-Service (GKE, Anthos ou équivalent interne), déployez et maintenez les services Data et applicatifs associés, surveillez les clusters et gérez ressources, namespaces et montée en charge. Vous contribuez à la sécurisation et à la standardisation des déploiements.

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

Je recherche un Ingénieur Big Data / Administrateur Hadoop-Cloudera (CDP) confirmé à senior pour une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (CDP). Ainsi qu'un accompagnement au développement d'un ensemble des DATA Services et challenge des fonctionnalités à développer et les standards de travail. Vous contribuerez : · A l'installation de cluster · Au monitoring et à l'administration des outils Big Data · A l'administration de cluster · A l'upgrade des distributions et des composants Hadoop · A l'installation des différents composants sur Hadoop · Au support et à la résolution des problèmes N2 et N3 · A la mise en place d'environnements de développement et de test · A la sécurisation des clusters Compétences techniques requises · Installation et configuration des différents distributions sur Hadoop : · Installation et configuration des différents composants : Zookeeper, HDFS, Spark, Hive, Kerberos, Sentry, Anaconda, Hue, Kafka… · Monitoring des clusters avec Ambari, Cloudera manager, … · Administration des clusters : droits d'accès, Policy Ranger, création d'environnements… · CI/CD Ansible, Jenkins,… · Méthodes agiles : Scrum, Safe, Kanban, … Profil recherché Une expérience significative dans le cadre de projets Big Data sur une plateforme distribution Hadoop & CDP. · Anglais opérationnel et bonne aisance en communication · Capacité d'analyse et d'adaptation · Force de proposition, la veille technologique.

Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL

Vous intégrez une équipe en charge de l'infrastructure de gestion de la donnée d'un acteur bancaire en ligne à très forte volumétrie, sur un système d'information majoritairement construit en briques open source. L'équipe couvre l'intégralité du cycle de vie des plateformes data — conception, déploiement, administration, supervision — sans séparation build/run ni logique de procédures cloisonnées. Vous n'êtes pas administrateur de bases de données au sens classique : vous concevez, scalez, sécurisez et industrialisez les moteurs de données. L'optimisation de requêtes reste marginale. Volumétrie de référence : 180 instances MySQL avec sharding, cluster Hadoop d'environ 3 Po, stockage objet S3 de plusieurs pétaoctets. Vos missions : Traitement N3 des incidents de production sur l'ensemble des briques de gestion de la donnée Industrialisation des moteurs de données via déploiement automatisé (Terraform, sur VM pré-outillées EDR/hardening) Conception et exploitation des mécanismes de haute disponibilité, scalabilité, réplication et sharding à l'échelle Définition et exécution des stratégies de backup/restauration sur gros volumes Traitement de l'obsolescence : montée de version MySQL vers 8.x sur l'ensemble du parc Qualification et industrialisation de nouvelles briques techniques Pilotage de la couche système sous-jacente et des couches d'exposition (ex. Consul) Suivi des KPIs de production et mise en œuvre d'actions correctives Traitement des sujets de sécurité sur les plateformes data Interface quotidienne avec les équipes de développement et l'infrastructure Environnement technique : Socle commun : Linux (Debian/RHEL) niveau confirmé à avancé, Terraform/Ansible/Puppet, CI/CD, Git, Docker, Kubernetes (RKE2) en trajectoire GitOps (ArgoCD) Bigdata/Hadoop (cœur du poste) : Hadoop, Hive, Hue, Yarn, Zeppelin, Spark Streaming — niveau confirmé Autres : Cassandra, Kafka, Airflow niveau confirmé ; MySQL niveau avancé ; suite ELK Supervision : Zabbix, Prometheus, Grafana, Loki

Ingénieur SAS BI SERVER 500 e par jour Domaines de compétences : * Architecture autour de la solution SAS 9 Bi Server * Accompagement utilisateurs * Administration de la plateforme * Datawarehouse * Alimentation * Reporting * Industrialisation * Rédaction des documents d'exploitation et guides utilisateurs Compétences technologiques Langages SAS Base/Macro, Shell, MDX, Hive, JAVA/JavaScript, SQL, HTML, CGI, Vbs/Vba, Python, R Outils SAS 9.4 Bi Server, VIYA, E Guide, SAS Access to Hadoop, QlickView, Cloudera, T Budget 500 e par jour