Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Missions principales Contribuer au développement et à l’industrialisation des traitements Big Data. Intervenir en transverse auprès des différentes équipes (IT et métiers). Challenger les besoins métiers et proposer des solutions techniques pertinentes. Participer à l’amélioration continue des performances et de la qualité des données. Environnement technique Environnement technique : SPARK, CLOUDERA, HADOOP, Java, Hive Profil recherché – Hard & Soft Skills 5 à 8 ans d’expérience en environnement Big Data (Spark / Hadoop / Hive / Java). Solide culture data et environnement distribués (type Cloudera). Excellente capacité de prise de recul et de compréhension des enjeux métiers. Aisance relationnelle et posture transverse : capacité à challenger et à accompagner les équipes métiers. Présence à Vannes 3 jours par semaine - Non négociable

Surveiller les tableaux de bord SIEM (Splunk) et autres outils pour identifier les activités suspectes au sein de l'infrastructure, des applications et des systèmes liés à la fraude. Analyser en profondeur les alertes afin d'en déterminer la gravité, l'impact et la cause racine. Effectuer le triage de niveau 2 et escalader les incidents si nécessaire. Coordonner et gérer les plans de réponse aux incidents, en assurant un confinement et une remédiation rapides. Documenter les incidents de manière exhaustive à des fins de conformité et pour référence ultérieure. Développer et mettre en œuvre des scénarios de détection ciblant les tentatives de fraude et les menaces avancées. Mener une chasse aux menaces proactive à l'aide d'Elastic et de The Hive afin d'identifier les vulnérabilités potentielles. Concevoir et améliorer les playbooks d'automatisation afin de rationaliser la gestion des incidents et de réduire le temps de réponse. Améliorer en continu les flux de travail et les capacités de détection du SOC grâce au scripting (PHP, Python). Collaborer étroitement avec les autres analystes SOC, les équipes informatiques et les parties prenantes afin d'assurer une communication et une résolution efficaces. Rédiger des rapports clairs et concis à destination de la direction et des organismes de réglementation.

La tribu DATA (DAT) construit et développe des applications sur la base de puissantes plateformes DATA à des fins d’usages variés servant toutes les directions métier du groupe bancaire. Pour répondre à ces usages, DAT est au cœur de la stratégie data-centric du groupe bancaire, et intervient aussi bien au niveau de l’architecture Data, sur les dernières technologies data, Big Data, IA, Teradata, SAS, DMP, Oracle ainsi que sur les solutions analytiques et de datavisualisation. La mission consiste à assurer les fonctions suivantes au sein de la Squad Socles Data de la tribu DAT : Veiller au quotidien à la bonne marche des plateformes Data (Teradata et Big Data) Intervenir au quotidien, sous contraintes de délais, lors des incidents d’exploitation (analyse, diagnostic, résolution). Produire le relevé matinal des exécutions des traitements sur les plateformes « Entrepôt et Usages » et « Big Data ». Analyser les actions correctrices à lancer : – court terme (relance rapide) – moyen terme (consignes pour les pilotes de nuit) – long terme (correctifs d’ordonnancement ou de traitements) Créer les incidents selon le process interne (JIRA). Assurer une communication unique pour les deux environnements DATA Vulgariser la communication technico-fonctionnelle auprès des intervenants (équipes internes et métiers). Mettre en place et diffuser les indicateurs de performance et de délais. Mettre en place des états mensuels des incidents et contribuer aux reportings et comités. Analyser les indicateurs d’assurance qualité de données et communiquer auprès des acteurs concernés. Intégrer des méthodes d’amélioration continue Proposer des améliorations du chemin critique en tenant compte des applications sensibles. Maintenir en condition opérationnelle les moyens, dans le respect des normes et critères de performance. Développer des composants d’amélioration. Définir et mettre en place des outils de normalisation, d’automatisation et de sécurisation de la production. Contribuer à la conception de nouveaux projets et évolutions. Contribuer aux états réguliers de contrôle : habilitations, comptes, connexions… Participer aux projets d’optimisation et d’amélioration de la QDF (Qualité de Fonctionnement)

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé : Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Data Engineer Powercenter (Informatica), SQL Developper, Dbvisualizer Niort Activité : Analyse, spécification, développement, test et maintenance Outil de dev : Powercenter (Informatica), SQL Developper, Dbvisualizer Langage: SQL, PL/SQL, SGBD : Oracle, Hive Méthode : SAFE Data Engineer Powercenter (Informatica), SQL Developper, Dbvisualizer Niort Activité : Analyse, spécification, développement, test et maintenance Outil de dev : Powercenter (Informatica), SQL Developper, Dbvisualizer Langage: SQL, PL/SQL, SGBD : Oracle, Hive Méthode : SAFE

Contexte de la mission : Mon client recherche un Data Engineer confirmé pour intervenir sur des activités d’analyse, de spécification, de développement, de test et de maintenance au sein d’un environnement Data. Missions : -Analyser les besoins et spécifier les solutions Data -Développer les traitements et flux de données -Réaliser les tests -Assurer la maintenance des développements existants Environnement technique : -Outils de développement : PowerCenter (Informatica), SQL Developer, DbVisualizer -Langages : SQL, PL/SQL -SGBD : Oracle, Hive -Méthodologie : SAFE Profil recherché : Data Engineer confirmé (3 à 8 ans) disposant d’une expérience significative sur des environnements Data, avec une forte maîtrise des outils ETL, des bases de données et des langages SQL / PL-SQL.

Redlab cherche pour le compte d'un client grand compte , un ingénieur big Data /bases de données Expert des architectures data : bases de données SQL & NoSQL, Big Data, pipelines, gouvernance, performance, sécurité. Missions clés Administrer et optimiser bases SQL & NoSQL. Concevoir pipelines ETL/ELT sur données hétérogènes. Travailler sur Hadoop, Spark, Hive, Delta Lake. Mettre en place partitionnement, Mettre en place sharding, caches. Déployer en cloud (AWS/Azure/GCP). Forte maitrise des Bases de données

Nous recherchons un(e) consultant(e) pour initier une équipe (jusqu’à 3 personnes selon les besoins) dédiée au maintien évolutif et correctif des applications décisionnelles RH d’un grand groupe du secteur bancaire. Tu seras en charge de prendre en main l’environnement, aussi bien sur les plans fonctionnels que techniques, et de poser les bases de cette future équipe. Tes missions Gérer le RUN des outils décisionnels RH. Piloter les évolutions (administration du personnel, paie, formation, recrutement, talent management), en lien avec les métiers et les éditeurs. Contribuer à la préparation des recettes fonctionnelles . Développer et maintenir les univers BO ainsi que les rapports associés. Participer à des projets stratégiques comme le Socle Data Groupe (GCP/IDMC). Apporter un support de proximité aux utilisateurs métiers. ️ Ton environnement tech Business Objects BI 4.3 SQL Developer : SQL, procédures stockées, fonctions Bases de données : Oracle , Hive , Indexima Informatica PowerCenter (projet de migration vers Informatica IDMC ) Power BI Google Cloud Platform (GCP) – BigQuery Infos pratiques Démarrage en septembre , sur le site de Balma (31) Déplacement ponctuel à Paris à prévoir au lancement du projet La maîtrise d’Informatica est un vrai plus pour ce rôle

Nous recherchons pour l'un de nos clients un(e) Expert M365 Contexte : dans le cadre de sa transformation digitale, la DSI assure avec l’aide de ses différents partenaires, la mise en œuvre et l’administration des services Office 365 pour l’ensemble de l'organisation, sur laquelle l'intranet et nos services de collaboration HIVE sont basés. HIVE remplit de nombreuses fonctions : plateforme numérique sécurisée de communication interne, portail de gestion documentaire et outil de collaboration que nous souhaitons rendre global à l’ensemble des filiales du groupe en Europe. L’ingénieur expert M365 met en œuvre les services M365 ainsi que les nouvelles solutions basées sur cette plateforme, en assure l’administration et le bon fonctionnement. Il/Elle a également en charge l’adoption de cet écosystème auprès des utilisateurs afin d’améliorer l’expérience employés et d’accompagner l’entreprise dans sa forte croissance. Il s’agit de mettre en place du Power Automate et Power APP liés à Sharepoint. Missions Assurer le rôle d’expert technique et fonctionnel sur les projets de mise en œuvre de solutions Microsoft 365 Assurer une veille sur les technologies Microsoft et apporter des évolutions sur la plateforme M365 créant de la valeur pour l’entreprise en alignement avec les objectives stratégiques Superviser et administrer la plateforme M365, gérer les capacités et établir des recommandations pour répondre aux besoins Former et accompagner le Service Desk au support de niveau 1 et 2 Fournir un support utilisateur de niveau 3 garantissant une haute qualité de service Utiliser les outils de services ITSM, pour faciliter la gestion des problèmes/incidents et mettre en place un tableau de bord permettant d’en mesurer la performance Assurer la formation et l’accompagnement des utilisateurs dans l’adoption des solutions M365 mises en œuvre dans l’entreprise et animer un groupe de key users Excellente maîtrise technique de la plateforme Microsoft 365 : 4-6 ans Bonne compréhension de l’écosystème Cloud Microsoft Azure Bonne connaissance de la gestion de projet en mode Agile Anglais : Oui

Missions Gestion des incidents dans un environnement front-office trading / finance de marché. Forte activité RUN : incidents, demandes, livraisons. Gestion autonome des arrêts/relances, supervision, mises en production, upgrades. Investigation des incidents techniques et performances. Expertise technique autour de Sophis et du pricer (tests de performance, disponibilité…). Contribution aux projets en cours : DevOps (Jenkins, XL Deploy, XL Release), upgrades Windows 2016, évolution de la distribution de calculs, framework Python vers Hadoop/Spark/Hive, upgrade majeur Sophis.

Missions principales Contribuer au développement et à l’industrialisation des traitements Big Data. Intervenir en transverse auprès des différentes équipes (IT et métiers). Challenger les besoins métiers et proposer des solutions techniques pertinentes. Participer à l’amélioration continue des performances et de la qualité des données. Environnement technique Environnement technique : SPARK, CLOUDERA, HADOOP, Java, Hive Profil recherché – Hard & Soft Skills 5 à 8 ans d’expérience en environnement Big Data (Spark / Hadoop / Hive / Java). Solide culture data et environnement distribués (type Cloudera). Excellente capacité de prise de recul et de compréhension des enjeux métiers. Aisance relationnelle et posture transverse : capacité à challenger et à accompagner les équipes métiers. Présence à Vannes 3 jours par semaine - Non négociable

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Nous recherchons quelqu’un avec de solides compétences sur SQL (notamment HIVE)..... ...... ..... ..... ..... ..... ...... ..... ..... ..... ..... ..... ... .... .. ..... ...... HADOOP (développement sur Cloudera Data Platform)...... ...... ...... ..... .. .. .. .... ..... .... .... ... ... ... Shell UNIX. ...... ....... ...... ....... ....... ..... ....... ..... ..... .... .... ....... ..... Git...... ...... ...... ...... ...... .... ..... ....... .... ... .... .... .... .... ... ... ... ... ...

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Data Engineer Spark/Scala Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandées Compétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé