Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Synthèse du besoin Pour accompagner l'un de nos clients grand compte, nous recherchons un Data Engineer Confirmé / Senior à Paris. La mission consiste à contribuer au développement des ciblages pour la surveillance de portefeuille au sein de la Plateforme Data, en assurant la qualité, la modélisation et la mise à disposition des données issues des SI sources via la Data Fabrik. Enjeux principaux Compréhension du SI source et de ses objets métiers. Documentation fonctionnelle de référence. Respect des standards et prérequis Data Fabrik. Support et accompagnement des équipes IT et métiers dans l’usage de la plateforme. Identification des freins/leviers d'amélioration sur les flux Data. Volet développement Conception et tests des consignes de traitement. Mise en place de chaînes Control-M de bout en bout. Développements PySpark. Compétences clés requises Techniques Hadoop (expert), GCP (expert), Hive (avancé), Agile (avancé), PySpark. Fonctionnelles assurance IARD, Santé, Épargne/Finance, Prévoyance, Relation client (niveau avancé). Comportementales Vision métier, appétence fonctionnelle, pédagogie, diplomatie, aisance relationnelle. Langue Français courant.

Surveiller les tableaux de bord SIEM (Splunk) et autres outils pour identifier les activités suspectes au sein de l'infrastructure, des applications et des systèmes liés à la fraude. Analyser en profondeur les alertes afin d'en déterminer la gravité, l'impact et la cause racine. Effectuer le triage de niveau 2 et escalader les incidents si nécessaire. Coordonner et gérer les plans de réponse aux incidents, en assurant un confinement et une remédiation rapides. Documenter les incidents de manière exhaustive à des fins de conformité et pour référence ultérieure. Développer et mettre en œuvre des scénarios de détection ciblant les tentatives de fraude et les menaces avancées. Mener une chasse aux menaces proactive à l'aide d'Elastic et de The Hive afin d'identifier les vulnérabilités potentielles. Concevoir et améliorer les playbooks d'automatisation afin de rationaliser la gestion des incidents et de réduire le temps de réponse. Améliorer en continu les flux de travail et les capacités de détection du SOC grâce au scripting (PHP, Python). Collaborer étroitement avec les autres analystes SOC, les équipes informatiques et les parties prenantes afin d'assurer une communication et une résolution efficaces. Rédiger des rapports clairs et concis à destination de la direction et des organismes de réglementation.

Expert Data Hadoop/Hive/Hbase, Databricks 8 ans d’expériences + client logistique basé à Guyancourt (ou Montpellier, Nantes) un Expert Data Hadoop/Hive/Hbase, Databricks 8 ans d’expériences + Localisation Guyancourt / Télétravail 2 à 3 jours par semaine Durée de la mission : 2 ans Mission : Création d’une équipe transverse pour : Monitorer la qualité des données : intégration fraicheur des données sur les plateformes data identifier les sources de données actuelles (cartographie SI des données) créer un backlog de contrôles à mettre en place mise en place d’indicateurs o validation de la qualité de la Data de bout en bout o pilotage des correctifs à mettre en place en amont · Dimensionner et organiser la cellule • La cellule sera en relation avec les équipes de RUN les métiers et les autres Lignes Produit Compétences requises : Hadoop/Hive/Hbase Databricks

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé : Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Missions Gestion des incidents dans un environnement front-office trading / finance de marché. Forte activité RUN : incidents, demandes, livraisons. Gestion autonome des arrêts/relances, supervision, mises en production, upgrades. Investigation des incidents techniques et performances. Expertise technique autour de Sophis et du pricer (tests de performance, disponibilité…). Contribution aux projets en cours : DevOps (Jenkins, XL Deploy, XL Release), upgrades Windows 2016, évolution de la distribution de calculs, framework Python vers Hadoop/Spark/Hive, upgrade majeur Sophis.

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Nous recherchons pour l'un de nos clients un(e) Expert M365 Contexte : dans le cadre de sa transformation digitale, la DSI assure avec l’aide de ses différents partenaires, la mise en œuvre et l’administration des services Office 365 pour l’ensemble de l'organisation, sur laquelle l'intranet et nos services de collaboration HIVE sont basés. HIVE remplit de nombreuses fonctions : plateforme numérique sécurisée de communication interne, portail de gestion documentaire et outil de collaboration que nous souhaitons rendre global à l’ensemble des filiales du groupe en Europe. L’ingénieur expert M365 met en œuvre les services M365 ainsi que les nouvelles solutions basées sur cette plateforme, en assure l’administration et le bon fonctionnement. Il/Elle a également en charge l’adoption de cet écosystème auprès des utilisateurs afin d’améliorer l’expérience employés et d’accompagner l’entreprise dans sa forte croissance. Il s’agit de mettre en place du Power Automate et Power APP liés à Sharepoint. Missions Assurer le rôle d’expert technique et fonctionnel sur les projets de mise en œuvre de solutions Microsoft 365 Assurer une veille sur les technologies Microsoft et apporter des évolutions sur la plateforme M365 créant de la valeur pour l’entreprise en alignement avec les objectives stratégiques Superviser et administrer la plateforme M365, gérer les capacités et établir des recommandations pour répondre aux besoins Former et accompagner le Service Desk au support de niveau 1 et 2 Fournir un support utilisateur de niveau 3 garantissant une haute qualité de service Utiliser les outils de services ITSM, pour faciliter la gestion des problèmes/incidents et mettre en place un tableau de bord permettant d’en mesurer la performance Assurer la formation et l’accompagnement des utilisateurs dans l’adoption des solutions M365 mises en œuvre dans l’entreprise et animer un groupe de key users Excellente maîtrise technique de la plateforme Microsoft 365 : 4-6 ans Bonne compréhension de l’écosystème Cloud Microsoft Azure Bonne connaissance de la gestion de projet en mode Agile Anglais : Oui

Nous recherchons quelqu’un avec de solides compétences sur SQL (notamment HIVE)..... ...... ..... ..... ..... ..... ...... ..... ..... ..... ..... ..... ... .... .. ..... ...... HADOOP (développement sur Cloudera Data Platform)...... ...... ...... ..... .. .. .. .... ..... .... .... ... ... ... Shell UNIX. ...... ....... ...... ....... ....... ..... ....... ..... ..... .... .... ....... ..... Git...... ...... ...... ...... ...... .... ..... ....... .... ... .... .... .... .... ... ... ... ... ...

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Data Engineer Spark/Scala Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandées Compétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Architecte technique Data Sa mission consistera à : - Accompagner les équipes Data en expertise sur les solutions et architectures actuelles autour des deux grandes plates-forme DATA que sont Teradata et Cloudera CDP (HDFS, Hive, Spark, Hbase,...). - Participer aux reflexions et aux études sur les trajectoires DATA (dont la trajectoire post SAS). - Apporter une expertise sur les architectures de traitement des données en temps réel (KAFKA) ainsi que leur exposition en mode API. - Accompagner la modérnisation technologique sur des solutions innovantes de type Data LakeHouse “On premise” (Storage MINIO, Compute KUB, Processisng SPARK et TRINO, Services JUPYTER) et “Cloud/GCP” (Big Query etc)

Au sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d’intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks. Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9, etc.). Missions principales : -Participer au développement et à l’intégration de nouvelles sources de données au sein du Datalake Finance. -Assembler et distribuer les données aux consommateurs métiers tout en garantissant la pérennité et la performance des pipelines existants. -Contribuer à la conception technique, l’implémentation et les tests des flux sous Spark / Scala. -Veiller à la non-régression et à la qualité du code dans le cadre des évolutions du socle. -Travailler en méthodologie Agile (Scrum / Kanban) avec les équipes métiers, data et maintenance. -Participer à la documentation technique et aux revues de code. Profil recherché : -5 à 6 ans d’expérience en environnement Big Data / Datalake. -Solide maîtrise de Spark / Scala et des paradigmes de programmation fonctionnelle (ZIO, Monix, Cats appréciés). -Connaissance des écosystèmes Hadoop, Hive, Kafka, HBase, Kerberos. -Expérience dans un cadre Agile (Scrum / Kanban) et outils associés (Jira, Confluence). -Esprit analytique, autonomie, rigueur et bon relationnel.

Nous recherchons un Architecte Big Data confirmé maîtrisant les environnements GCP (Google Cloud Platform) et Cloudera , capable d’allier vision stratégique et excellence technique. En tant qu’Architecte Big Data, vous interviendrez sur des projets de transformation data à grande échelle : Concevoir et faire évoluer des architectures Big Data hybrides (Cloud & on-premise). Définir la stratégie de données et les bonnes pratiques de gouvernance, sécurité et performance. Encadrer les équipes techniques (Data Engineers, DevOps, Data Scientists). Piloter les choix technologiques sur les écosystèmes GCP (BigQuery, Dataflow, Pub/Sub, Composer, Dataproc) et Cloudera (CDP, HDFS, Hive, Spark, Kafka) . Garantir la scalabilité, la résilience et l’optimisation des coûts des plateformes data. Participer aux revues d’architecture et à la veille technologique sur les solutions Cloud et Open Source.

Nous recherchons un(e) consultant(e) pour initier une équipe (jusqu’à 3 personnes selon les besoins) dédiée au maintien évolutif et correctif des applications décisionnelles RH d’un grand groupe du secteur bancaire. Tu seras en charge de prendre en main l’environnement, aussi bien sur les plans fonctionnels que techniques, et de poser les bases de cette future équipe. Tes missions Gérer le RUN des outils décisionnels RH. Piloter les évolutions (administration du personnel, paie, formation, recrutement, talent management), en lien avec les métiers et les éditeurs. Contribuer à la préparation des recettes fonctionnelles . Développer et maintenir les univers BO ainsi que les rapports associés. Participer à des projets stratégiques comme le Socle Data Groupe (GCP/IDMC). Apporter un support de proximité aux utilisateurs métiers. ️ Ton environnement tech Business Objects BI 4.3 SQL Developer : SQL, procédures stockées, fonctions Bases de données : Oracle , Hive , Indexima Informatica PowerCenter (projet de migration vers Informatica IDMC ) Power BI Google Cloud Platform (GCP) – BigQuery Infos pratiques Démarrage en septembre , sur le site de Balma (31) Déplacement ponctuel à Paris à prévoir au lancement du projet La maîtrise d’Informatica est un vrai plus pour ce rôle

Contexte / Objectif : Renfort d’une équipe technique en charge de la migration du DataHub vers sa version 2. L’objectif est d’assurer le développement et l’industrialisation de traitements Big Data dans un environnement distribué à forte volumétrie, depuis la conception jusqu’au maintien en production. Missions principales : Étude et conception technique des batchs et pipelines data. Développement Spark/Scala pour traitements batch et streaming. Récupération, transformation, enrichissement et restitution des données (ETL/ELT). Création et publication de batchs Kafka (topics / événements). Participation à l’industrialisation : CI/CD, tests, déploiement et monitoring. Collaboration étroite avec les Business Analysts pour garantir la qualité et la lisibilité des libellés. Gestion autonome de sujets transverses (reporting, suivi, coordination, support niveau 2/3). Stack technique (obligatoire / souhaité) : Obligatoire : Apache Spark (maîtrise), Scala (langage principal), SQL (avancé). Souhaité : Java (notions confirmées), Kafka (bonnes bases), Apache Airflow (expérience appréciée), HDFS/Hive/YARN (bonnes bases), expérience Cloud (GCP ou AWS valorisée), CI/CD (Jenkins, Gitflow), notions DevOps. Méthodologie & environnement : Travail en mode Agile (backlog, rituels, communication proactive). Interaction régulière avec équipes Data, BI, infra et métiers.

Compétences techniques indispensables : Maîtrise de SQL et Dataiku (indispensable). Bonne connaissance des environnements Big Data (type Data Lake, Hive, Impala, Spark…). Maitrise des bases du web marketing Connaissance des outils de dataviz : Digdash, Qlik Sense, Power BI, etc. Maîtrise de Piano Analytics ou d’un outil équivalent de web analytics est un plus. Compréhension des enjeux liés à la qualité, à la structuration et à la gouvernance de la donnée. Compétences fonctionnelles : Capacité à analyser, synthétiser et vulgariser des résultats complexes. Sens de la rigueur, de l’autonomie et de la curiosité. Excellentes aptitudes à travailler en équipe et à interagir avec des interlocuteurs variés (techniques et métiers).