Find your next tech and IT Job or contract Apache Hive

Synthèse du besoin Pour accompagner l'un de nos clients grand compte, nous recherchons un Data Engineer Confirmé / Senior à Paris. La mission consiste à contribuer au développement des ciblages pour la surveillance de portefeuille au sein de la Plateforme Data, en assurant la qualité, la modélisation et la mise à disposition des données issues des SI sources via la Data Fabrik. Enjeux principaux Compréhension du SI source et de ses objets métiers. Documentation fonctionnelle de référence. Respect des standards et prérequis Data Fabrik. Support et accompagnement des équipes IT et métiers dans l’usage de la plateforme. Identification des freins/leviers d'amélioration sur les flux Data. Volet développement Conception et tests des consignes de traitement. Mise en place de chaînes Control-M de bout en bout. Développements PySpark. Compétences clés requises Techniques Hadoop (expert), GCP (expert), Hive (avancé), Agile (avancé), PySpark. Fonctionnelles assurance IARD, Santé, Épargne/Finance, Prévoyance, Relation client (niveau avancé). Comportementales Vision métier, appétence fonctionnelle, pédagogie, diplomatie, aisance relationnelle. Langue Français courant.

Surveiller les tableaux de bord SIEM (Splunk) et autres outils pour identifier les activités suspectes au sein de l'infrastructure, des applications et des systèmes liés à la fraude. Analyser en profondeur les alertes afin d'en déterminer la gravité, l'impact et la cause racine. Effectuer le triage de niveau 2 et escalader les incidents si nécessaire. Coordonner et gérer les plans de réponse aux incidents, en assurant un confinement et une remédiation rapides. Documenter les incidents de manière exhaustive à des fins de conformité et pour référence ultérieure. Développer et mettre en œuvre des scénarios de détection ciblant les tentatives de fraude et les menaces avancées. Mener une chasse aux menaces proactive à l'aide d'Elastic et de The Hive afin d'identifier les vulnérabilités potentielles. Concevoir et améliorer les playbooks d'automatisation afin de rationaliser la gestion des incidents et de réduire le temps de réponse. Améliorer en continu les flux de travail et les capacités de détection du SOC grâce au scripting (PHP, Python). Collaborer étroitement avec les autres analystes SOC, les équipes informatiques et les parties prenantes afin d'assurer une communication et une résolution efficaces. Rédiger des rapports clairs et concis à destination de la direction et des organismes de réglementation.

Expert Data Hadoop/Hive/Hbase, Databricks 8 ans d’expériences + client logistique basé à Guyancourt (ou Montpellier, Nantes) un Expert Data Hadoop/Hive/Hbase, Databricks 8 ans d’expériences + Localisation Guyancourt / Télétravail 2 à 3 jours par semaine Durée de la mission : 2 ans Mission : Création d’une équipe transverse pour : Monitorer la qualité des données : intégration fraicheur des données sur les plateformes data identifier les sources de données actuelles (cartographie SI des données) créer un backlog de contrôles à mettre en place mise en place d’indicateurs o validation de la qualité de la Data de bout en bout o pilotage des correctifs à mettre en place en amont · Dimensionner et organiser la cellule • La cellule sera en relation avec les équipes de RUN les métiers et les autres Lignes Produit Compétences requises : Hadoop/Hive/Hbase Databricks

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Data Engineer Spark/Scala Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandées Compétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé