Trouvez votre prochaine mission ou futur job IT.

Architecture et Conception : Concevoir, mettre en œuvre et maintenir l'architecture Hadoop en fonction des besoins de l'entreprise. Élaborer des plans d'expansion et d'évolution pour les clusters Hadoop. Collaborer avec les équipes de développement et d'infrastructure pour concevoir des solutions adaptées aux besoins spécifiques du projet. Installation et Configuration : Installer, configurer et déployer les clusters Hadoop en utilisant les meilleures pratiques. Gérer les configurations, les mises à jour et les correctifs des composants Hadoop. Surveillance et Optimisation : Surveiller les performances du cluster Hadoop et identifier les goulots d'étranglement. Optimiser les performances en ajustant la configuration, en mettant à l'échelle le matériel ou en optimisant les requêtes. Mettre en place des outils de surveillance et des alertes pour détecter les problèmes potentiels. Sécurité : Mettre en œuvre et maintenir des stratégies de sécurité robustes pour le cluster Hadoop. Gérer l'accès aux données sensibles et aux ressources du cluster en utilisant des technologies telles que Kerberos, LDAP, etc. Effectuer des audits de sécurité réguliers et remédier aux vulnérabilités identifiées. Gestion des Données : Concevoir et mettre en œuvre des pipelines de données pour l'ingestion, le traitement et la distribution des données. Assurer la qualité des données en mettant en place des processus de nettoyage, de normalisation et de validation des données. Intégrer et gérer différents types de données, y compris les données structurées, semi-structurées et non structurées. Automatisation et Orchestration : Automatiser les tâches courantes telles que la sauvegarde, la récupération, la gestion des ressources, etc. Mettre en place des workflows d'orchestration pour coordonner les tâches complexes entre les différents composants du cluster Hadoop. Développement et Support : Fournir un support technique aux équipes de développement et d'analyse des données. Développer des outils et des scripts personnalisés pour faciliter l'administration et la gestion du cluster Hadoop. Collaborer avec les équipes de développement pour optimiser les applications et les requêtes pour le cluster Hadoop. Formation et Documentation : Former les membres de l'équipe sur l'utilisation et la gestion du cluster Hadoop. Documenter les processus, les configurations et les bonnes pratiques pour faciliter la collaboration et le transfert de connaissances. Veille Technologique : Suivre les tendances et les avancées technologiques dans le domaine du Big Data et de l'analyse de données. Évaluer de nouvelles technologies et proposer des solutions innovantes pour améliorer l'efficacité et les performances du cluster Hadoop.

ANALYSE : • Contribue à la définition des spécifications générales • Réalise l'analyse technique et l’étude détaillée • Adapte et paramètre les progiciels applicatifs (ERP) • Réalise le prototypage QUALIFICATION : • Élabore les jeux d’essais pour les tests unitaires d’intégration • Effectue les tests unitaires • Identifie et traite les dysfonctionnements DÉVELOPPEMENT : • Réalise les modules (objets et composants logiciels) • Assemble les composants • Rédige les documentations MAINTENANCE : • A en charge la maintenance corrective • A en charge la maintenance évolutive • Administre les composants logiciels réutilisables et met à jour la nomenclature de ces composants

Data Engineering Technos: Hbase Hve Spark Maintien en conditions op ProD Docker Hadoop Kafka Kubernetes Python Unix/Linux Contexte de la mission Le prestataire étant orienté big data et ayant des compétences dans les domaines listés ci-dessous, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L'expertise technique sur le Datalake (plateforme Big Data) consistera à : o Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux o Contribuer à l'implémentation/automatisation des solutions o Effectuer les actions de mises en production o Contribuer à l'amélioration continue des outils d'exploitation o Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : o Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) o Statut bi-mensuel sur l'avancée des projets sur lesquels il sera contributeur Technos: Hbase Hve Spark Maintien en conditions op ProD Docker Hadoop Kafka Kubernetes Python Unix/Linux

Mission : travailler sur des projets de développement back-end en participant à : - Concevoir et développer des API RESTful évolutives en utilisant NodeJS. - Gérer et maintenir des bases de données MongoDB. - Collaborer avec l’équipe de développement pour concevoir et mettre en œuvre des solutions back-end efficaces. - Développer et maintenir des tests automatisés pour assurer la qualité du code. - Optimiser les performances du back-end pour assurer une expérience utilisateur rapide et fiable. - Participer à la conception et à la mise en œuvre de l’architecture de l’application. Environnement technique : - NodeJS - Express - MongoDB, - Redis - SSE - Elasticsearch - Joi - Jest - Nest - Typescript - JWT

Contexte Définition du besoin : Nous sommes à la recherche d’une prestation de développement back-end NodeJS expérimentée pour rejoindre notre équipe de développement. MISSIONS : - Concevoir et développer des API RESTful évolutives en utilisant NodeJS. - Gérer et maintenir des bases de données MongoDB. - Collaborer avec l’équipe de développement pour concevoir et mettre en œuvre des solutions back-end efficaces. - Développer et maintenir des tests automatisés pour assurer la qualité du code. - Optimiser les performances du back-end pour assurer une expérience utilisateur rapide et fiable. - Participer à la conception et à la mise en œuvre de l’architecture de l’application.

Architecte big data HDP ou CDP on premise Au sein de l’équipe socle BigData, en lien avec le product owner socle et l’architecte déjà présent, le profil prend un rôle d’architecte / expert sur le socle BigData : • Porter des sujets d’architecture pour intégrer le Cloudera Data Platform • Contribuer à l’industrialisation de notre plateforme Big Data (déploiement des composants, supervision, sécurité, etc…), • Rédiger des modes opératoires et des documentations techniques pour faciliter la compréhension et la montée en compétence de l’équipe, • Qualifier et chalenger les architectures applicatives proposer par les équipes projets • Identifier les faiblesses des environnements et proposer des solutions pour optimiser et améliorer la robustesse de la plateforme , • Apporter de l’expertise sur les incidents et être force de proposition sur les nouveaux usages (APIsation, PRA/PCI, etc…), • Si le profil a une fibre chef de projet / scrum master, il pourra prendre en charge une partie de l’animation de l’équip. Ces activités nécessitent une connaissance technique de l’environnement Hadoop Big Data acquise sur plusieurs architectures Big Data déployées en production, le sens du service et une forte autonomie. Une bonne vision d’ensemble sera nécessaire : sécurité, exploitation, etc… ü Livrables de la prestation : • Etudes d’architecture • POC : Code source commenté / Tests • Industrialisation de composant du socle • Documentations diverses ü Compétences techniques requises : • Maitrise d’une solution HDP ou CDP on premise • Cloudera Manager, Kerberos, Ranger • Kafka • Spark, Zeppelin • HDFS, Hive, Hbase • Oozie • Yarn • Jenkins • Docker L’ensemble de ces activités nécessitent une très bonne connaissance des composants Hadoop. Une expérience de 3 à 5 ans sur un poste d’architecte Big Data nous semble nécessaire pour bien appréhender ses activités. Ces activités nécessitent une forte autonomie, un mindset d’architecture et d’administration de plateforme Big Data, de la curiosité et une appétence pour la mise en place de solutions techniques. Un profil ayant une appétence pour l'animation d'équipe serait idéal. Une expérience réalisée sur un cluster sécurisé et « kerberisé » serait un plus, tout comme une expérience de déploiement de cluster à la demande.

Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) : - La création des IHM pour les questionnaires - La mise en place d'une base de données, déversement dans le lake - La mise en place de plusieurs liens avec des appli groupe (pour récupérer des données ou en pousser). Les livrables attendus sont : -Développement BigData pour le compte de plusieurs applications - Respect des règles et des best practices. Les expertises attendues pour réaliser cette prestation sont listées ci-après : • Hadoop (Big Data) • Hive • Python • Spark

Environnement Technique :  Tous composants de la distribution HDP 2.6.5 (Hortonworks)  Tous composants de la distribution HDP 3.1.x (Hortonworks)  Technologie KAFKA  Compétences de développements en Shell, Java, Python  Moteur Elasticsearch incluant les fonctionnalités soumises à licence  Docker, Kubernetes, système distribué sur Kubernetes  Infrastructure as Code  DevOps : Ansible, Git, Nexus, Jenkins, JIRA, etc...  Os Linux, Kerberos, SSL, Ldap, RDBMS, SQL Mandatory :  Tous les composants des distributions Hadoop  Tous les composants de la suite Elasticsearch : Kibana, Logstash, suite beats  Administration de composants big data

Nous cherchons à renforcer notre équipe avec un Architecte / Administrateur Big Data Hadoop (H/F). Vous intégrez une équipe et serez en charge de l'infrastructure de stockage de données, de l'automatisation et du maintien en conditions opérationnelles pour la mise en place d'un nouveau programme. L'objectif de ce programme est la mise en oeuvre d'une nouvelle offre de service BIGDATA pour l'ensemble du Groupe. Cette nouvelle offre de service doit : - Être Industrielle avec différents environnements distincts ( DEV, INT, Homol, PROD, DR) - Être Sécurisée, afin d'accueillir des données de tout type C1, C2, C3 - Être Résiliente, avec de la haute dispo sur l'ensemble des composants - Être Secourue avec un DR distant - Permettre le partage des données, de manière sécurisée, entre n'importe quelle équipe du groupe SG afin - Que chacun puisse travailler sur les données les plus fraîches - Qu'il n'y ait pas de multiples copies des même données au sein du datalake Dans le but de réduire le Time To Market à quelques minutes, nous avons construit deux équipes : une pour le développement d'API ; une autre pour le déploiement et le maintien en condition opérationnelles pour l'offre Big Data. Allez on en dis plus... Vos principales missions seront : - Maintien de la production en conditions opérationnelles - Mise en oeuvre de l'infrastructure de secours - Participer à l'automatisation de l'infrastructure Bigdata (HADOOP) s'appuyant sur TERRAFORM et ANSIBLE - Extension automatisée des clusters Bigdata avec l'ajout de datanodes - Ajout automatisé de nouvelles fonctionnalités (Hbase, Encryption) Informations complémentaires : possibilité de télétravail plusieurs jours par semaine. Ingénieur de formation, nous recherchons un Expert Hadoop (Cloudera CDP) maîtrisant Ansible pour participer à la construction de notre nouvelle plateforme Big data. Vous avez une expérience d'au moins 10ans sur un poste similaire. Vous êtes expert Hadoop maitrisant Ansible et avec des compétences techniques reconnues sur la technologie UNIX: Linux, Shell, Python, Open source, SSL, Redhat, Agile Scrum, Terraform. Vous avez également de solides compétences sur HDFS, Oozie, Zookeeper, Ranger, Knox, Kerberos, LDAP, Hbase, Kafka, Cloudera Manager, Spark, Hive, Nifi D'une excellente qualité d'écoute, disponible, réactif et rigoureux. Notre processus de recrutement : En 4 étapes ! Tout simplement. Dans un premier temps, vous échangerez avec l'un d'entre nous ; Puis, nous aurons le plaisir de vous rencontrer lors d'un entretien ; Pour finir, vous discuterez métier avec l'un de nos managers opérationnels ; Bienvenue chez nous ! Ce poste vous intéresse ? Vous êtes motivé(e) et vous avez hâte de commencer ? Place à l'action : Postulez ou partagez avec votre réseau ! Python rigoureux à l'écoute Kafka Ansible Hadoop Spark Hive Terraform Hbase Nifi