Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Nous recherchons un Ingénieur Big Data Compétences techniques: Hadoop Hive - Confirmé - Impératif Kubernetes - Junior - Important Description détaillée: Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL

Mission : Piloter le programme Obsolescence en assurant l’exécution du plan de levée d’obsolescence du socle et piloter le dispositif global associé. · Consolide le plan pluriannuel de levée d’obsolescence à partir des roadmap Produits, en lien avec les PO et les Responsables d’Activités ; · Pour chaque année, définit le plan de traitement : inventaires consolidés, périmètres d’actions et objectifs de traitement, budget et ressources ; · Engage les projets associées du Plan Projets et organise les travaux ; · Coordonne la communauté des Squad leads du socle et leurs PO et tout autre ressources engagés dans le programme ; · Définit et publie les KPI de suivi ; et réalise les Contrôles Permanents associés · Gère les budgets ; · Gère les risques et met en œuvre les mesures d’atténuation ; · Suit les demandes de dérogations et alerte sur les risques associés (financier, sécurité, opérationnel) ; · Organise et anime les Comités associés : mensuels NDC, stratégiques · Contribue à l’animation et à la performance du Processus de Gestion des Obsolescences

En tant que Consultant(e) AMOA Big Data / Data , vous accompagnez la modélisation et à la mise en œuvre des solutions décisionnelles (reporting stratégique, opérationnel, etc.) la mise en œuvre des usages concernant les données des services Solidarités et Droit à l’information. Les solutions à mettre en œuvre le seront sous une architecture technique Hadoop/Hive ; les outils de manipulation des données : Tableau et Alteryx. De plus, vous participez à l’enrichissement des dictionnaires de données sur le périmètre concerné ainsi qu’à la modélisation des datamarts décisionnels répondant aux cas d’usages du projet. Les activités seront menées en méthode dite agile . La durée des sprints est de trois semaines. Le nombre de sprints sera de 9. À ce titre, vous aurez pour rôle : -Accompagnement et interface entre Métier et MOE sur les solutions d’architecture data mises en place -Animer les réunions avec les utilisateurs et l’équipe de développement (une réunion par semaine, de 5 à 10 participants par réunion) -Recueillir et restituer les indicateurs -Tâches attendues pendant un sprint : Analyser les user-stories prises en compte dans les sprints et animer les ateliers métiers associés ; Modélisation fonctionnelle des objets pivots et des datamarts ; Préparer et conduire les recettes -Réalisation d’un mode opératoire, façon Tutoriel, pour que les métiers puissent construire des rapports en autonomie. Cela pourra être sous forme de document de type Powerpoint avec un maximum de 30 slides -Réalisation/automatisation de rapports et d’indicateurs sur demande des métiers -Accompagnement des métiers dans l’utilisation de la solution S.I mise en œuvre -Réalisation de documents sur le fonctionnement de l’outil à destination de la MOA. Les documents seront sous format de type Word. Ils devront être exhaustifs en termes de périmètre de fonctionnalités mise en œuvre.

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production

Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) :  Recueil et à l'analyse des besoins métier et des processus de bout en bout  La redaction des spécifications techniques.  L'assistance et contribution aux instances projet.  La sécurisation des jalons stratégiques  Suivi et au dépannage de la production pour son maintien en conditions opérationelles Envrionnement technique : Juptyper Lab, ML Flow Environnement Agile Livrables attendus Les livrables attendus sont : - Dévéloppements : Python, système RAG, implémentation des Guardrails, prompt ingénierie) - Contribution aux chantiers transverses : Architecture, Sécurité - Documentation technique de la solution - Contribution à la préparation des instances projets Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Compétences en développement (Shell unix, Perl, PHP, Python, git, github)  Continuous Integration  Hadoop (Big Data), Spark  Python

La mission : En tant que consultant Ingénieur Data au sein de la Cellule Qualité du Fixe (CQF) , vous serez en charge de : · L'exploitation de la plateforme Big Data de monitoring Wifi des Box : A ce titre vous aurez la charge : · Du monitoring des principaux KPI du système et la misé en œuvre des nouveaux KPI · Des investigations lors d'incident : Vous déclencherez et piloterez le fournisseur et / ou les autres entités de Bytel contribuant à son bon fonctionnement. · Vous serez le garant de mise à disposition des données issues du cluster HDFS. Vous aurez des scripts Scala / Spark à développer pour toute évolution à la demande de l'équipe Datascience ou en fonction des évolutions du système. · Vous assurez la mise en œuvre des politiques de sécurités et de sauvegarde, et appliquer tout patch ou correctif nécessaire à cette intégrité. · Du pilotage des fournisseurs externes et internes pour les évolutions de la plateforme, que ces évolutions portent sur le hardware, les applicatifs, ou l'architecture réseau. · La data ingénierie et l'exploitation de la plateforme Data en architecture de type microservices, basée sur Kubernetes et OpenShift. Vos tâches seront de : o Assurer la supervision et débogage du système via Openshift o S’assurer du bon fonctionnement des applicatifs (Spark, MinIo, Jhub, MySQL, Airflow) o Contrôler les volumes et consommations Hardware de la plateforme o Débugger les pods en cas d’erreur · Assurer l’écriture des graphes Helm pour les déploiements applicatifs o Ecriture de charts Helm pour le déploiement de nouveaux applicatifs o Tester les nouveaux graphes sur la plateforme de test o Déployer et patcher les applicatifs déjà existants avec Helm o Assurer la pérennité de la plateforme en gérant efficacement les images et graphes via GitLab · Assurer la gestion des utilisateurs et des règles de gestion du Datalake o Gestion des buckets et utilisateurs o Création de points de stockage et des règles de gestion associées o Création de scripts pour le stockage de Parquets · Assurer le fonctionnement du déploiement continu avec GitLab o Administration des images de production Gitlab et DockerHub Objectifs et livrables TDB des indicateurs

Data Engineering Technos: Hbase Hve Spark Maintien en conditions op ProD Docker Hadoop Kafka Kubernetes Python Unix/Linux Contexte de la mission Le prestataire étant orienté big data et ayant des compétences dans les domaines listés ci-dessous, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L'expertise technique sur le Datalake (plateforme Big Data) consistera à : o Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux o Contribuer à l'implémentation/automatisation des solutions o Effectuer les actions de mises en production o Contribuer à l'amélioration continue des outils d'exploitation o Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : o Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) o Statut bi-mensuel sur l'avancée des projets sur lesquels il sera contributeur Technos: Hbase Hve Spark Maintien en conditions op ProD Docker Hadoop Kafka Kubernetes Python Unix/Linux

ANALYSE : • Contribue à la définition des spécifications générales • Réalise l'analyse technique et l’étude détaillée • Adapte et paramètre les progiciels applicatifs (ERP) • Réalise le prototypage QUALIFICATION : • Élabore les jeux d’essais pour les tests unitaires d’intégration • Effectue les tests unitaires • Identifie et traite les dysfonctionnements DÉVELOPPEMENT : • Réalise les modules (objets et composants logiciels) • Assemble les composants • Rédige les documentations MAINTENANCE : • A en charge la maintenance corrective • A en charge la maintenance évolutive • Administre les composants logiciels réutilisables et met à jour la nomenclature de ces composants

Responsabilités : Concevoir, développer et maintenir des pipelines de données robustes et évolutifs pour l'ingestion, le traitement et la transformation des données. Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière de données et fournir des solutions techniques efficaces. Optimiser les performances et la qualité des données tout au long du cycle de vie du projet. Participer à la conception et à l'implémentation de l'architecture des données, en assurant la scalabilité, la sécurité et la fiabilité. Effectuer une veille technologique constante pour rester à jour avec les meilleures pratiques et les outils émergents dans le domaine du traitement des données.

Architecte big data HDP ou CDP on premise Au sein de l’équipe socle BigData, en lien avec le product owner socle et l’architecte déjà présent, le profil prend un rôle d’architecte / expert sur le socle BigData : • Porter des sujets d’architecture pour intégrer le Cloudera Data Platform • Contribuer à l’industrialisation de notre plateforme Big Data (déploiement des composants, supervision, sécurité, etc…), • Rédiger des modes opératoires et des documentations techniques pour faciliter la compréhension et la montée en compétence de l’équipe, • Qualifier et chalenger les architectures applicatives proposer par les équipes projets • Identifier les faiblesses des environnements et proposer des solutions pour optimiser et améliorer la robustesse de la plateforme , • Apporter de l’expertise sur les incidents et être force de proposition sur les nouveaux usages (APIsation, PRA/PCI, etc…), • Si le profil a une fibre chef de projet / scrum master, il pourra prendre en charge une partie de l’animation de l’équip. Ces activités nécessitent une connaissance technique de l’environnement Hadoop Big Data acquise sur plusieurs architectures Big Data déployées en production, le sens du service et une forte autonomie. Une bonne vision d’ensemble sera nécessaire : sécurité, exploitation, etc… ü Livrables de la prestation : • Etudes d’architecture • POC : Code source commenté / Tests • Industrialisation de composant du socle • Documentations diverses ü Compétences techniques requises : • Maitrise d’une solution HDP ou CDP on premise • Cloudera Manager, Kerberos, Ranger • Kafka • Spark, Zeppelin • HDFS, Hive, Hbase • Oozie • Yarn • Jenkins • Docker L’ensemble de ces activités nécessitent une très bonne connaissance des composants Hadoop. Une expérience de 3 à 5 ans sur un poste d’architecte Big Data nous semble nécessaire pour bien appréhender ses activités. Ces activités nécessitent une forte autonomie, un mindset d’architecture et d’administration de plateforme Big Data, de la curiosité et une appétence pour la mise en place de solutions techniques. Un profil ayant une appétence pour l'animation d'équipe serait idéal. Une expérience réalisée sur un cluster sécurisé et « kerberisé » serait un plus, tout comme une expérience de déploiement de cluster à la demande.

Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) : - La création des IHM pour les questionnaires - La mise en place d'une base de données, déversement dans le lake - La mise en place de plusieurs liens avec des appli groupe (pour récupérer des données ou en pousser). Les livrables attendus sont : -Développement BigData pour le compte de plusieurs applications - Respect des règles et des best practices. Les expertises attendues pour réaliser cette prestation sont listées ci-après : • Hadoop (Big Data) • Hive • Python • Spark

Environnement Technique :  Tous composants de la distribution HDP 2.6.5 (Hortonworks)  Tous composants de la distribution HDP 3.1.x (Hortonworks)  Technologie KAFKA  Compétences de développements en Shell, Java, Python  Moteur Elasticsearch incluant les fonctionnalités soumises à licence  Docker, Kubernetes, système distribué sur Kubernetes  Infrastructure as Code  DevOps : Ansible, Git, Nexus, Jenkins, JIRA, etc...  Os Linux, Kerberos, SSL, Ldap, RDBMS, SQL Mandatory :  Tous les composants des distributions Hadoop  Tous les composants de la suite Elasticsearch : Kibana, Logstash, suite beats  Administration de composants big data

Missions : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - interventionx sur incidents - la documentation Le prestataire sera la référence technique auprès des acteurs projets : - Ingénieurs d’exploitation - Développeurs - PO/PM - Prestataires externes - Maitrise de l’anglais technique (lu/écrit) - Veille technologique Expertises techniques requises pour la réalisation de la prestation - Expertise en hébergement cloud plubic (AWS, GCP, OVH) : de préférence GCP - Compétences solides dans les solutions d’automation et d’industrialisation (Puppet, Ansible, Terraform, etc.) - Fortes compétences en technologies Big Data : Spark, Python, Hadoop, SQL - Une expérience sur une plateforme Big Data est un plus - Un bonne culture Unix/Linux

Vos principales missions associées sont les suivantes : Activités Projets • Contribuer à des projets techniques, de l’expression de besoin jusqu’à la mise en production, et au développement de scénarios de supervision applicative • Participer à la construction des robots de supervision et la mise en œuvre des briques nécessaires à la supervision applicative • Mettre au point la documentation des processus de mise en œuvre, de mise à jour et d’exploitation des composants • Participer aux qualifications et aux mises en production des applications / déploiement des solutions et à leur industrialisation Activités Fonctionnement • Gérer des incidents et problèmes ; proposer et mettre en œuvre des plans d’actions dans le cadre de la gestion des problèmes, que ce soit au niveau des scénarios de supervision ou au niveau des briques techniques (robots, infrastructure de supervision, …) • Assurer une assistance technique via un apport d’expertise, analyser l’état de santé, élaborer des enquêtes techniques et effectuer les diagnostics de perturbations • Assurer le support du fonctionnement pour respecter les niveaux de service attendus de la Production concernant la disponibilité et les performances des applications. • Interception et analyse des signaux faibles • Apprécier les niveaux d’usage, de disponibilité et de performances des applications (TP et batch). Mettre en place les Tableau de bord de suivi. • Suivre et traiter les obsolescences Anticipation des évolutions applicatives et techniques • Maintenir et participer à des développements internes (industrialiser l'administration, automatiser les créations / décommissionnements, fiabiliser les interventions, …) • Prendre en compte les évolutions de choix technologiques ; intégrer ces évolutions dans les pratiques et les outils internes de déploiement, de supervision, de diagnostic ou de métrologie Environnement technique • Solution requise : Hadoop, HDFS, Spark, Kafka, Oozie, Hive, Sqoop, Airflow, Elasticsearch