Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System) à Paris

Missions et responsabilités principales1. Déploiement et industrialisation des clusters Big Data Déploiement automatisé de clusters via des pipelines CI/CD Utilisation d’outils d’automatisation pour l’installation et la configuration des composants Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance) Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code) Déploiement et configuration d’outils de gestion de plateforme Installation et configuration d’interfaces utilisateurs pour les environnements analytiques 2. Stack Big Data administrée Administration et intégration des composants suivants : Service d’annuaire : gestion des identités Service d’authentification : sécurisation des accès Système de fichiers distribué : gestion du stockage Framework de traitement distribué : gestion des ressources et exécution Outil de gestion des accès : politiques de sécurité Moteur de calcul distribué Moteur SQL pour l’accès aux données Base de données relationnelle associée aux services Service de coordination distribué Responsabilités associées : Installation, configuration et paramétrage avancé Gestion des dépendances inter-services Maintien de la cohérence des versions Optimisation des performances et de la stabilité 3. Provisionnement et préparation des environnements Provisionnement des machines virtuelles Préparation des prérequis systèmes (OS, stockage, réseau) Automatisation des installations via scripts et outils d’orchestration Gestion des environnements (développement, test, production) 4. Observabilité et supervision Mise en place et maintien de la supervision : Collecte des métriques Gestion et routage des alertes Centralisation et exploitation des logs Visualisation via tableaux de bord Définition et amélioration des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des plateformes Big Data Support technique aux équipes projets et utilisateurs Gestion des incidents et demandes d’évolution Montées de version et correctifs Suivi de la capacité (CPU, RAM, stockage) Documentation technique et mise à jour des procédures Rituels et interactions Participation aux rituels d’équipe Coordination avec : Équipes infrastructure et exploitation Équipes projets data / métiers Référents sécurité Accompagnement des équipes dans l’usage de la plateforme Environnement technique global CI/CD & DevOps : outils d’intégration et de déploiement continus, gestion de code, qualité Automatisation : outils d’orchestration et scripting Infrastructure : virtualisation, conteneurisation Big Data : écosystème de traitement distribué Observabilité : outils de monitoring, logs et visualisation Points de vigilance Forte interdépendance des composants de la plateforme Sensibilité aux problématiques de capacité et de performance Importance de l’anticipation via la supervision Respect strict des standards de sécurité et des procédures internes Coordination transverse nécessaire pour les déploiements et évolutions majeures Charge estimative Déploiement d’un cluster complet : variable selon dimensionnement et spécificités projet MCO : charge récurrente hebdomadaire Incidents critiques : charge ponctuelle selon criticité

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Big data/Teradata Vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ Teradata CONTROL-M Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) SQL sur SGBD relationel (Teradata) TPT Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea Spark HDFS Python Hadoop

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. C’est votre future équipe Les équipes de ConsortIA , sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d’information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Data Engineer Teradata et Big Data H/F C’est votre mission Vous êtes passionné·e par [XXX] ? Ce poste est fait pour vous. En tant que Data Engineer Teradata et Big Data , vous êtes responsable du [XXX] et [XXX] de notre écosystème : Côté build : Concevoir et développer des solutions DataMart / Datalab sur environnement Teradata Mettre en œuvre les chaînes ETL via BTEQ / TPT Développer des traitements de collecte, transformation et stockage de données sur plateforme Big Data Construire des agrégats et indicateurs (scores, datamarts) à destination des équipes Data Science Développer des pipelines de données sous environnements Spark / Hadoop / HDFS Participer à la modélisation et au design des solutions de données (bonnes pratiques Data Engineering) Industrialiser les traitements dans un contexte Unix / SQL / Teradata Utiliser les outils collaboratifs (Git, Jira, Confluence, MEGA) dans un cadre Agile Côté run : Assurer le support et la maintenance des chaînes de production Data Surveiller et optimiser les traitements batch (ordonnancement via Control-M ) Gérer les incidents de production sur les flux Teradata / Big Data Analyser et corriger les anomalies sur les traitements SQL / ETL Garantir la disponibilité et la performance des jobs data Participer à l’amélioration continue des pipelines (fiabilisation, optimisation) Assurer le support aux équipes Data Science sur les environnements de données Maintenir la documentation technique (Confluence, MEGA) Suivre les bonnes pratiques d’exploitation dans un contexte DevOps C’est votre parcours Vous avez au moins 5 ans d’expérience dans des environnements DevOps exigeants. Vous aimez concevoir et industrialiser des pipelines de données robustes sans jamais cesser d’innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C’est votre expertise : Environnement Linux / Unix dans un contexte Agile et DevOps Maîtrise des technologies Data : Teradata, SQL, BTEQ, TPT Écosystème Big Data : Spark, Hadoop, HDFS, Python Outils d’exploitation et d’ordonnancement : Control-M Outils collaboratifs : Git, Jira, Confluence, MEGA Connaissance de solutions ETL / Data : Datastage Bonne compréhension des architectures de données et pipelines industrialisés C’est votre manière de faire équipe : Rigueur et sens de la qualité dans les traitements de données Esprit d’analyse et capacité de résolution de problèmes complexes Collaboration forte avec équipes Data, IT et métier Autonomie et sens des responsabilités en environnement de production Communication claire et esprit d’équipe Adaptabilité dans des environnements techniques évolutifs (DevOps / Big Data) Culture de l’amélioration continue et du delivery fiable C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Paris Contrat : CDI Télétravail : Hybride Salaire : De 55K € à 62K € (selon expérience) brut annuel Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil