Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop
Astuce
Utilisez des virgules pour rechercher plusieurs termes en même temps.
Exemple : sql, php correspond à sql OU php
Offre d'emploi
Architecte / Administrateur Big Data Hadoop (H/F)
Nous cherchons à renforcer notre équipe avec un Architecte / Administrateur Big Data Hadoop (H/F). Vous intégrez une équipe et serez en charge de l'infrastructure de stockage de données, de l'automatisation et du maintien en conditions opérationnelles pour la mise en place d'un nouveau programme. L'objectif de ce programme est la mise en oeuvre d'une nouvelle offre de service BIGDATA pour l'ensemble du Groupe. Cette nouvelle offre de service doit : - Être Industrielle avec différents environnements distincts ( DEV, INT, Homol, PROD, DR) - Être Sécurisée, afin d'accueillir des données de tout type C1, C2, C3 - Être Résiliente, avec de la haute dispo sur l'ensemble des composants - Être Secourue avec un DR distant - Permettre le partage des données, de manière sécurisée, entre n'importe quelle équipe du groupe SG afin - Que chacun puisse travailler sur les données les plus fraîches - Qu'il n'y ait pas de multiples copies des même données au sein du datalake Dans le but de réduire le Time To Market à quelques minutes, nous avons construit deux équipes : une pour le développement d'API ; une autre pour le déploiement et le maintien en condition opérationnelles pour l'offre Big Data. Allez on en dis plus... Vos principales missions seront : - Maintien de la production en conditions opérationnelles - Mise en oeuvre de l'infrastructure de secours - Participer à l'automatisation de l'infrastructure Bigdata (HADOOP) s'appuyant sur TERRAFORM et ANSIBLE - Extension automatisée des clusters Bigdata avec l'ajout de datanodes - Ajout automatisé de nouvelles fonctionnalités (Hbase, Encryption) Informations complémentaires : possibilité de télétravail plusieurs jours par semaine. Ingénieur de formation, nous recherchons un Expert Hadoop (Cloudera CDP) maîtrisant Ansible pour participer à la construction de notre nouvelle plateforme Big data. Vous avez une expérience d'au moins 10ans sur un poste similaire. Vous êtes expert Hadoop maitrisant Ansible et avec des compétences techniques reconnues sur la technologie UNIX: Linux, Shell, Python, Open source, SSL, Redhat, Agile Scrum, Terraform. Vous avez également de solides compétences sur HDFS, Oozie, Zookeeper, Ranger, Knox, Kerberos, LDAP, Hbase, Kafka, Cloudera Manager, Spark, Hive, Nifi D'une excellente qualité d'écoute, disponible, réactif et rigoureux. Notre processus de recrutement : En 4 étapes ! Tout simplement. Dans un premier temps, vous échangerez avec l'un d'entre nous ; Puis, nous aurons le plaisir de vous rencontrer lors d'un entretien ; Pour finir, vous discuterez métier avec l'un de nos managers opérationnels ; Bienvenue chez nous ! Ce poste vous intéresse ? Vous êtes motivé(e) et vous avez hâte de commencer ? Place à l'action : Postulez ou partagez avec votre réseau ! Python rigoureux à l'écoute Kafka Ansible Hadoop Spark Hive Terraform Hbase Nifi
Offre d'emploi
DataOps Hadoop
Architecture et Conception : Concevoir, mettre en œuvre et maintenir l'architecture Hadoop en fonction des besoins de l'entreprise. Élaborer des plans d'expansion et d'évolution pour les clusters Hadoop. Collaborer avec les équipes de développement et d'infrastructure pour concevoir des solutions adaptées aux besoins spécifiques du projet. Installation et Configuration : Installer, configurer et déployer les clusters Hadoop en utilisant les meilleures pratiques. Gérer les configurations, les mises à jour et les correctifs des composants Hadoop. Surveillance et Optimisation : Surveiller les performances du cluster Hadoop et identifier les goulots d'étranglement. Optimiser les performances en ajustant la configuration, en mettant à l'échelle le matériel ou en optimisant les requêtes. Mettre en place des outils de surveillance et des alertes pour détecter les problèmes potentiels. Sécurité : Mettre en œuvre et maintenir des stratégies de sécurité robustes pour le cluster Hadoop. Gérer l'accès aux données sensibles et aux ressources du cluster en utilisant des technologies telles que Kerberos, LDAP, etc. Effectuer des audits de sécurité réguliers et remédier aux vulnérabilités identifiées. Gestion des Données : Concevoir et mettre en œuvre des pipelines de données pour l'ingestion, le traitement et la distribution des données. Assurer la qualité des données en mettant en place des processus de nettoyage, de normalisation et de validation des données. Intégrer et gérer différents types de données, y compris les données structurées, semi-structurées et non structurées. Automatisation et Orchestration : Automatiser les tâches courantes telles que la sauvegarde, la récupération, la gestion des ressources, etc. Mettre en place des workflows d'orchestration pour coordonner les tâches complexes entre les différents composants du cluster Hadoop. Développement et Support : Fournir un support technique aux équipes de développement et d'analyse des données. Développer des outils et des scripts personnalisés pour faciliter l'administration et la gestion du cluster Hadoop. Collaborer avec les équipes de développement pour optimiser les applications et les requêtes pour le cluster Hadoop. Formation et Documentation : Former les membres de l'équipe sur l'utilisation et la gestion du cluster Hadoop. Documenter les processus, les configurations et les bonnes pratiques pour faciliter la collaboration et le transfert de connaissances. Veille Technologique : Suivre les tendances et les avancées technologiques dans le domaine du Big Data et de l'analyse de données. Évaluer de nouvelles technologies et proposer des solutions innovantes pour améliorer l'efficacité et les performances du cluster Hadoop.
Mission freelance
Administrateur expertise hadoop - Sophia Antipolis
Administrateur expertise hadoop Nous recherchons un profil administrateur / expert HADOOP (Cloudera Data Platform ou Hortonworks) pour travailler principalement sur la migration HDP vers CDP Sous le pilotage du PO et de l’architecte Big Data, il s’agit de réaliser des actions relatives à la migration du socle Big Data de la suite HDP vers CDP. • Administration de la suite CDP o Installation de composant technique CDP o Configuration de composant de la suite CDP • Développement / configuration sur les composants spécifiques UCN (Shell, ansible, devops) • Rédiger des modes opératoires et des documentations techniques pour faciliter la compréhension et la montée en compétence de l’équipe Ces activités nécessitent une appétence technique de l’environnement Hadoop Big Data et de la conteneurisation, le sens du service et une bonne autonomie. Les composants logiciels à connaître ou à maitriser sont : • Hadoop • Kerberos • Ranger • Hive • Ansible • Oozie • Yarn • Spark • Gitlab • Bonne connaissance de l’administration de CDP et/ou HDP • Docker L’expérience souhaitée est d’au moins 3 ans sur un poste similaire.
Offre d'emploi
Architecte Cybersécurité
Nous recherchons un Architecte Cyber Sécurité afin d'intégrer nos équipes, pour effectuer les tâches suivantes : - Accompagnement sécurité des projets métiers et techniques de la phase d’instruction à la mise en production - Pilotage de sujets sécurité techniques et fonctionnels divers avec des correspondants techniques ou métiers suivant le projet: • Pilotage du volet sécurité de projet de déploiement d’infrastructure ou d’application dans le Cloud • Analyse des risques de sécurité liés à l’introduction de nouvelles technologies ou de nouveaux systèmes d’information • Animation de programme de Cyber Sécurité : veille, réalisation études, gestion et maitrise des risques • Définition de la cible à atteindre, réunions de travail avec les équipes techniques, pilotage des actions • Pilotage de projet technique de transformation de SI, ex : mise en place d’un DLP • Contribution aux projets études et de réalisation technique, dossiers d'architecture, etc. (tout document projet) • Accompagnement au projet, toute contribution sécurité dans les livrables de la méthode projet : o Réalisation d’étude technique o Questionnaire sécurité pour un appel d'offres o Analyse de risque sur le volet technique et organisationnel o Paragraphe sécurité dans le dossier d'architecture o Cahier des charges pour la réalisation de tests d'intrusion o Restitution des vulnérabilités pour les audits de code • Pour le pilotage de sujets techniques sécurité, tout document utile à la mise en place / amélioration de l'outil / processus Environnement technique de la prestation : M365, Spark, Hive, Hadoop
Offre d'emploi
Data Engineering - TALEND / SPARK / SCALA / MSBI
💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.
Mission freelance
Data Architect
Notre client crée un nouveau poste d'Architecte DATA pour piloter la construction de son infrastructure de données et mettre en place une stratégie data ambitieuse. En tant qu'Architecte DATA, vous serez un pionnier de la transformation digitale du Groupe, en concevant et en mettant en œuvre une architecture de données moderne, robuste et évolutive. Vous intervenez auprès des différentes entités pour identifier les besoins métier, proposer des solutions agiles et les mettre en œuvre. Vous partirez d'une page blanche et aurez la responsabilité de construire l'ensemble de l'infrastructure data du Groupe, depuis la définition des besoins métiers jusqu'au choix des technologies et à la mise en place des processus de gouvernance. Construire la stratégie Data du Groupe: Analyser les besoins métiers en matière de données Identifier les quick wins Définir une vision globale de l'architecture de données Déterminer les outils et technologies nécessaires Concevoir et implémenter l'infrastructure de données : Définir les modèles de données pertinents Choisir et mettre en place les solutions de stockage et de traitement de données Assurer l'intégration des données provenant de différentes sources Gérer et maintenir l'architecture de données : Superviser les performances et la sécurité de l'infrastructure Mettre en place des processus de gouvernance des données Documenter l'architecture et les processus Collaborer avec les équipes métiers et IT : Communiquer efficacement les enjeux et les solutions data Comprendre les besoins métiers et les traduire en exigences techniques Soutenir les équipes dans l'utilisation des outils et des données
Mission freelance
Dataiku
Nous recherchons pour un de nos clients un Data engineer avec deux ans d’éxpériences à minima sur daitaiku , Ce collaborateur doit maitriser les technos comme Python stack technique du besoin : Python hadoop spark 2 ans a fond de dataiku Localisation : IDF, metro , Télétravail : 2 jours de télétravail Démarrage : asap Tjm : dépend de l’expérience, entre 500 et 600max Quelqu’un qui connait depuis 5 ans la solution NB : Ce besoin n'est pas encore exprimé chez notre client, c'est assez urgent nous pouvons faire passer les entretiens asap ainsi que le démarrage
Offre d'emploi
Ingénieur Big Data - DevOps (H/F)
Orienté Big Data et ayant des compétences dans les domaines listés ci-joint : Kafka, Spark, Hbase, Hive, Hadoop, Jenkins, Ansible, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le consultant devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur
Offre d'emploi
Tech Lead Big data H/F
Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Conception et développement Dans ce cadre la prestation consiste à contribuer à/au(x) : - Développement Spark/Scala et HIVE - Traitement d'un gros volume de données - Environnement Hadoop - Environnement Anglophone - Environnement Agile Les livrables attendus sont : - Revue de code et re-factoring - Normes de développements Les expertises attendues pour réaliser cette prestation sont listées ci-après : • Hive
Mission freelance
Data Ingénieur Big Data
Contexte de la mission : Dans une équipe de 6 personnes en multi sites, le consultant participera aux développements informatiques sur les technologies Hadoop, HDFS, Hive, Spark Sql et PySpark, Sqoop MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes
Offre d'emploi
Expert Big Data & GCP
Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data
Mission freelance
Référent technique MLOps
Au sein d'un client du domaine bancaire, vous intervenez au sein de la DSI en qualité de Référent technique MLOps. Dans ce cadre, votre quotidien s'articule autour des missions suivantes : mettre en place l'outillage Datascience et MLOPS et identifier les patterns pour un usage global évaluer et adpoter de nouvelles technologies et méthodologie pour améliorer les processus MLOps et l'efficacité de l'équipe Diriger l'élaboration et la mise en oeuvre de pipelineSuperviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes interne Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).s / solutions MLOps pour l'entrainement, le déploiement et la surveillance des modèles ML
Offre d'emploi
Tech Lead MLOPS (H/F)
• Mettre en place l’outillage Datascience et MLOPS et identifier les patterns et normes pour un usage par 40 caisses régionales • Évaluer et adopter de nouvelles technologies et méthodologies pour améliorer les processus MLOps et l'efficacité de l'équipe • Diriger l'élaboration et la mise en œuvre des pipelines / solutions MLOps pour l'entraînement, le déploiement et la surveillance des modèles ML • Superviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes internes • Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) • Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives • Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution • Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin • Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints • Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise • Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).
Mission freelance
Ingénieur full stack Python / Vue Js / Node Js
Ingénieur full stack Python / Vue Js / Node Js Niveau requis plus de 8 ans d'expériences Maîtrise des langages d’analyse et de traitement de données (Python Flask – Pandas – Plotly…etc) en POO (Programmation Orientée Objet) Maîtrise des langages de développement front-end (SPA vue.js, node.js) Pratiques de développement et déploiement continue (Gitlab, Docker, SonarQube, CheckMarx, …) Maitrise des architectures BigData (Hadoop, HBase, HDFS) Animation d’ateliers de conception et de communauté Autres Compétences souhaitées Sens du service (volonté forte de faire avancer les chantiers, capacité à analyser les demandes, à aller au bout des besoins) Etre autonome et savoir rendre compte Qualité relationnelle et capacité à travailler en équipe Sens de l’initiative et force de proposition Rigueur et qualité rédactionnelle (documents de capitalisation, documents de synthèse des interventions, formalisation et planification des tâches) Capacité à coacher et faire progresser les autres Adaptabilité aux contextes grands comptes
Mission freelance
Ingénieur Big Data
Nous recherchons un Ingénieur Big Data Compétences techniques: Hadoop Hive - Confirmé - Impératif Kubernetes - Junior - Important Description détaillée: Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL
Offre d'emploi
Chef de projet Infra/Obsolescence - H/F
Mission : Piloter le programme Obsolescence en assurant l’exécution du plan de levée d’obsolescence du socle et piloter le dispositif global associé. · Consolide le plan pluriannuel de levée d’obsolescence à partir des roadmap Produits, en lien avec les PO et les Responsables d’Activités ; · Pour chaque année, définit le plan de traitement : inventaires consolidés, périmètres d’actions et objectifs de traitement, budget et ressources ; · Engage les projets associées du Plan Projets et organise les travaux ; · Coordonne la communauté des Squad leads du socle et leurs PO et tout autre ressources engagés dans le programme ; · Définit et publie les KPI de suivi ; et réalise les Contrôles Permanents associés · Gère les budgets ; · Gère les risques et met en œuvre les mesures d’atténuation ; · Suit les demandes de dérogations et alerte sur les risques associés (financier, sécurité, opérationnel) ; · Organise et anime les Comités associés : mensuels NDC, stratégiques · Contribue à l’animation et à la performance du Processus de Gestion des Obsolescences
Déposez votre CV
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Offres par villes