Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Je suis à la recherche pour un de nos clients d'un Expert Hadoop. Stack technologique : Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper, ... Langages de scripting et de développement : Shell, Python, Spark Moteur de requetage : SQL, Hive, Impala, Système d'exploitation : Linux Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages tels que : • Pour les équipes « DSI Etudes » : - Dans le cadre de phases d’études amont être en capacité d’explorer, croiser et analyser des données provenant de différents contextes, afin de formaliser des points structurants relatifs à la gestion des informations. - Dans le cadre de phases de spécifications savoir adapter la solution aux enjeux de volumétrie d’un cas d’usage ; • Pour les équipes « DSI Supports Fonctionnels » : Participer au suivi de Production pour explorer, croiser analyser les données inter-applications dans le but de piloter les opérations d’exploitation et être en mesure d’adresser aux éditeurs des demandes d’intervention pertinentes. • Pour les équipes « DSI Centre National de Recette et d’Intégration » : Préparer les jeux de données en explorant et en identifiant les données des applications qui constitueront les jeux d’essais en lien avec les critères métiers. • Pour les équipes « DSI Système d’Information Décisionnel », envisager une bascule vers Hadoop d’une partie des données stockées dans Teradata, dans l’objectif de réduire l’impact Teradata.

-Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop -Vérification de la bonne application des normes et des standards -Force de de proposition, étude, analyse et mise en œuvre de solutions pour améliorer l’outillage utilisateurs, optimiser les performances et la résilience du Duster -Etude d’impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop, -Prise en compte de l’écosystème : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheurs/Grafana Expertise Hadoop de niveau 3 : -Configuration du Cluster Cloudera en fonction des besoins identifiés -Optimisation des traitements Support : -Accompagnement des équipes de développement -Assistance auprès des équipes : optimisation des traitements, Prise en main de l’outillage mis à disposition, chargement des données -Transmission de savoir-faire via la rédaction de documentations et transfert de connaissances Savoir être : -Coordination et pilotage des chantiers en collaboration avec les différents services DSI -Autonomie pour la prise en charge des sujets et travail en équipe -Capacité à s’adopter en fonction des différents interlocuteurs

Vous rejoignez le service en charge d’accompagner les équipes dans la définition d'architectures Techniques, de concevoir les modèles de données, d’administrer les bases et les moteurs de bases de données et construire les socles SGBD, décisionnel et Bigdata. Vous interviendrez sur l'architecture en environnement Hadoop / Big data de technologie Cloudera et vous mettrez en œuvre des compétences en développement autour des langages propres au domaine BigData, tels que Python, Saprk, Hive, impala Une première plate-forme Big Data s’appuyant sur la technologie Hadoop a été mise en place pour répondre à des cas d’usage non couverts par le Système Décisionnel initial et nécessitant plus d’agilité pour explorer, croiser les données et manipuler de gros volumes de données. Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages. Vos principales missions sont notamment : - Pilotage et mise en oeuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performances attendues par les cas d'usages fonctionnels. - Evolution des architectures techniques : Mise en place des principes directeurs sur l’utilisation du cluster Cloudera ; Vérification de la bonne application des normes et des standards ; Force de proposition, étude, analyse et mise en œuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster ; Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop ; Prise en compte de l'écosystème DSI client : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, ... ; - Expertise Hadoop de niveau 3 : Configuration du cluster Cloudera en fonction des besoins identifiés ; Optimisation des traitements ; - Support : Accompagnement des équipes de développement ; Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données ; - Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances.

Notre client est une grande entreprise opérant dans le secteur financier, avec une forte présence dans le domaine des services aux entreprises. Dans un contexte de transformation technologique, l'entreprise souhaite renforcer son équipe IT pour maintenir et faire évoluer ses applications critiques. Le projet en cours concerne l'optimisation et le maintien des applications d’une plateforme dédiée à la gestion des financements. Le projet s’intègre au sein d’un grand programme de modernisation de la plateforme de financements . Le système, basé sur des technologies Hadoop et Scala , gère un large éventail de services critiques. L'objectif principal de cette mission est d'assurer le bon fonctionnement des applications existantes et de contribuer aux évolutions techniques, notamment en participant aux déploiements et aux maintenances évolutives. Les applications sont gérées au sein de la DSI, plus précisément dans une filiale dédiée à la gestion des financements. Vous travaillerez avec une équipe dynamique dans un environnement Agile/SCRUM, en étroite collaboration avec des équipes métiers et techniques. Assurer le maintien en conditions opérationnelles (MCO) des applications sur la plateforme existante. Contribuer aux travaux de déploiement , d'intégration et de livraison des composants sur l'environnement PISA. Concevoir, modéliser et implémenter des solutions techniques pour les maintenances évolutives et correctives sur la plateforme. Développer et améliorer les traitements des calculateurs (basés sur des templates YAML et développements Scala ). Participer à la rédaction et mise à jour des spécifications techniques , en lien avec les travaux de maintenance corrective ou évolutive. Collaborer étroitement avec les équipes métier et les Business Analysts pour assurer la qualité des développements. Assurer le support technique durant les phases de recette. Suivi de la production et résolution des incidents sur la plateforme de financements. Participation active aux ateliers de conception avec les équipes métier et techniques. Développement de traitements sur les calculateurs, intégrant les règles métier via des configurations YAML et des développements en Scala . Assurer le déploiement des composants sur les environnements de recette et de qualification . Mise à jour du dictionnaire de données Nodata et collaboration avec les équipes pour garantir la cohérence des évolutions.

Contexte et objectifs de la prestation Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Le Bénéficiaire souhaite améliorer la qualité de la gestion de ses systèmes informatiques. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d’ Architecture technique. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants

Teksystems recherche un(e) Administrateur Hadoop (H/F) Contexte : migration de Teradata vers Hadoop. Vous aurez la charge de : - Designer et délivrer de nouvelles plateformes Big Data - Automatiser les tâches via des scripts Python (PySpark) - Réaliser le développement des playbooks avec Gitlab, Ansible et Jenkins - Assurer les scale up / down de cluster via l'ajout ou décommissionnement de noeuds - Mettre en place des environnements de développements et de tests - Réaliser l'installation et la sécurisation des clusters - Assurer les migrations, les performance tuning et le scaling - Résoudre les incidents de niveau N3 - Travailler en approche agile (scrum) et DEVOPS

Vous rejoignez le service en charge d’accompagner les équipes dans la définition d'architectures Techniques, de concevoir les modèles de données, d’administrer les bases et les moteurs de bases de données et construire les socles SGBD, décisionnel et Bigdata. Vous interviendrez sur l'architecture en environnement Hadoop / Big data de technologie Cloudera et vous mettrez en œuvre des compétences en développement autour des langages propres au domaine BigData, tels que Python, Saprk, Hive, impala Une première plate-forme Big Data s’appuyant sur la technologie Hadoop a été mise en place pour répondre à des cas d’usage non couverts par le Système Décisionnel initial et nécessitant plus d’agilité pour explorer, croiser les données et manipuler de gros volumes de données. Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages. Vos principales missions sont notamment : - Pilotage et mise en oeuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performances attendues par les cas d'usages fonctionnels. - Evolution des architectures techniques : Mise en place des principes directeurs sur l’utilisation du cluster Cloudera ; Vérification de la bonne application des normes et des standards ; Force de proposition, étude, analyse et mise en œuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster ; Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop ; Prise en compte de l'écosystème DSI client : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, ... ; - Expertise Hadoop de niveau 3 : Configuration du cluster Cloudera en fonction des besoins identifiés ; Optimisation des traitements ; - Support : Accompagnement des équipes de développement ; Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données ; - Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances.

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

Description du poste : Nous recherchons un Développeur Big Data / Hadoop expérimenté pour rejoindre l’équipe de notre client, leader dans le secteur bancaire. Vous jouerez un rôle clé dans la gestion, le traitement et l'analyse de grandes quantités de données en utilisant l’écosystème Hadoop et d’autres technologies Big Data. Responsabilités : Concevoir, développer et optimiser des solutions de traitement et d’analyse de données volumineuses en utilisant Hadoop et d’autres outils Big Data. Collaborer avec des Data Engineers et des Data Scientists pour comprendre les besoins en matière de données et créer des pipelines de données robustes et scalables. Assurer l'intégration et le traitement de données provenant de sources variées, en garantissant la qualité, la disponibilité et la sécurité des données. Effectuer des analyses de performance, optimiser les workflows Hadoop, et veiller à la maintenance des clusters Hadoop. Implémenter des modèles de données avancés et automatiser les processus de collecte, de nettoyage et de transformation de données. Documenter les processus, suivre les meilleures pratiques en matière de Big Data et contribuer aux efforts d'optimisation continue. Profil recherché : 5 à 7 ans d'expérience dans le développement Big Data, avec une expertise avérée sur l'écosystème Hadoop (HDFS, MapReduce, Hive, Pig, HBase). Maîtrise des outils de traitement distribué (Spark, Flink) et des technologies de gestion de données (Kafka, Cassandra). Solide expérience en programmation avec des langages tels que Java, Scala, Python. Connaissance des bases de données SQL et NoSQL (MySQL, PostgreSQL, MongoDB). Excellente capacité à résoudre des problèmes complexes et à optimiser les performances des pipelines de données. Expérience dans des environnements de développement Agile. Qualifications : Diplôme en informatique, en ingénierie, ou dans un domaine connexe. Expérience dans la gestion et l'optimisation des clusters Hadoop. Connaissance des systèmes de versioning (Git) et des outils de CI/CD. Connaissance des outils de visualisation de données (Tableau, Power BI) est un plus. Pourquoi rejoindre ce projet ? Vous intégrerez une équipe d'experts passionnés par le Big Data, où vous pourrez travailler sur des projets d’envergure, en utilisant les dernières technologies de l'écosystème Big Data. Ce rôle offre des opportunités de développement professionnel dans un environnement stimulant et innovant.

Au sein du groupe, l’administrateur Hadoop sera responsable de l’intégration et du support technique du Big Data, en dehors des divisions ITIM et SU. Le rôle est centré sur l’exploitation technique des infrastructures Hadoop et le support aux équipes en place. Administration et Exploitation Hadoop : Support de Niveau 1 et occasionnellement Niveau 2 des infrastructures Hadoop. Surveillance, maintenance, et optimisation des clusters Hadoop. Gestion des incidents en collaboration avec d'autres équipes. Développement de Scripts d'Automatisation : Développement et maintenance de scripts d’automatisation en Python et Shell pour réduire les interventions manuelles. Automatisation des tâches récurrentes et des workflows. Support Technique : Assurer le support technique des infrastructures Big Data pour les équipes internes. Intervenir en cas de problème technique lié à l’infrastructure Hadoop. Collaboration avec l’équipe en charge de la gestion des incidents.

Smarteo recherche pour l'un de ses clients, Un Data Ingénieur(Spark,spark streaming,batch, Kafka,Java,Stack Hadoop Cloudera)sur Nantes Descriptif: Notre client nous soumet une de mande de prestation de DATA ENGINEERING Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en ?ouvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV), Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Contexte : Vous intégrerez le service DBAs & Socles de la direction technique pour une mission de pilotage et de mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop afin de répondre aux exigences de performances attendues par les cas d'usages fonctionnels. Description : Évolution des architectures techniques : - Mise en place des principes directeurs sur l’utilisation du cluster Cloudera; - Vérification de la bonne application des normes et des standards; - Force de proposition, étude, analyse et mise en œuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster; - Étude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop; - Prise en compte de l’écosystème DSI : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, ... ; Expertise Hadoop de niveau 3 : - Configuration du cluster Cloudera en fonction des besoins identifiés; - Optimisation des traitements ; Support : - Accompagnement des équipes de développement; - Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données; - Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances;

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

Profil : Data Engineer Senior ou Tech Lead A l'aise avec le CICD, aguerri aux technologies Java et en solutions conteneurisées (ELK, Kafka, etc ..) Administration des bases de données (Famille) Conception événementielle (Kafka, rabbitMQ, CREM …) Hadoop Java / Spark Nifi Hive Kotlin Principes d'intégration continue SQL Site : Nantes en priorité, possible sur Aix sinon à étendre à d'autres localisations Nature du besoin : remplacement d'un profil senior actuellement en mission Type de projet : (TT possible 2 j / semaine) Service public de l'emploi

L'équipe que vous rejoindrez gère un datalake on promise utilisant les technologies Cloudera de 3900 TB, et contribue aux opérations d’un datalake sur Azure (ADLS) et prochainement sur AWS. La prestation vise à répondre au besoin suivant : expertise Bidgata (cloudera hadoop / Kafka / Nifi /Elastic) Cela comprend : Une expertise avancée en administration Hadoop (Cloudera Data Platform) Une expertise en Infrastructures Nifi, Kafka Une expertise en Infrastructures Elastic Scheduling : Airflow Monitoring : Zabbix Automatisation : Python, Ansible & Teraform Socle OS : Redhat Linux Vous contribuerez aux activités liées à la gestion du Datalake Hadoop Cloudera data platform en participant aux activités suivantes : Le maintien en conditions opérationnelle du Datalake Automatisation et amélioration continue en mode Agile de la gestion du Datalake Le support aux applications consommatrice du Datalake La sécurisation, les mises à jour, la gestion des vulnérabilités La gestion des changements en lien avec les utilisateurs du Datalake Le support à la gestion d’incidents La gestion prévisionnelle de capacité Test, qualification et mise en place des nouveaux composants La documentation et aux procédures d’exploitation Vous tiendrez rôle de référent. A ce titre vous serez : Le point de contact unique de l’ATM auprès des responsables du département Coordination et pilotage des ressources de l’ATM Organisation des points de suivi opérationnels des prestations Livrables opérationnels : Post-mortem sur les incidents bloquants et majeurs Revues des performances Mise en place des nouvelles instances dans le cadre des projets de nos bénéficiaires sur le Cloud interne ou public Rédaction de livrables liés au périmètre (dossier d'architecture, procédure d’installation, chronogramme d'intervention, préconisations d’amélioration des performances, etc.) Rédaction de livrables autour de la sécurité (procédure d'application de patchs sécurité, tableau de suivi des indicateurs, etc.) Développement de rôles ansible et de scripts python pour automatiser l'activité Mise à jour des référentiels techniques et de la documentation d'exploitation du périmètre Reporting hebdomadaire sur les changements passés et prévus (CRB, PIR) Compte-rendu détaillé en cas d'incident (post-mortem), de problème ou de changement sur les bases de données du périmètre Environnement technique : Hadoop (Cloudera Data Platform), Nifi, Kafka Infrastructures Elastic Trino / Starburst Airflow Zabbix Python, Ansible & Teraform Redhat Linux Contexte anglophone Compétences souhaitées : Expertise avérée sur les technologies : Hadoop (Cloudera Data Platform), Nifi, Kafka Infrastructures Elastic Trino / Starburst Airflow Zabbix Python, Ansible & Teraform Redhat Linux

Notre client, concepteur et réalisateur de solutions clés en main, cherche à renforcer ses équipes avec un Data Architect pour intervenir dans la mise en place d’une plateforme Data / de valorisation de la donnée. Cette plateforme s’intègre dans le cadre d’un SI de 25 personnes, organisé en plusieurs équipes Scrum. Les missions principales seront : Gérer la définition, la consolidation et le développement d’une plateforme de valorisation de la donnée En charge de la définition, du dimensionnement, de la sécurité et du maintien de l’architecture de la plateforme Gouvernance de la donnée Définition de l’architecture et de la sécurité de la plateforme Benchmark d’outils et Intégration au sein de la plateforme Consolidation du système d’authentification Maintien des documentations techniques Maintien en condition de sécurité des outils de la plateforme Stratégie de backup Travail en collaboration avec l’équipe d'exploitation (externe) et l’équipe projet (interne) Le contexte technique : - Stockage : Hadoop, Hive, Hbase, Postgresql, Ceph - Calcul distribué : Spark - Prototypage : Jupyter, Dataiku, Hue, Airflow - Les outils d’alimentation : Kafka, Nifi - Affichage : Grafana, Tableau - Administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap - Les outils de proxyfication : Knox, HAProxy - Les outils de supervision: Elasticsearch, Logstash, Kibana, Prometheus