Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

ACCROCHE SI TU SAIS TRANSFORMER LES DONNÉES EN OR STRATÉGIQUE, CETTE ANNONCE EST FAITE POUR TOI CE QUE TU RECHERCHES : Piloter des projets data et big data à forte valeur ajoutée Accompagner la transformation digitale des métiers grâce à la donnée Relever des défis technologiques et organisationnels à grande échelle Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi Au sein d’un acteur majeur du secteur de l'assurance, tu dirigeras des projets stratégiques autour de la donnée, de la collecte à l’exploitation, pour permettre aux métiers de prendre des décisions éclairées et de maximiser la valeur business des informations disponibles : Définition de la stratégie data et cadrage des besoins métiers, tu réaliseras Conception et pilotage des architectures data et big data, tu piloteras Supervision de l’intégration, de la qualité et de la gouvernance des données, tu assureras Gestion des plannings, des budgets et des ressources projets, tu coordonneras Suivi des performances, reporting et communication aux parties prenantes, tu garantiras Veille technologique et intégration des meilleures pratiques data, tu impulseras Animation des équipes pluridisciplinaires (data engineers, data scientists, métiers), tu animeras QUI TU ES : Diplômé(e) de la formation qui va bien Expérience de 10 ans minimum en gestion de projets data ou BI Maîtrise des environnements big data : pilotage de projets complexes DATA en méthodologie AGILE Bonne connaissance des environnements : ETL, Outils de reporting, Plateforme Data Cloud / One premise À l’aise avec les enjeux de gouvernance, de qualité et de sécurité des données AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Visionnaire : tu sais transformer la donnée en valeur stratégique Pragmatique : tu proposes des solutions concrètes alignées sur les besoins métiers Autonome : tu mènes des projets data complexes de bout en bout Communicant(e) : tu fédères les équipes techniques et métiers autour de la data Méthodique : tu structures les projets et assures un suivi rigoureux Esprit analytique : tu identifies rapidement les points critiques et leviers de performance Pédagogue : tu transmets la culture data à l’ensemble de l’organisation Orienté(e) résultat : tu assures des livrables fiables, exploitables et performants

Dans le cadre du renforcement d'une équipe Data au sein d'une Direction Technique Informatique, nous recherchons un Ingénieur Expert Big Data Hadoop Cloudera (CDP) chargé d'assurer le maintien en conditions opérationnelles de plateformes Hadoop Cloudera en environnement Hors-Prod et Production. La mission couvre l'administration et l'exploitation des socles (supervision, gestion des incidents, optimisation des performances, capacity planning), la maintenance proactive (correctifs, mises à jour), ainsi que la rédaction de procédures et de dossiers d'architecture. Le profil interviendra également en support expertise auprès des équipes études et exploitation, et participera aux projets d'évolution des architectures techniques (logicielles, matérielles, sécurité). L'environnement technique s'articule autour de la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg) , avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème élargi incluant Kafka, PostgreSQL, Kubernetes, Ansible et des outils de supervision Prometheus/Grafana. Ce poste requiert une forte autonomie, un bon esprit d'équipe et la capacité à intervenir ponctuellement en dehors des heures ouvrées.

Contexte Nous recherchons un expert technique Hadoop expérimenté pour intervenir sur l’administration, l’architecture et l’évolution du socle Hadoop. Missions principales Administration et exploitation des plateformes Hadoop. Conception et évolution de l’architecture Hadoop. Support technique et expertise sur les composants du socle. Développement et automatisation via scripting. Gestion des incidents, demandes et changements. Production de documentation technique (architecture, exploitation, administration, procédures). Reporting d’activité et transfert de compétences aux équipes.

Dans le cadre de l'évolution et de la modernisation d'un écosystème Data au sein d'une Direction Technique Informatique d'un grand acteur de la protection sociale, nous recherchons un Architecte Expert Big Data Hadoop Cloudera (CDP) pour concevoir, faire évoluer et maintenir des plateformes Big Data en environnement Hors-Prod et Production. La mission s'articule autour de trois axes majeurs : la participation aux projets d'évolution du socle Hadoop existant (évolutions logicielles et matérielles, sécurité, définition d'architecture, rédaction de dossiers), le maintien en conditions opérationnelles de la plateforme (administration, supervision, gestion des incidents, support aux équipes études et exploitation), et la contribution à un projet stratégique de nouvelle Plateforme DATA (étude d'impact, préconisation des choix techniques, définition des standards et normes, mise en œuvre et transfert de connaissances aux équipes exploitation). L'environnement technique s'appuie sur la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg) , avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème complémentaire incluant Kafka, PostgreSQL, Kubernetes et Ansible. Ce poste requiert une forte autonomie, une capacité à travailler en équipe pluridisciplinaire et une disponibilité pour des interventions ponctuelles en dehors des heures ouvrées.

CONTEXTE DE LA MISSION L'équipe « Socles Data » de la Direction Technique Informatique d'un organisme paritaire de retraite complémentaire gère les socles techniques DATA du système d'information. Ces socles couvrent les besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d'exploration de données et de Data science. La mission consiste à assurer le maintien en conditions opérationnelles (MCO) des socles Hadoop Cloudera (environnements Hors-Prod et Prod) et à contribuer aux projets d'évolution technique de ces socles. La mission s'inscrit dans un contexte d'infrastructure DATA industrialisée, avec une exigence forte d'autonomie et de rigueur documentaire. Des astreintes ou interventions ponctuelles en dehors des heures normales ouvrées (HNO) pourront être demandées. RÔLE ET RESPONSABILITÉS PRINCIPALES Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances Capacity planning : suivi de la consommation, mise en place d'outils et de procédures de gestion des capacités Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques Rédaction de procédures d'administration et d'exploitation Intégration avec l'outillage de l'écosystème DSI pour l'exploitation du SI Support et expertise aux équipes Études et Exploitation Participation aux projets d'évolution des architectures techniques (logicielles, matérielles, sécurité) : pilotage possible, définition d'architecture, rédaction de dossiers, mise en œuvre LIVRABLES ATTENDUS Reporting hebdomadaire d'activité Tableau de bord mensuel de suivi d'activités Documentations techniques : normes, principes, dossiers d'architecture, d'administration, d'exploitation, modes opératoires Transferts de connaissances : organisation de sessions et rédaction de supports Gestion des demandes : tickets incidents, demandes et changements dûment complétés Contribution à la continuité de service au sein de l'équipe

La mission s’inscrit dans un domaine Risques , au sein d’une squad dédiée à la notation des entreprises . L’équipe est composée d’un Product Owner, d’un Scrum Master, ainsi que de profils BA et IT. Le consultant intervient dans un contexte de développement et maintenance de solutions Data et d’APIs. Périmètre technique Teradata Bases Hive HDFS Phoenix APIs Spring Boot Environnement Cloudera (forte expertise requise) Missions principales Développer et intégrer les évolutions sur le périmètre des solutions de la squad Participer à la mise en production avec les équipes expertes et assurer le support (SAV) Maintenir et enrichir la documentation fonctionnelle et technique Contribuer au support et à l’accompagnement des utilisateurs Participer aux ateliers d’affinage technique en phase de conception Contribuer à l’alimentation et l’évolution du backlog Réaliser l’analyse du patrimoine existant Effectuer une veille technologique régulière

Ingénieur Data Spark / Scala — Nanterre Localisation : Nanterre Démarrage : ASAP / dès que possible Niveau : Confirmé Durée : mission longue durée Dans le cadre d’un projet de Business Intelligence & Big Data pour un acteur majeur du secteur de l’assurance, nous recherchons un(e) Ingénieur Data Spark / Scala afin de contribuer à la conception, au développement et à l’industrialisation de traitements Data sur une architecture Big Data. Vos missions Participer à la conception détaillée des traitements Data . Rédiger les spécifications fonctionnelles générales et détaillées. Développer des traitements Spark / Scala . Manipuler les données raffinées du Datalake selon les règles métiers décisionnelles définies. Contribuer à la formalisation des plans de tests. Réaliser les tests unitaires et les premiers tests d’intégration. Analyser et corriger les anomalies en phase d’intégration fonctionnelle et de recette utilisateur. Préparer le packaging des traitements. Déployer les composants en préproduction et en production. Optimiser les traitements afin de garantir les standards de qualité de service. Mettre en œuvre des solutions industrielles et de réentrance pour sécuriser la reprise des traitements en cas d’incident de production. Participer à la mise en service et accompagner le déploiement. Assurer le suivi des environnements. Stack / environnement Big Data : Spark, Scala, Hadoop, Datalake Datawarehouse : Exadata, alimentation de Datawarehouse communautaire Base de données : Oracle Industrialisation : Packaging, déploiement préproduction / production, réentrance des traitements DevOps / versioning : GitLab Contexte projet : Business Intelligence, Big Data, traitements décisionnels, règles métiers Data Environnement complémentaire apprécié : Apache Mesos Qualité de service : Optimisation des traitements, suivi des environnements, reprise sur incident Candidature Vous souhaitez contribuer à un projet structurant de Business Intelligence & Big Data , autour de traitements Spark / Scala , Datalake Hadoop et Datawarehouse Exadata ? Merci de postuler directement.

Contexte de la mission Description du besoin : La mission consiste à concevoir et faire évoluer les solutions existantes ou prévisionnelles. Faire évolution des solutions Bigdata et le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : - Participer aux projets d’évolution pour le Socle Hadoop existant : - évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles; - la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers et la mise en œuvre; - Participer au MCO du socle Hadoop: - Administration et exploitation: supervision, optimisation, gestion des incidents et des performances ; - support expertise aux équipes Etudes et exploitation - Participer au projet de nouvelle solution de type Plate-forme DATA: - Etude d'impact, préconiser les choix techniques, définir les standards et normes, rédiger le dossier d'architecture technique; - Mise en oeuvre; - Mise en production: transfert de connaissances aux équipes exploitation, rédaction des procédures d'administration et dossiers d'exploitation Les compétences recherchées sont autour de la solution Hadoop et des plateforme DATA, mais les compétences supplémentaires sur d’autres solutions Data comme le décisionnel seront très appréciées. La mission nécessite une totale autonomie mais aussi la capacité à s'intégrer et travailler en équipe. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées.

Contexte Dans le cadre de ses activités Data, le client recherche un Architecte Socles DATA pour intervenir sur l'architecture et l'administration des plateformes Data, avec une forte expertise Hadoop. Missions principales Concevoir et faire évoluer les architectures des socles DATA Participer à l'administration et à l'optimisation des plateformes Hadoop Définir les normes, principes et dossiers d'architecture Produire les documentations d'exploitation et d'administration Réaliser les transferts de compétences Assurer le reporting hebdomadaire et le suivi d'activité mensuel Accompagner les équipes sur les bonnes pratiques techniques

Contexte de la mission Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme DSI pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées.

Dans le cadre du renforcement de ses équipes Data, le client recherche un Data Engineer pour intervenir au sein des équipes ePilot et Data Factory sur des sujets liés à la vente et à l'après-vente. Le consultant participera à l'intégration, la transformation et l'exploitation des données provenant de multiples sources (Hadoop, API, fichiers, bases de données) afin d'alimenter les plateformes décisionnelles. Il contribuera également à l'analyse des données, au développement de modèles analytiques et à la création de reporting Power BI. Missions : -Concevoir et développer les flux d'intégration de données -Collecter et intégrer des données issues de multiples sources (Hadoop, API, fichiers, bases de données) -Assurer l'alimentation et la maintenance des bases SQL -Réaliser les traitements de transformation et de qualité des données -Analyser les données et participer à leur valorisation -Développer et maintenir les modèles décisionnels et cubes tabulaires -Concevoir et faire évoluer les rapports Power BI -Optimiser les performances des traitements et des bases de données -Garantir la fiabilité et la cohérence des données -Participer à la documentation des flux et des traitements -Collaborer avec les équipes métiers et Data Factory -Contribuer à l'amélioration continue des plateformes Data Profil attendu : Nous recherchons un Data Engineer disposant d'une solide expérience dans l'intégration et la transformation de données. Le candidat doit maîtriser les environnements SQL et les architectures Big Data tout en étant capable de travailler sur des sujets décisionnels et analytiques. Une bonne compréhension des problématiques métier ainsi qu'une capacité à collaborer avec les équipes Data et métiers sont attendues.

CONTEXTE DE LA MISSION L'équipe « Socles Data » de la Direction Technique Informatique d'un grand organisme de retraite complémentaire gère les socles techniques DATA de son système d'information. Ces socles couvrent les besoins de pilotage, de tableaux de bord décisionnels, d'exploration de données et de Data science. Dans ce cadre, la mission a pour objectif de faire évoluer et de maintenir en conditions opérationnelles les socles Hadoop Cloudera (Hors-Prod et Prod), tout en participant aux projets d'évolution technique et à l'étude / mise en œuvre d'une nouvelle plateforme DATA. L'enjeu principal porte sur la continuité de service des socles BigData existants, la sécurisation des évolutions logicielles et matérielles, ainsi que la capacité à préconiser et formaliser les choix d'architecture pour la future plateforme DATA. RÔLE ET RESPONSABILITÉS PRINCIPALES Participer aux projets d'évolution du Socle Hadoop existant : évolutions logicielles/matérielles, sécurité, amélioration fonctionnelle et technique. Assurer le MCO du socle Hadoop : administration, exploitation, supervision, optimisation des performances, gestion des incidents. Fournir un support expertise aux équipes Études et Exploitation. Contribuer au projet de nouvelle Plateforme DATA : étude d'impact, préconisations techniques, définition des standards et normes. Rédiger les dossiers d'architecture technique pour les évolutions et la nouvelle plateforme. Piloter la mise en production : transfert de connaissances aux équipes exploitation, rédaction des procédures d'administration et dossiers d'exploitation. Assurer une disponibilité ponctuelle en hors horaires normaux (astreintes ou interventions HNO). LIVRABLES ATTENDUS Reporting hebdomadaire d'activité. Tableau de bord mensuel de suivi d'activités. Documentations techniques : normes, principes, dossiers d'architecture, dossiers d'administration et d'exploitation, modes opératoires. Supports et sessions de transferts de connaissances aux équipes exploitation.

Mission au sein du département risques métier sur un grand projet réglementaire dans un environnement bancaire à forte volumétrie de données. Vos missions : Création de reportings réglementaires Analyse de données risques Développement de dashboards Extraction et transformation de données Requêtes SQL complexes Suivi des KPIs métiers Collaboration avec les équipes risques/data Optimisation des traitements de données

Dans le cadre d’un grand groupe du secteur de l’assurance et de la protection sociale , la Direction Technique Informatique recherche un architecte technique Data pour intervenir sur les socles DATA de la plateforme décisionnelle et Big Data. L’équipe en charge des socles Data assure la conception, l’évolution et l’exploitation des plateformes de données industrielles permettant le pilotage, le reporting décisionnel, la data science et l’exploration de données à grande échelle. La prestation consiste à intervenir sur la conception, l’évolution et le maintien en conditions opérationnelles des plateformes Data Big Data (Hadoop) ainsi que sur les projets de transformation vers des plateformes Data modernes.