Find your next tech and IT Job or contract Hadoop

CONTEXTE DE LA MISSION L'équipe « Socles Data » de la Direction Technique Informatique d'un grand organisme de retraite complémentaire gère les socles techniques DATA de son système d'information. Ces socles couvrent les besoins de pilotage, de tableaux de bord décisionnels, d'exploration de données et de Data science. Dans ce cadre, la mission a pour objectif de faire évoluer et de maintenir en conditions opérationnelles les socles Hadoop Cloudera (Hors-Prod et Prod), tout en participant aux projets d'évolution technique et à l'étude / mise en œuvre d'une nouvelle plateforme DATA. L'enjeu principal porte sur la continuité de service des socles BigData existants, la sécurisation des évolutions logicielles et matérielles, ainsi que la capacité à préconiser et formaliser les choix d'architecture pour la future plateforme DATA. RÔLE ET RESPONSABILITÉS PRINCIPALES Participer aux projets d'évolution du Socle Hadoop existant : évolutions logicielles/matérielles, sécurité, amélioration fonctionnelle et technique. Assurer le MCO du socle Hadoop : administration, exploitation, supervision, optimisation des performances, gestion des incidents. Fournir un support expertise aux équipes Études et Exploitation. Contribuer au projet de nouvelle Plateforme DATA : étude d'impact, préconisations techniques, définition des standards et normes. Rédiger les dossiers d'architecture technique pour les évolutions et la nouvelle plateforme. Piloter la mise en production : transfert de connaissances aux équipes exploitation, rédaction des procédures d'administration et dossiers d'exploitation. Assurer une disponibilité ponctuelle en hors horaires normaux (astreintes ou interventions HNO). LIVRABLES ATTENDUS Reporting hebdomadaire d'activité. Tableau de bord mensuel de suivi d'activités. Documentations techniques : normes, principes, dossiers d'architecture, dossiers d'administration et d'exploitation, modes opératoires. Supports et sessions de transferts de connaissances aux équipes exploitation.

Mission au sein du département risques métier sur un grand projet réglementaire dans un environnement bancaire à forte volumétrie de données. Vos missions : Création de reportings réglementaires Analyse de données risques Développement de dashboards Extraction et transformation de données Requêtes SQL complexes Suivi des KPIs métiers Collaboration avec les équipes risques/data Optimisation des traitements de données

Contexte du besoin L’équipe ‘Socles Data’ de la Direction Technique Informatique s’occupe de gérer les socles techniques DATA du système d’information. Ceux–ci répondent aux besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d’exploration de données, de Data science, etc. Les missions de l’équipe se traduisent par la fourniture d’outils logiciels Data industrialisés et exploitables, la rédaction de dossiers d’architecture, de normes et bonnes pratiques, la réalisation d’études, la recherche et la qualification de nouveaux outils, mais également l’administration et le maintien en conditions opérationnelles des socles DATA. Objet de la prestation Le présent marché spécifique a pour objet la recherche d'une prestation d'expertise technique Big Data / Hadoop de technologie Cloudera, pour renforcer l'équipe 'Socle DATA'. Localisation : Gradignan Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme DSI Agirc-Arrco pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées. Reporting hebdomadaire Tableau de bord Mensuel de suivi d'activités Documentations techniques: Normes, principes, dossier d’architecture, dossier d’administration, dossier d’exploitation, modes opératoires Transferts de connaissances : organisation de session de transferts de connaissances et rédaction de supports. Gestion demandes: Tickets incidents / demandes / changements dûment complétés Contribuer à la continuité de services au sein de l'équipe Environnement Socle Hadoop : Distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg ... Langages de scripting et de developpement : Shell, Python, Spark Moteurs de requêtage : Hive, Impala, SQL, ... Systeme d'exploitation : Linux Redhat Environnement Décisionnel: Teradata, ETL Datastage , PowerBI, SAS Autres environnements techniques: Base de données : PostgreSQL Data Streaming : Kafka, IBM Infosphere CdC Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana,

conception/réalisation/qualification/production Big Data Description des prestations Les activités décrites seront menées principalement sur les UseCase Big data Socle Commun Topologie, Qosmik et Scipion - Concevoir, développer, qualifier les évolutions demandées. A faire de manière autonome. - Contribuer à la qualification métier des nouvelles fonctionnalités développées - Accompagner le déploiement des solutions sur la plate-forme Big Data - Optimisation des traitements en production - Assurer la maintenance corrective - Assurer le run applicatif en cas d'incidents (analyse/rattrapage)

Contexte de la mission Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme DSI pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées.

Missions principales: Assurer le maintien en conditions opérationnelles (RUN/MCO) de la plateforme Big Data. Prendre en charge le support N3 et la résolution d'incidents complexes. Administrer et optimiser les environnements Cloudera CDH/CDP . Piloter et superviser les composants Hadoop (HDFS, YARN) et Spark . Gérer les sujets de sécurité ( Kerberos, Ranger ). Contribuer à l'automatisation et à l'industrialisation des opérations ( Jenkins, CI/CD ). Apporter un leadership technique auprès des équipes. Participer aux projets d'évolution vers Azure et Databricks . Compétences requises: Indispensables : Cloudera Manager Hadoop (HDFS, YARN) Spark RUN / MCO de plateformes critiques Support N3 et gestion d'incidents Kerberos / Ranger Jenkins et outils CI/CD Linux Appréciées : Azure Databricks Scripting Shell ou Python Environnements Cloud hybrides

Nous recherchons un Tech Lead Data Engineer expérimenté H/F en CDI sur Lyon pour une entreprise de renommée française afin de piloter la conception et l’évolution de notre plateforme data. Vous serez référent technique sur les sujets liés au traitement de données massives, à l’industrialisation des pipelines et à l’optimisation des architectures data. Vous interviendrez dans un environnement moderne orienté Big Data et Cloud, avec une forte utilisation de Python, Spark et des outils d’automatisation CI/CD. 3 jours de Télétravail Missions principales Concevoir et développer des pipelines de données robustes et scalables Encadrer techniquement l’équipe Data Engineering Développer des traitements distribués avec Spark Assurer l’intégration et la transformation de données à grande échelle Optimiser les performances des bases PostgreSQL et des traitements Big Data Participer à l’architecture des solutions Hadoop et Data Lake Industrialiser les déploiements via GitLab CI/CD Garantir la qualité, la sécurité et la fiabilité des données Collaborer avec les équipes Data Science, DevOps et métiers Mettre en place les bonnes pratiques de développement et de gouvernance data

Les missions seront les suivantes : - Etudier et analyser les besoins métiers et techniques en relation avec le business analyst et chef de projet - Réaliser les développements et les tests unitaires et contribuer à la réalisation des phases de recettes. - Rédiger la documentation technique - Participer aux cérémonies agiles et aux mises en production autour des outils et principes DevOps (XLR, XLD). Maitrise : angular et python Maitrise : Fast API/API Rest - java connaissance sur les outils de dévops : Git, xdeploy, xrelease et Openshift seraient un plus : connaissances en NoSql, Hadoop, base Solr Très important : Une personne débrouillarde qui aime chercher, demander, qui sait alerter ...

Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum

Dans le cadre du renforcement d’une équipe spécialisée dans les projets data à fort enjeu, nous recherchons un(e) Lead Tech orienté(e) Data Engineering / Data Science capable d’intervenir sur des environnements techniques exigeants et de contribuer à la montée en compétence des équipes. Vous évoluerez au sein d’un contexte stimulant, mêlant développement, traitement de données à grande échelle et accompagnement technique. Vos missions Au quotidien, vous serez amené(e) à : Concevoir et développer des solutions de traitement et d’analyse de données en Python Participer à la mise en place et à l’optimisation de pipelines data performants Travailler sur des architectures distribuées et des traitements volumineux via Spark et Hadoop Assurer la qualité, la maintenabilité et la performance des développements réalisés Collaborer avec les équipes techniques et métiers afin de comprendre les besoins et proposer des solutions adaptées Apporter un rôle de référent technique auprès des équipes Participer aux bonnes pratiques de développement, d’intégration continue et de déploiement Accompagner les collaborateurs sur les sujets techniques avec pédagogie et clarté Environnement technique Python Spark PostgreSQL Hadoop Git / GitLab CI/CD

Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.

Analyser les besoins métiers et techniques avec les équipes projet. Développer et maintenir des applications Front-End et Back-End. Concevoir et développer des API REST. Réaliser les tests unitaires et participer aux recettes. Rédiger la documentation technique. Participer aux cérémonies Agile et aux mises en production. Assurer la maintenance corrective et évolutive des applications. Compétences requises Obligatoires: Angular Python FastAPI / API REST Java Git OpenShift XL Deploy (XLD) / XL Release (XLR) Appréciées: NoSQL Hadoop Solr