Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

conception/réalisation/qualification/production Big Data Description des prestations Les activités décrites seront menées principalement sur les UseCase Big data Socle Commun Topologie, Qosmik et Scipion - Concevoir, développer, qualifier les évolutions demandées. A faire de manière autonome. - Contribuer à la qualification métier des nouvelles fonctionnalités développées - Accompagner le déploiement des solutions sur la plate-forme Big Data - Optimisation des traitements en production - Assurer la maintenance corrective - Assurer le run applicatif en cas d'incidents (analyse/rattrapage)

Contexte du besoin L’équipe ‘Socles Data’ de la Direction Technique Informatique s’occupe de gérer les socles techniques DATA du système d’information. Ceux–ci répondent aux besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d’exploration de données, de Data science, etc. Les missions de l’équipe se traduisent par la fourniture d’outils logiciels Data industrialisés et exploitables, la rédaction de dossiers d’architecture, de normes et bonnes pratiques, la réalisation d’études, la recherche et la qualification de nouveaux outils, mais également l’administration et le maintien en conditions opérationnelles des socles DATA. Objet de la prestation Le présent marché spécifique a pour objet la recherche d'une prestation d'expertise technique Big Data / Hadoop de technologie Cloudera, pour renforcer l'équipe 'Socle DATA'. Localisation : Gradignan Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme DSI Agirc-Arrco pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées. Reporting hebdomadaire Tableau de bord Mensuel de suivi d'activités Documentations techniques: Normes, principes, dossier d’architecture, dossier d’administration, dossier d’exploitation, modes opératoires Transferts de connaissances : organisation de session de transferts de connaissances et rédaction de supports. Gestion demandes: Tickets incidents / demandes / changements dûment complétés Contribuer à la continuité de services au sein de l'équipe Environnement Socle Hadoop : Distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg ... Langages de scripting et de developpement : Shell, Python, Spark Moteurs de requêtage : Hive, Impala, SQL, ... Systeme d'exploitation : Linux Redhat Environnement Décisionnel: Teradata, ETL Datastage , PowerBI, SAS Autres environnements techniques: Base de données : PostgreSQL Data Streaming : Kafka, IBM Infosphere CdC Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana,

Nous recherchons un Tech Lead Data Engineer expérimenté H/F en CDI sur Lyon pour une entreprise de renommée française afin de piloter la conception et l’évolution de notre plateforme data. Vous serez référent technique sur les sujets liés au traitement de données massives, à l’industrialisation des pipelines et à l’optimisation des architectures data. Vous interviendrez dans un environnement moderne orienté Big Data et Cloud, avec une forte utilisation de Python, Spark et des outils d’automatisation CI/CD. 3 jours de Télétravail Missions principales Concevoir et développer des pipelines de données robustes et scalables Encadrer techniquement l’équipe Data Engineering Développer des traitements distribués avec Spark Assurer l’intégration et la transformation de données à grande échelle Optimiser les performances des bases PostgreSQL et des traitements Big Data Participer à l’architecture des solutions Hadoop et Data Lake Industrialiser les déploiements via GitLab CI/CD Garantir la qualité, la sécurité et la fiabilité des données Collaborer avec les équipes Data Science, DevOps et métiers Mettre en place les bonnes pratiques de développement et de gouvernance data

Les missions seront les suivantes : - Etudier et analyser les besoins métiers et techniques en relation avec le business analyst et chef de projet - Réaliser les développements et les tests unitaires et contribuer à la réalisation des phases de recettes. - Rédiger la documentation technique - Participer aux cérémonies agiles et aux mises en production autour des outils et principes DevOps (XLR, XLD). Maitrise : angular et python Maitrise : Fast API/API Rest - java connaissance sur les outils de dévops : Git, xdeploy, xrelease et Openshift seraient un plus : connaissances en NoSql, Hadoop, base Solr Très important : Une personne débrouillarde qui aime chercher, demander, qui sait alerter ...

Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.

Dans le cadre du renforcement d’une équipe spécialisée dans les projets data à fort enjeu, nous recherchons un(e) Lead Tech orienté(e) Data Engineering / Data Science capable d’intervenir sur des environnements techniques exigeants et de contribuer à la montée en compétence des équipes. Vous évoluerez au sein d’un contexte stimulant, mêlant développement, traitement de données à grande échelle et accompagnement technique. Vos missions Au quotidien, vous serez amené(e) à : Concevoir et développer des solutions de traitement et d’analyse de données en Python Participer à la mise en place et à l’optimisation de pipelines data performants Travailler sur des architectures distribuées et des traitements volumineux via Spark et Hadoop Assurer la qualité, la maintenabilité et la performance des développements réalisés Collaborer avec les équipes techniques et métiers afin de comprendre les besoins et proposer des solutions adaptées Apporter un rôle de référent technique auprès des équipes Participer aux bonnes pratiques de développement, d’intégration continue et de déploiement Accompagner les collaborateurs sur les sujets techniques avec pédagogie et clarté Environnement technique Python Spark PostgreSQL Hadoop Git / GitLab CI/CD

Analyser les besoins métiers et techniques avec les équipes projet. Développer et maintenir des applications Front-End et Back-End. Concevoir et développer des API REST. Réaliser les tests unitaires et participer aux recettes. Rédiger la documentation technique. Participer aux cérémonies Agile et aux mises en production. Assurer la maintenance corrective et évolutive des applications. Compétences requises Obligatoires: Angular Python FastAPI / API REST Java Git OpenShift XL Deploy (XLD) / XL Release (XLR) Appréciées: NoSQL Hadoop Solr

Almatek recherche pour l'un de ses client, Un Expert Cloudera (RUN & MCO) / Big Data Platform Engineer sur Paris. EXP : +5 ans - Localisation Paris - Télétravail : 2 à 3 jours par semaine - Durée de la mission : 2 ans Mission: Le consultant interviendra en expert plateforme, avec une forte orientation RUN / MCO / N3 : Administration et exploitation de la plateforme Big Data Cloudera (CDP on?premise) Gestion des incidents complexes (N3) et participation aux cellules de crise MCO avancé : patching, upgrades, capacity planning gestion des performances et de la disponibilité Gestion des obsolescences éditeurs (Cloudera, OpenShift, OS Linux) Automatisation des tâches d’exploitation (scripts, CI/CD, IaC) Support technique aux équipes data et projets Contribution à la migration des usages vers Azure Databricks (hybridation on?prem / cloud) Rédaction de documentation technique, procédures d’exploitation et supports de montée en compétence Collaboration étroite avec les équipes infra, conteneurs et middleware Environnement: Big Data : Cloudera CDP (CDH, CDS), Hadoop (HDFS, YARN), Spark Conteneurs : OpenShift, Kubernetes, Docker Sécurité : Kerberos, Ranger Systèmes : Linux (RedHat) Automatisation / CI?CD : Ansible, Jenkins / GitLab, scripts Shell / Python Cloud : Azure, Azure Databricks (migration des usages) Monitoring : Grafana, Prometheus (selon contexte) Contexte: Dans le cadre d’une mission stratégique en environnement de production critique, nous recherchons un consultant senior / expert pour intervenir sur une plateforme Big Data on?premise existante, en phase de stabilisation, MCO et transition vers le cloud. La plateforme est en place depuis plusieurs années et fait l’objet : d’un RUN exigeant (disponibilité, performance, sécurité), d’une migration progressive des usages vers le cloud, et du remplacement d’un profil historique/fondateur de la plateforme. Ce n’est pas un rôle de : Data Engineer DBA

Contexte de la mission Dans le cadre de la gestion et de l’évolution de ses plateformes Data, notre client recherche un Responsable RUN Data & BI afin d’assurer le pilotage opérationnel des activités Décisionnel, Big Data et Business Intelligence. Rattaché au Responsable du pôle Plateformes de Données et Applications Data, le consultant interviendra en tant que relais opérationnel sur l’ensemble des activités de maintien en conditions opérationnelles des plateformes Data et contribuera à garantir la qualité de service du système d’information tout au long du cycle de vie des solutions. Le poste s’inscrit dans un environnement stratégique où les enjeux de disponibilité, de performance, de qualité de service et d’accompagnement de la transformation des équipes sont majeurs. Missions principales Pilotage opérationnel des activités Data Assurer le maintien en conditions opérationnelles des plateformes Décisionnel, Big Data et BI ; Piloter directement les opérations et plans d’actions associés ; Garantir le respect des engagements de service et des niveaux de qualité attendus ; Identifier, qualifier et remonter les alertes ainsi que les risques opérationnels ; Assurer le suivi des incidents, problèmes et actions correctives ; Veiller à la bonne exécution des processus opérationnels au quotidien. Gouvernance & Pilotage Construire et suivre les feuilles de route opérationnelles ; Élaborer les plannings détaillés des projets et activités ; Assurer le suivi des budgets, plans de charge et capacités ; Produire les tableaux de bord de pilotage et indicateurs clés (KPI) ; Préparer et animer les instances de gouvernance : COPIL ; COMOP ; ateliers de suivi ; Produire les reportings périodiques à destination des parties prenantes. Management transverse & accompagnement des équipes Animer les équipes du pôle Data ; Accompagner les collaborateurs dans leur montée en compétences ; Participer à la transformation des activités et des méthodes de travail ; Être force de proposition sur l’amélioration continue des processus et de l’organisation ; Apporter une analyse critique sur les résultats, les méthodes et les orientations proposées. Gestion des risques & qualité de service Mettre les risques sous contrôle et suivre les plans de remédiation ; Construire et maintenir les cartographies de risques ; Définir et suivre les plans de mitigation ; Garantir le respect des procédures qualité et sécurité du SI ; Assurer la cohérence des solutions mises en œuvre avec les besoins métiers. Contribution à la stratégie Data Participer à la définition des orientations Data et Décisionnel ; Contribuer à la déclinaison opérationnelle des feuilles de route Data ; Garantir la pertinence des solutions mises en œuvre vis-à-vis des besoins métiers ; Participer aux projets d’évolution des plateformes et outils Data.

Data Engineer Teradata, bases Hive, Phoenix, HDFS, API Springboot VANNES Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi) Prestation : • Assure le développement et l’intégration des évolutions sur le périmètre des solutions de la Squad • Prépare, réalise la mise en production avec les équipes expertes; assure le SAV • Gère et maintient la documentation fonctionnelle et technique • Contribue à l’assistance à l’utilisation des solutions • Contribue aux séances d'affinage technique en phase de conception • Réalise une veille technologique régulière pour être au fait des dernières tendances • Contribue à alimenter le contenu du backlog pour prévoir les développements futurs • Analyse du patrimoine existant Le besoin est d'accompagner la squad dans un contexte de développement et de maintenance de solutions Data (Teradata, bases Hive, Phoenix, HDFS) et d'API Springboot. Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi)

🚀 Mission Freelance – Lead Tech Data Python / Spark (H/F) Dans le cadre du renforcement d’une équipe Data, nous recherchons un Lead Tech Data Freelance pour intervenir sur des sujets de développement, industrialisation et accompagnement technique autour des plateformes et traitements Data. 📍 Mission : Freelance 📅 Démarrage : ASAP 🏠 Mode d’intervention : Hybride / à définir 👤 Séniorité : Lead / Senior 🎯 Vos missions 🔹 Développer et maintenir des applications et traitements orientés Data en Python 🔹 Concevoir et maintenir des API , dashboards et pipelines de données 🔹 Participer à l’industrialisation des projets et à l’amélioration continue 🔹 Garantir la qualité logicielle : • Revues de code • Diffusion des bonnes pratiques • Accompagnement des équipes 🔹 Assurer le cadrage technique et accompagner les projets 🔹 Collaborer avec les équipes transverses et les Product Owners 🔹 Réaliser des études et analyses Data 🛠 Stack technique Python : FastAPI, Dash, Pandas, packaging, PyTest, parallélisation Data / Big Data : Spark (PySpark / Scala), Hadoop BDD : SQL, PostgreSQL, Teradata Outils : Git, GitLab CI/CD, Jira, Confluence, Bitbucket

Nous recherchons pour le compte de notre client dans le domaine de la retraite, Responsable MCO Data, BI et Big Data Objectif : le pilotage du maintien en condition opérationnelles des activités Décisionnel, Big Data et Bureau , et contribuer à garantir la qualité de service du système d'information tout au long du cycle de vie des solutions data. Missions : Rattaché au responsable du pôle Plateformes de données et Applications Data, au sein de l’entité Valorisation de la donnée, le profil aura pour principales missions : • Piloter directement des opérations (plans d’action spécifiques) • Planifier les projets et mettre les risques sous contrôle • Être en capacité de qualifier et de remonter les alertes le cas échéant • Animer les équipes du pôle • Assurer la maîtrise des délais, des plans de charge et des budgets définis • Garantir le respect des procédures et méthodes d’assurance de qualité et de sécurité du SI • Garantir l’atteinte des objectifs fixés en termes de niveau de service • Apporter une analyse critique sur les méthodes de travail et les résultats envisagés • Contribuer à la définition des orientations de la DSI-RC et à leur déclinaison opérationnelle pour les domaines fonctionnels SI Décisionnel et Big Data • Garantir la pertinence du SI mis en œuvre pour répondre aux objectifs Métier définis par la MOA ainsi que de la bonne exécution des process au quotidien • Accompagner les équipes dans la transformation de leur activité et dans leur montée en compétence.

Vous serez responsable de la conception et de la mise en œuvre d'architectures optimisées et scalables au sein d'une plateforme data, analytique et IA basée hébergée en hybride Cloud/On Premises. Ce poste nécessite une compréhension approfondie de l’écosystème Data en terme de technologies et de pratiques à l’état de l’art (i.e. Hybridation, Datamesh etc…) Les principales activités sont les suivantes : - Collaborer avec les équipes data (Data Engineer, Data Analyst, Data Scientist, Business Analyst, Product Owner, Chef de projet, etc.) pour comprendre les exigences en matière de données, d'usages et de capacités et concevoir et formaliser l’architecture adaptée - Accompagner les équipes data dans la mise en œuvre des architectures définies - Assurer la qualité, l'intégrité et la sécurité des données dans l'environnement de la plateforme data, analytique et IA - Optimiser les processus d'ingestion de données et contribuer à la définition et la mise en œuvre des politiques de gouvernance des données - Évaluer et préconiser les technologies et outils appropriés pour le stockage, le traitement et l'analyse des données - Proposer des optimisations pour résoudre les problèmes d’architecture liés au stockage, à l’accès et à l’exploitation de la plateforme data - Une expérience sur l’accompagnement de projet en lien avec des migrations de plateforme data On premises vers le Cloud (idéalement GCP). Compétences techniques ou métier recherchées : - Vous avez une expérience minimale de 6 ans sur un poste d'architecte data et vous avez une expérience de mise en œuvre d'une plateforme basée sur une technologie Cloud. - Vous avez obtenu un diplôme dans le domaine IT et êtes spécialisé dans la Data. - Vous avez une expérience similaire sur la modélisation des données. - Concepts et technologies liés au Big Data (par exemple, Apache Spark, Hadoop) et aux bases de données SQL/NoSQL. Compétences comportementales recherchées : - Coopérer et fonctionner en transversal - Interagir facilement avec les autres - Négocier et convaincre - Proposer des initiatives ou des solutions - S'adapter aux changements. Compétence complémentaire : - Maitrise des Plateformes Data GCP, Spark, Python, SQL, Kafka, MongoDB Excellente connaissance des concepts et technologies des datalake, datawarehouse / entrepôts de données, lakehouse, des plateformes cloud telles que Google Cloud.

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé / senior : Participer à la définition de l'architecture Data Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala