Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Contexte de la mission Dans un environnement IT Data du secteur de l’assurance , le client exploite une plateforme Hadoop pour le traitement de données volumineuses issues des systèmes historiques. La mission vise à maintenir, faire évoluer et structurer les flux data existants, tout en assurant leur intégration avec les usages analytiques et cloud. Missions principales Développer et maintenir des traitements de données sur environnement Hadoop Gérer des volumes importants de données métiers assurance Participer à la conception et à l’optimisation des flux data Assurer la fiabilité, la performance et la qualité des traitements Collaborer avec les équipes cloud, BI et Data Science Contribuer aux phases d’analyse technique et de conception des solutions data Stack technique obligatoire Hadoop Écosystème Big Data SQL Environnements data distribués Profil recherché Data Engineer confirmé spécialisé Hadoop Expérience en contexte de forte volumétrie et SI complexe Capacité à faire de la conception de flux , pas uniquement de l’exécution Sensibilité aux enjeux métiers et réglementaires du secteur assurance

Missions principales Contribuer au développement et à l’industrialisation des traitements Big Data. Intervenir en transverse auprès des différentes équipes (IT et métiers). Challenger les besoins métiers et proposer des solutions techniques pertinentes. Participer à l’amélioration continue des performances et de la qualité des données. Environnement technique Environnement technique : SPARK, CLOUDERA, HADOOP, Java, Hive Profil recherché – Hard & Soft Skills 5 à 8 ans d’expérience en environnement Big Data (Spark / Hadoop / Hive / Java). Solide culture data et environnement distribués (type Cloudera). Excellente capacité de prise de recul et de compréhension des enjeux métiers. Aisance relationnelle et posture transverse : capacité à challenger et à accompagner les équipes métiers. Présence à Vannes 3 jours par semaine - Non négociable

Nous recherchons quelqu’un avec de solides compétences sur SQL (notamment HIVE)..... ...... ..... ..... ..... ..... ...... ..... ..... ..... ..... ..... ... .... .. ..... ...... HADOOP (développement sur Cloudera Data Platform)...... ...... ...... ..... .. .. .. .... ..... .... .... ... ... ... Shell UNIX. ...... ....... ...... ....... ....... ..... ....... ..... ..... .... .... ....... ..... Git...... ...... ...... ...... ...... .... ..... ....... .... ... .... .... .... .... ... ... ... ... ...

Client : Entreprise de transport Poste : Architecte technique Senior DSM Expérience : Plus de 8 ans TJM d’achat max : 5 15€ Localisation : Banlieue parisienne Deadline réponse : 09/12 Démarrage : 01/01/2025 Durée : Mission très longue DESCRIPTION DE LA MISSION Objectifs La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark. Vous interviendrez en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes. Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’opérateurs, d’architectes et encadrés par un chef de projet. Description détaillée des tâches qui constituent la mission Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous. S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est variable mais toujours constitué sur la base d’US (User Stories). Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet. Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle. Les sprints s’échelonnent généralement sur 2 semaines. Contenu général des sprints : Développement des US et tests associés ; Documentation du projet, mapping des données, modélisation des pipelines, documents d’exploitation ; Mise en place du CI/CD sur l’usine logicielle ; Mise en place du monitoring ;

Vous serez en charge du déploiement ainsi que du MCO/MCS de l’écosystème Cloudera (Cloudera Manager, services Cloudera Data Platform : HDFS, Vous interviendrez également sur la gestion d’une architecture Lake house , comprenant : Data Security : Apache Ranger Data gouvernance : Apache Atlas Data processing : Spark, Apache Zeppelin Data ingestion : NiFi Data analytics : Apache Impala Data lake : Hadoop, Apache Kudu Data serving : Hue Responsabilités Documenter les procédures d’exploitation et rédiger des rapports synthétiques Garantir le bon fonctionnement des services dans le respect des SLA Opérer en environnement de production en s’appuyant sur les processus ITIL (gestion des incidents, problèmes, changements) Communiquer en anglais avec les éditeurs (dont Cloudera) et les fournisseurs Automatiser les déploiements (fichiers de configuration, certificats, keystores) via Ansible Utiliser les outils DevOps (GitHub, Jenkins) pour le versionning et les pipelines Exploiter les environnements Linux et analyser les logs dans le cadre du traitement des incidents Être force de proposition concernant l’amélioration de l'exploitabilité, la robustesse et la supervision des services Participer aux réunions d’équipe, aux projets et aux différents comités, et assurer un reporting régulier Livrables attendus Dossier d’ingénierie de la plateforme Lake house Fiches et procédures d’exploitation Dossier de mise en production PV de mise en production

Merci de bien lire l'annonce ci dessous et vérifier que vous correspondez au besoin. Nous recherchons exclusivement des candidats basés à Vannes ou en Bretagne . Merci de ne pas envoyer de candidature si vous êtes situés hors de cette zone géographique. En tant que Data Engineer , votre mission principale sera de produire des solutions techniques robustes et performantes pour exploiter au mieux les données du client. Cependant, votre rôle ne se limitera pas à l’aspect technique : vous serez également un partenaire stratégique des métiers , capable d’identifier leurs besoins, de comprendre leurs enjeux et de proposer des solutions techniques adaptées. Vos responsabilités : Concevoir, développer et maintenir des pipelines de données performants et évolutifs Participer à la définition de l'architecture Data Développer les solutions de collecte et de stockage des données Mettre en place les tests unitaires et automatisés Garantir la qualité, la sécurité et l’intégrité des données tout au long de leur cycle de vie. Implémenter des solutions qui optimisent la gestion des données pour les équipes métier. Collaborer étroitement avec les équipes métier pour comprendre leurs objectifs stratégiques. Faciliter la communication entre les équipes techniques et les non-techniciens Vous serez à la croisée des chemins entre technique et métier , jouant un rôle clé pour transformer les données en un véritable levier de décision. Votre capacité à allier expertise technique et vision stratégique fera de vous un acteur indispensable pour relever les défis de l’entreprise.

La mission proposée sera d’accompagner les métiers dans la cadre du projet de sortie du progiciel SAS vers le progiciel DATAIKU. Dans ce cadre, les activités principales sont : • Accompagner les utilisateurs dans la prise en main de Dataiku et le déploiement des solutions pour leurs cas d’usage. Cela passe par la compréhension de leurs besoins et contraintes opérationnelles, l’étude des solutions potentielles basées sur le progiciel, et l’aide et support à la réalisation. • Appliquer et diffuser les bonnes pratiques Dataiku ainsi que du processus MLOPS. • Assurer le Support et RUN post déploiement : surveillance, maintenance et optimisation des traitements DATAIKU. Dans le cadre de cette mission, il y a de fortes exigences sur : • Le sens de service. • La pédagogie pour accompagner efficacement les utilisateurs SAS. • L’échange et la communication avec le reste de l’équipe SOD/IA Factory ainsi que les différents interlocuteurs sur ce sujet. A savoir, l’architecte SOD/SAS, l’architecte technique SOD, les architectes DATA ainsi que les interlocuteurs CAGIP. Le critère d’expérience doit s’appliquer à tous ces éléments pour garantir l’adéquation du profil à la demande. Expertise DATAIKU DSS avec certifications : • Core Designer • Advanced Designer • ML Practitioner • MLOps Practitioner • Developer • Generative AI Practitioner

Contexte de la mission Dans le cadre du renforcement de sa plateforme data cloud, un acteur majeur du secteur de l’assurance recherche un Cloud Engineer orienté data . La mission consiste à accompagner la structuration, la fiabilisation et l’exploitation des environnements data sur GCP , en support des équipes IT Data. Missions principales Concevoir et maintenir les environnements cloud data sur GCP Accompagner les équipes Data Engineer dans l’exploitation des plateformes data Participer à la conception des architectures cloud data Garantir la disponibilité, la performance et la sécurité des environnements Assurer le lien entre les équipes infrastructure, cloud et data Contribuer à l’industrialisation des plateformes data Stack technique obligatoire Google Cloud Platform (GCP) Environnements cloud data Services data GCP (dont BigQuery) Connaissance des environnements Hadoop appréciée Profil recherché Cloud Engineer confirmé orienté data Bonne compréhension des architectures data cloud Capacité à travailler avec des équipes data techniques Profil structurant, orienté conception et exploitation

Vous interviendrez pour un grand acteur du secteur de l’énergie, au sein d’une prestation pluridisciplinaire. Votre rôle sera de gérer, maintenir et optimiser les plateformes Big Data afin d’assurer leur performance et disponibilité. Vous travaillerez en étroite collaboration avec les équipes de développement et les analystes de données. 4. Missions principales Gérer et maintenir les plateformes de données massives. Optimiser les performances des systèmes Big Data. Assurer la qualité et la sécurité des données. Collaborer avec les équipes de développement pour intégrer les solutions de données. Surveiller et maintenir les systèmes en production. Analyser les besoins en données et proposer des solutions adaptées.

Contexte de la mission : Au sein d’une Direction des Systèmes d’Information d’un grand groupe international, vous intégrerez une équipe en charge du pilotage de la liquidité et de la gestion du collatéral . Cette direction mène plusieurs projets stratégiques liés à la conformité réglementaire (Bâle III, FSB, IRRBB) et au pilotage interne des risques structurels . Le bénéficiaire recherche un profil disposant d’une forte expertise technique pour accompagner l’évolution d’un socle applicatif basé sur la technologie ClickHouse® et contribuer à la restitution des données de risques structurels au niveau groupe. Missions principales : Traduire les besoins métiers en solutions techniques robustes et performantes Assurer le développement, la documentation, les tests et le déploiement du code Appliquer les bonnes pratiques internes : code review, pair programming, procédures de test et de déploiement Respecter les jalons projet et les budgets définis Contribuer à l’ industrialisation et l’optimisation des outils existants Participer aux activités de run et de build , avec possibilité d’astreintes Fournir un support technique aux équipes métier et aux utilisateurs finaux Livrables attendus : Analyse du besoin et étude d’impact technique Estimation des charges et planification des travaux Conception, développement et documentation du code Évolution, optimisation et automatisation du code existant Code reviews et tests unitaires, d’intégration et de non-régression Déploiement sur les environnements de test et de production Démonstration des livrables aux utilisateurs et support aux phases de validation (UAT) Suivi et surveillance des traitements de production

Client final : secteur paiement – mission longue – environnement Cloudera CDP Nous recherchons un Administrateur Lakehouse / Administrateur Cloudera confirmé ou senior pour accompagner l’un de nos clients grands comptes dans la gestion et l’exploitation de son écosystème Big Data. 🎯 Compétences OBLIGATOIRES (critères majeurs) 👉 Maîtrise parfaite des composants Lakehouse suivants : Apache Ranger (Data Security) Apache Atlas (Gouvernance & Lineage) Spark + Apache Zeppelin (Processing) NiFi (Ingestion) Apache Impala (Analytics) Hadoop (HDFS) + Apache Kudu (Data Lake) Hue (Serving / SQL UI) ➡️ Ces compétences sont indispensables : seuls les profils maîtrisant ces briques seront retenus. 🧩 Vos responsabilités Administrer et maintenir l’écosystème Cloudera / CDP (Cloudera Manager, HDFS, Yarn, Zookeeper…). Assurer le MCO/MCS : disponibilité, performances, sécurité, supervision. Documenter les procédures d’exploitation & rédiger des rapports synthétiques. Respecter les SLA et intervenir en cas d’incident. Travailler en environnement ITIL (gestion incidents, problèmes, changements). Automatiser les déploiements via Ansible (certificats, keystores, configurations). Utiliser les outils DevOps : GitHub , Jenkins . Exploiter les environnements Linux (analyse de logs, diagnostic). Participer aux réunions d’équipe, aux projets et aux comités. Être force de proposition sur l’amélioration continue et la supervision. 🌍 Environnement technique Cloudera CDP • Cloudera Manager • HDFS • Yarn • Zookeeper Apache Ranger • Apache Atlas • Spark • Zeppelin • NiFi • Impala Hadoop • Kudu • Hue Ansible • GitHub • Jenkins • Linux 📌 Profil recherché 5 à 7+ ans en administration Big Data / Hadoop / Cloudera impératif. Très forte expertise sur les briques Lakehouse listées ci-dessus. À l’aise en production, ITIL, sécurité, automatisation. Bon niveau d’anglais (échanges éditeurs Cloudera & fournisseurs). Consultant autonome, structuré, capable de rendre compte et d’améliorer l’existant. 🚀 Disponibilité immédiate ou rapide Si vous maîtrisez Cloudera + Ranger + Atlas + Spark + NiFi + Impala + Kudu , contactez-moi directement.

Descriptif du poste Au sein de l'équipe informatique d'un grand groupe bancaire (350 personnes), la DSI Fonctions Centrales a en charge la gestion d'applications métiers pour le compte des clients corporate (Finance, risque, conformité, marketing, automobile, RH, ...) et des plateformes data. Elle opère pour le compte de ses clients en central, mais est également fournisseur d'applications pour l'ensemble des filiales sur ce périmètre transverse. La prestation se déroule sur le site principal au sein de la Tribe Data France. Missions principales Accompagner les projets de migration vers le Cloud interne Accompagner les équipes de développement dans les bonnes pratiques de développement en intégrant les enjeux data et sécurité Mettre en place des pratiques d'automation/industrialisation via DevSecOps Réaliser la première implémentation de Gen AI dans le contexte Data Participer à des chantiers transverses d'amélioration continue et de monitoring Participer à la définition de la stratégie Data pour le périmètre France

En tant qu’Ingénieur Data Senior, vous jouerez un rôle clé dans la conception, le développement et l’optimisation de solutions data innovantes pour le secteur bancaire. Vous serez un membre essentiel de l’équipe Data Engineering et collaborerez avec des experts métiers, data scientists et développeurs pour transformer les plateformes digitales de nos clients. Vos missions principales Concevoir, développer et maintenir des solutions big data robustes et évolutives avec Hadoop, Spark, Kafka… Mettre en œuvre des pipelines de données temps réel et batch pour des cas d’usage complexes Garantir la qualité, la sécurité et la conformité des données à chaque étape du cycle de vie Intégrer des solutions de streaming avec Kafka pour des analyses quasi temps réel Développer et maintenir des microservices en Node.js Encadrer les ingénieurs juniors et promouvoir les bonnes pratiques

Architecte Infrastructure / DataStage Descriptif de la mission Le bénéficiaire souhaite une prestation d'accompagnement pour des activités d'expertise et d'ingénierie des technologies BI DataStage Missions principales Mise en place de la procédure d'installation et de configuration du produit selon les requis Installation/ Configuration / optimisation / Support/ sécurisation du produit DataStage afin de coller au besoin de mise en place d'une plateforme mutualisée partagée mais cloisonnée Définition des règles d'exploitation autour de la solution DataStage/BigIntegrate afin de garantir une bonne supervision du comportement en production

I. Contexte : Notre client connaît une forte croissance (+1,5 million de clients en un an) et renforce l’équipe Architecture Système/Réseaux (10 personnes) pour assurer la gestion et l’évolution de son infrastructure critique. L’environnement technique est 100% Linux, avec une architecture complexe : · Réseau : 2400 VM, 5-6 Data Centers, 100 applications Open Source · Datalakes : 2 PetaOctets de données · Organisation : Pas de PO, Scrum Master ni DevOps ; 4 équipes de développement (~30 projets) · Répartition des activités : o 1/3 MCO o 1/3 Obsolescence o 1/3 Build / Industrialisation II. Missions : Objectifs de la mission · Assurer la maintenance en conditions opérationnelles (Run 40%) et contribuer à la conception et industrialisation des infrastructures. · Participer à la mise en place d’un socle commun de provisioning, avec un focus sur Data et Sécurité. · Interagir avec les équipes BI pour les besoins de reporting réglementaire et autres. Enjeux techniques · Axes de conception : o Scalabilité o Résilience (site internet = point de contact unique) o Sécurité (chiffrement avancé, PKI, certificats) · Technologies & outils : o Système : Linux o Réseaux : TCP/IP niveau 2, HTTP, SNTP, DNS, zones, reverse proxy o Sécurité : PKI, certificats, chiffrement asymétrique o Containers & IaC : Kubernetes, Ansible (usage limité), Puppet, Terraform o Big Data : Hadoop, Spark, Cassandra, Zeppeli o Autres outils : Kafka, Cognos, Docker, Elasticsearch o Machine Learning : détection de fraude en temps réel · Cloud : utilisation très marginale (Infra as Code majoritairement on-premise)