Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop à Paris

Contexte de la mission Dans un environnement IT Data du secteur de l’assurance , le client exploite une plateforme Hadoop pour le traitement de données volumineuses issues des systèmes historiques. La mission vise à maintenir, faire évoluer et structurer les flux data existants, tout en assurant leur intégration avec les usages analytiques et cloud. Missions principales Développer et maintenir des traitements de données sur environnement Hadoop Gérer des volumes importants de données métiers assurance Participer à la conception et à l’optimisation des flux data Assurer la fiabilité, la performance et la qualité des traitements Collaborer avec les équipes cloud, BI et Data Science Contribuer aux phases d’analyse technique et de conception des solutions data Stack technique obligatoire Hadoop Écosystème Big Data SQL Environnements data distribués Profil recherché Data Engineer confirmé spécialisé Hadoop Expérience en contexte de forte volumétrie et SI complexe Capacité à faire de la conception de flux , pas uniquement de l’exécution Sensibilité aux enjeux métiers et réglementaires du secteur assurance

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Contexte de la mission Dans le cadre du renforcement de sa plateforme data cloud, un acteur majeur du secteur de l’assurance recherche un Cloud Engineer orienté data . La mission consiste à accompagner la structuration, la fiabilisation et l’exploitation des environnements data sur GCP , en support des équipes IT Data. Missions principales Concevoir et maintenir les environnements cloud data sur GCP Accompagner les équipes Data Engineer dans l’exploitation des plateformes data Participer à la conception des architectures cloud data Garantir la disponibilité, la performance et la sécurité des environnements Assurer le lien entre les équipes infrastructure, cloud et data Contribuer à l’industrialisation des plateformes data Stack technique obligatoire Google Cloud Platform (GCP) Environnements cloud data Services data GCP (dont BigQuery) Connaissance des environnements Hadoop appréciée Profil recherché Cloud Engineer confirmé orienté data Bonne compréhension des architectures data cloud Capacité à travailler avec des équipes data techniques Profil structurant, orienté conception et exploitation

Vous interviendrez pour un grand acteur du secteur de l’énergie, au sein d’une prestation pluridisciplinaire. Votre rôle sera de gérer, maintenir et optimiser les plateformes Big Data afin d’assurer leur performance et disponibilité. Vous travaillerez en étroite collaboration avec les équipes de développement et les analystes de données. 4. Missions principales Gérer et maintenir les plateformes de données massives. Optimiser les performances des systèmes Big Data. Assurer la qualité et la sécurité des données. Collaborer avec les équipes de développement pour intégrer les solutions de données. Surveiller et maintenir les systèmes en production. Analyser les besoins en données et proposer des solutions adaptées.

Client final : secteur paiement – mission longue – environnement Cloudera CDP Nous recherchons un Administrateur Lakehouse / Administrateur Cloudera confirmé ou senior pour accompagner l’un de nos clients grands comptes dans la gestion et l’exploitation de son écosystème Big Data. 🎯 Compétences OBLIGATOIRES (critères majeurs) 👉 Maîtrise parfaite des composants Lakehouse suivants : Apache Ranger (Data Security) Apache Atlas (Gouvernance & Lineage) Spark + Apache Zeppelin (Processing) NiFi (Ingestion) Apache Impala (Analytics) Hadoop (HDFS) + Apache Kudu (Data Lake) Hue (Serving / SQL UI) ➡️ Ces compétences sont indispensables : seuls les profils maîtrisant ces briques seront retenus. 🧩 Vos responsabilités Administrer et maintenir l’écosystème Cloudera / CDP (Cloudera Manager, HDFS, Yarn, Zookeeper…). Assurer le MCO/MCS : disponibilité, performances, sécurité, supervision. Documenter les procédures d’exploitation & rédiger des rapports synthétiques. Respecter les SLA et intervenir en cas d’incident. Travailler en environnement ITIL (gestion incidents, problèmes, changements). Automatiser les déploiements via Ansible (certificats, keystores, configurations). Utiliser les outils DevOps : GitHub , Jenkins . Exploiter les environnements Linux (analyse de logs, diagnostic). Participer aux réunions d’équipe, aux projets et aux comités. Être force de proposition sur l’amélioration continue et la supervision. 🌍 Environnement technique Cloudera CDP • Cloudera Manager • HDFS • Yarn • Zookeeper Apache Ranger • Apache Atlas • Spark • Zeppelin • NiFi • Impala Hadoop • Kudu • Hue Ansible • GitHub • Jenkins • Linux 📌 Profil recherché 5 à 7+ ans en administration Big Data / Hadoop / Cloudera impératif. Très forte expertise sur les briques Lakehouse listées ci-dessus. À l’aise en production, ITIL, sécurité, automatisation. Bon niveau d’anglais (échanges éditeurs Cloudera & fournisseurs). Consultant autonome, structuré, capable de rendre compte et d’améliorer l’existant. 🚀 Disponibilité immédiate ou rapide Si vous maîtrisez Cloudera + Ranger + Atlas + Spark + NiFi + Impala + Kudu , contactez-moi directement.

En tant qu’Ingénieur Data Senior, vous jouerez un rôle clé dans la conception, le développement et l’optimisation de solutions data innovantes pour le secteur bancaire. Vous serez un membre essentiel de l’équipe Data Engineering et collaborerez avec des experts métiers, data scientists et développeurs pour transformer les plateformes digitales de nos clients. Vos missions principales Concevoir, développer et maintenir des solutions big data robustes et évolutives avec Hadoop, Spark, Kafka… Mettre en œuvre des pipelines de données temps réel et batch pour des cas d’usage complexes Garantir la qualité, la sécurité et la conformité des données à chaque étape du cycle de vie Intégrer des solutions de streaming avec Kafka pour des analyses quasi temps réel Développer et maintenir des microservices en Node.js Encadrer les ingénieurs juniors et promouvoir les bonnes pratiques

Redlab cherche pour le compte d'un client grand compte , un ingénieur big Data /bases de données Expert des architectures data : bases de données SQL & NoSQL, Big Data, pipelines, gouvernance, performance, sécurité. Missions clés Administrer et optimiser bases SQL & NoSQL. Concevoir pipelines ETL/ELT sur données hétérogènes. Travailler sur Hadoop, Spark, Hive, Delta Lake. Mettre en place partitionnement, Mettre en place sharding, caches. Déployer en cloud (AWS/Azure/GCP). Forte maitrise des Bases de données

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Missions Gestion des incidents dans un environnement front-office trading / finance de marché. Forte activité RUN : incidents, demandes, livraisons. Gestion autonome des arrêts/relances, supervision, mises en production, upgrades. Investigation des incidents techniques et performances. Expertise technique autour de Sophis et du pricer (tests de performance, disponibilité…). Contribution aux projets en cours : DevOps (Jenkins, XL Deploy, XL Release), upgrades Windows 2016, évolution de la distribution de calculs, framework Python vers Hadoop/Spark/Hive, upgrade majeur Sophis.