Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop à Paris

Dans le cadre du renforcement et de l'industrialisation de son socle Big Data, un grand acteur du secteur bancaire recherche un Ingénieur DevOps Big Data / Hadoop (H/F) pour accompagner la fiabilisation, l'automatisation et la mise en production de ses plateformes data Vous interviendrez au sein d'équipes IT Data en charge des datalakes Hadoop, dans un contexte à forts enjeux de performance, sécurité et résilience, sur des environnements hybrides (On-Premise et Cloud public) Missions - Concevoir, valider et optimiser les chaînes CI/CD adaptées aux environnements Big Data - Industrialiser et automatiser les déploiements des plateformes Hadoop / Datalake - Mettre en place et renforcer les pipelines d'intégration et de déploiement continus - Sécuriser et standardiser les processus d'exploitation (DevSecOps) - Définir et déployer les mécanismes d'observabilité : supervision, logs, métriques et alerting - Automatiser les infrastructures via des outils de scripting et d'Infrastructure as Code - Produire la documentation opérationnelle (runbooks, procédures, dossiers d'exploitation) - Accompagner la mise en production et la transition vers le RUN

Dans le cadre d’un programme de transformation data, nous recherchons un QA Big Data pour garantir la qualité, la fiabilité et la performance des pipelines et produits data. Vous analyserez les architectures et flux existants, identifierez les risques qualité et proposerez des stratégies de test adaptées aux environnements Big Data et analytiques. Vous concevrez et mettrez en œuvre des tests automatisés sur les traitements batch et streaming (qualité des données, complétude, fraîcheur, cohérence, non-régression), en utilisant des frameworks et outils adaptés (Great Expectations, dbt tests, Python, SQL ou équivalent). Vous serez responsable de la définition des critères d’acceptance data, de la mise en place de contrôles qualité et de la surveillance des anomalies en production. Vous travaillerez étroitement avec les équipes Data Engineering, Data Science et DevOps pour intégrer la qualité dans les pipelines CI/CD et les processus de delivery. Vous participerez également à l’analyse des incidents data, à l’amélioration continue des pratiques de test et à la documentation des standards qualité au sein de la plateforme.

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Big Data pour concevoir et industrialiser des plateformes de traitement de données à grande échelle. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines, optimisation des traitements distribués, passage vers des architectures plus scalables et temps réel) et guiderez leur mise en œuvre avec Spark, Kafka et les écosystèmes Big Data. Vous serez responsable de la refactorisation et de l’optimisation des pipelines de données, de l’amélioration des performances et de l’intégration de mécanismes de fiabilité et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour adapter les traitements aux pipelines CI/CD et aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering et d’industrialisation. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions pérennes.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Missions principales: Administration et exploitation d’environnements Unix / Linux en production Supervision, maintien en conditions opérationnelles et optimisation des plateformes Gestion des incidents complexes (N2 / N3) et participation aux astreintes Automatisation des tâches d’exploitation (scripting shell, outils d’admin) Collaboration avec les équipes applicatives, DevOps et sécurité Participation aux projets d’évolution de l’infrastructure Contribution à la définition et à l’application des standards d’exploitation sur des environnements critiques Intervention sur des plateformes à forts enjeux de disponibilité, de performance et de fiabilité

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

En tant que Consultant(e) AMOA Big Data / Data , vous accompagnez la modélisation et à la mise en œuvre des solutions décisionnelles (reporting stratégique, opérationnel, etc.) la mise en œuvre des usages concernant les données des services Solidarités et Droit à l’information. Les solutions à mettre en œuvre le seront sous une architecture technique Hadoop/Hive ; les outils de manipulation des données : Tableau et Alteryx. De plus, vous participez à l’enrichissement des dictionnaires de données sur le périmètre concerné ainsi qu’à la modélisation des datamarts décisionnels répondant aux cas d’usages du projet. Les activités seront menées en méthode dite agile . La durée des sprints est de trois semaines. Le nombre de sprints sera de 9. À ce titre, vous aurez pour rôle : -Accompagnement et interface entre Métier et MOE sur les solutions d’architecture data mises en place -Animer les réunions avec les utilisateurs et l’équipe de développement (une réunion par semaine, de 5 à 10 participants par réunion) -Recueillir et restituer les indicateurs -Tâches attendues pendant un sprint : Analyser les user-stories prises en compte dans les sprints et animer les ateliers métiers associés ; Modélisation fonctionnelle des objets pivots et des datamarts ; Préparer et conduire les recettes -Réalisation d’un mode opératoire, façon Tutoriel, pour que les métiers puissent construire des rapports en autonomie. Cela pourra être sous forme de document de type Powerpoint avec un maximum de 30 slides -Réalisation/automatisation de rapports et d’indicateurs sur demande des métiers -Accompagnement des métiers dans l’utilisation de la solution S.I mise en œuvre -Réalisation de documents sur le fonctionnement de l’outil à destination de la MOA. Les documents seront sous format de type Word. Ils devront être exhaustifs en termes de périmètre de fonctionnalités mise en œuvre.

Contexte de la mission Dans un environnement IT Data du secteur de l’assurance , le client exploite une plateforme Hadoop pour le traitement de données volumineuses issues des systèmes historiques. La mission vise à maintenir, faire évoluer et structurer les flux data existants, tout en assurant leur intégration avec les usages analytiques et cloud. Missions principales Développer et maintenir des traitements de données sur environnement Hadoop Gérer des volumes importants de données métiers assurance Participer à la conception et à l’optimisation des flux data Assurer la fiabilité, la performance et la qualité des traitements Collaborer avec les équipes cloud, BI et Data Science Contribuer aux phases d’analyse technique et de conception des solutions data Stack technique obligatoire Hadoop Écosystème Big Data SQL Environnements data distribués Profil recherché Data Engineer confirmé spécialisé Hadoop Expérience en contexte de forte volumétrie et SI complexe Capacité à faire de la conception de flux , pas uniquement de l’exécution Sensibilité aux enjeux métiers et réglementaires du secteur assurance

Contexte de la mission Dans le cadre du renforcement de sa plateforme data cloud, un acteur majeur du secteur de l’assurance recherche un Cloud Engineer orienté data . La mission consiste à accompagner la structuration, la fiabilisation et l’exploitation des environnements data sur GCP , en support des équipes IT Data. Missions principales Concevoir et maintenir les environnements cloud data sur GCP Accompagner les équipes Data Engineer dans l’exploitation des plateformes data Participer à la conception des architectures cloud data Garantir la disponibilité, la performance et la sécurité des environnements Assurer le lien entre les équipes infrastructure, cloud et data Contribuer à l’industrialisation des plateformes data Stack technique obligatoire Google Cloud Platform (GCP) Environnements cloud data Services data GCP (dont BigQuery) Connaissance des environnements Hadoop appréciée Profil recherché Cloud Engineer confirmé orienté data Bonne compréhension des architectures data cloud Capacité à travailler avec des équipes data techniques Profil structurant, orienté conception et exploitation

En tant que Data Analyst ou Data Scientist ou AI Ingineer , vous contribuez aux projets stratégiques de grands comptes bancaires en intervenant sur l’analyse, le traitement et la valorisation des données bancaires et financières. Vos principales missions : Recueillir et analyser les besoins métiers Collecter, structurer et traiter les données chiffrées issues de différentes sources Nettoyer les données (suppression des doublons, gestion des valeurs manquantes, etc.) Développer des algorithmes pour l’exploitation des données (analyse statistique, machine learning) Concevoir et construire des actifs informatiques dédiés à la préparation et à la visualisation des données Développer du code ou des scripts s’appuyant sur des données structurées et non structurées Participer aux phases de tests, recettes et validation des solutions déployées Installer et configurer les outils requis dans le respect du cadre de référence technique Assurer la maintenance évolutive et corrective des solutions déployées, intervenir en support si nécessaire Rédiger la documentation associée (use cases, développements, procédures) Lieu : Paris – Client : Grand établissement bancaire – Type de mission : CDI / Freelance / Portage Démarrage : ASAP – Durée : 3 ans

Mission de pilotage de socle industriel IA Contexte Dans le cadre de sa stratégie Data & IA, notre client en secteur d'assurance engage un programme structurant visant à industrialiser et accélérer le déploiement des cas d’usage de Data Science, Machine Learning et IA Générative (LLM) . Ce programme repose sur la mise en place de socles technologiques mutualisés, robustes, sécurisés et scalables , notamment : une plateforme MLOps , un socle LLMOps , un environnement Python standardisé . Ces socles doivent permettre aux équipes Data & IA de concevoir, entraîner, déployer et superviser des modèles d’IA de bout en bout, dans des conditions industrielles. Dans ce contexte, notre client recherche un Responsable Plateforme MLOps , en charge du pilotage, de la conception, de la mise en œuvre et de l’exploitation du socle MLOps . Responsable Plateforme MLOps (Mission pilote de socle IA) Rattachement fonctionnel Data Office / Direction Data & IA En collaboration étroite avec : équipes Data Scientists & ML Engineers équipes IT / DSI / Production équipes Architecture et Sécurité SI 🎯 MISSIONS PRINCIPALES1. Conception & Architecture Définir, maintenir et faire évoluer l’ architecture cible de la plateforme MLOps en cohérence avec les standards du client. Sélectionner et intégrer les outils MLOps les plus pertinents (orchestration, versioning, CI/CD IA, monitoring…), sur la base du cadrage réalisé. Garantir l’ interopérabilité avec les socles LLMOps existants et l’environnement Python à venir . Valider les choix techniques avec les instances d’architecture et de sécurité. 2. Mise en œuvre & Déploiement Piloter et contribuer activement à la mise en œuvre technique du socle MLOps. Compléter le socle CI/CD existant avec les composants spécifiques à l’IA et au ML. Définir et implémenter les processus de déploiement, de versioning et de mise à jour des modèles en production . Travailler en coordination avec les équipes DSI / Production Data. 3. Exploitation, RUN & Monitoring Garantir la disponibilité, la performance, la sécurité et la scalabilité de la plateforme. Mettre en place un monitoring proactif des modèles (qualité, dérive, performance) et de l’infrastructure. Définir et suivre les KPIs, SLAs et indicateurs de service . Gérer les incidents et problèmes selon les pratiques ITIL. 4. Standardisation & Bonnes pratiques Définir et diffuser les bonnes pratiques MLOps auprès des équipes Data & IA. Mettre en place des standards de développement, de test, de packaging et de déploiement des modèles. Produire et maintenir une documentation technique et fonctionnelle complète. 5. Accompagnement & Support Accompagner les Data Scientists et ML Engineers dans l’appropriation de la plateforme. Fournir un support technique expert . Contribuer aux actions de formation, de conduite du changement et de partage de connaissances , en lien avec les équipes Change du Data Office. 6. Veille & amélioration continue Assurer une veille technologique active sur les outils et pratiques MLOps / LLMOps. Proposer des évolutions continues du socle en fonction des besoins métiers et des innovations du marché.

Profil : Data Engineer Profil expérimenté avec des connaissances dans les déclaratifs réglementaires de l'Assurance-Vie Compétences techniques requises : Maîtrise avancée de Java Spark, y compris Java 11 et SparkSQL. Connaissance approfondie de l'écosystème Big Data, en particulier Hadoop, Spark et Kafka. Expérience significative en Build et en Run dans des environnements Big Data. Utilisation avancée d'outils DevOps tels que GitLab, Jenkins, Nexus, Maven, Docker, Kubernetes, ArgoCD, Sonar, etc. Solide compréhension des pratiques Agiles/SAFe et compétence dans l'utilisation de JIRA. Excellente maîtrise de Hive et Shell pour la manipulation et la transformation de données. Expérience confirmée avec des clusters on-premise MapR, y compris la gestion et l'optimisation. Compréhension approfondie des domaines de l'assurance, en particulier Assurance vie et Prévoyance. Connaissance avancée des bases de données relationnelles et non relationnelles. Excellentes compétences de communication pour collaborer efficacement avec les équipes. Leadership technique pour encadrer et orienter les membres de l'équipe. Esprit d'initiative et capacité à résoudre des problèmes techniques complexes. Capacité à travailler dans un environnement Agile et à gérer les priorités en conséquence. Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch.

Contexte Dans un environnement data stratégique à forte volumétrie, le groupe consolide et fait évoluer sa plateforme Big Data afin de soutenir la montée en charge des usages data & analytics. Le poste est centré sur la robustesse, la performance, la sécurité et l’industrialisation d’une plateforme Cloudera opérée en production. Mission principale ✔️ Définir et faire évoluer l’architecture technique de la plateforme Data (on-premise, hybride ou cloud selon le contexte) ✔️ Administrer et optimiser les environnements Cloudera et leurs composants clés (HDFS, Hive, Spark, Kafka, Impala, YARN…) ✔️ Assurer la disponibilité, la sécurité, la résilience et les performances des clusters en production ✔️ Concevoir les architectures de stockage et de calcul distribués adaptées aux besoins ✔️ Déployer les bonnes pratiques d’industrialisation : automatisation, supervision, capacity planning ✔️ Travailler en transverse avec les équipes data engineering, sécurité et exploitation ✔️ Contribuer aux arbitrages technologiques et à la feuille de route plateforme ✔️ Anticiper les enjeux de scalabilité, de tuning et de maîtrise des coûts

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess