Find your next tech and IT Job or contract Big Data

ContexteLe bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (CDP). Il s'agit également d'un accompagnement au développement d'un ensemble des DATA Services, avec un challenge sur les fonctionnalités à développer et les standards de travail. MissionsInstallation de cluster Monitoring et administration des outils Big Data Administration de cluster Upgrade des distributions et des composants Hadoop Installation des différents composants sur Hadoop Support et résolution des problèmes N2 et N3 Mise en place d'environnements de développement et de test Sécurisation des clusters

Contexte Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif d'assurer une mission d'Architecte capable d'instruire le dossier d'architecture AEGIS en concertation avec les parties prenantes internes et les architectes des entités opérationnelles. Missions Contribuer à la définition de la solution sur les dimensions data, métier, fonctionnelle, applicative et production (cloud tout particulièrement), tout en garantissant le respect des exigences d'architecture et les normes et standards du groupe. Modéliser les évolutions apportées par le projet et analyser les impacts de la solution proposée. Coordonner les interventions des différents experts métier et IT impliqués.

Le consultant interviendra au sein d'une équipe IT. La mission portera sur le suivi de POC Machine Learning et la proposition de solution d'intégration / industrialisation des modèles algorithmiques développés par les équipes Risques : • Accompagnement des équipes • Préconisations de bonnes pratiques de développement Python orienté ML • Structuration de projet de type ML/DL • Intégration de containers Docker • Relais technique envers les interlocuteurs (francophone / anglophone) • Participation aux projets suivant les sollicitations • Gestion de l'environnement de DEV (Serveurs, BDD, etc.) • Préconisations CI/CD • Préconisations Cloud (AWS, Azure) - langage Python - pratiques Machine Learning / Deep Learning. - web service - Cloud - Docker Rôle clé au sein des entités IT. Expertise technique, rigueur et sens de l'engagement et du service sont des atouts indispensables pour ce poste.

Contexte : Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif de couvrir les évolutions réglementaires du dispositif big data de stress tests. Missions : Développement des moteurs de calculs réglementaires (Capital interne, IFRS9, Bâle IV, Climat...) Clarification et qualification du besoin Implémentation de la solution en Java / Spark dans l'environnement CDP, et au besoin en Java / Angular en cohérence avec l'IHM Conception et choix de la solution technique en fonction des différentes contraintes (budget, temps, performance…) Support auprès de la MOA et des utilisateurs finaux Vision de bout en bout de la prise en compte du besoin à la livraison

Dans le cadre d'un projet stratégique en Banque / Finance, nous recherchons 2 Tech Leads Big Data / Data Engineering expérimentés pour rejoindre une équipe intervenant sur des sujets à fort enjeu autour des environnements BFI et Risk. 🎯 Profil recherchéExpérience confirmée en Big Data / Data Engineering Bonne connaissance des environnements Banque de Financement et d'Investissement (BFI) et des problématiques Risk Capacité à évoluer dans des environnements techniques complexes et à accompagner les équipes 💻 Compétences techniques indispensablesSpark / PySpark / Scala Python Hive / SQL Elasticsearch / Kibana Jenkins Ansible Oozie Méthodologie Agile 🚀 Vos missionsConcevoir et développer des solutions Big Data performantes Accompagner les équipes sur les choix techniques et les bonnes pratiques Participer à l'industrialisation des traitements et à l'optimisation des performances Intervenir sur des projets stratégiques à fort impact dans le secteur bancaire 📍 2 postes à pourvoir immédiatement 👉 Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé.

Almatek recherche pour l'un de ses clients Un Expert Data et méthodologie à côté de Rennes. Enjeux business : -Accélérer le time-to-market des solutions et produits -Améliorer la prédictibilité des projets et la maîtrise des délais -Renforcer l'alignement entre besoins métier et livrables techniques -Optimiser l'allocation des ressources data Enjeu technique : -Faciliter la collaboration inter-équipes (data, IT, architecture, métier) Enjeux organisationnels : -Sensibiliser et former les équipes projet ou porteurs de projets (Epic Owner, Business Owner, Product Owner) aux enjeux data -Adapter la méthodologie projet existante pour y intégrer les considérations data -Embarquer la gouvernance de donnée dans la méthodologie projet avec l'appui de la cellule Data Gouvernance -Développer l'autonomie des responsables de projet dans l'identification des prérequis data -Alimenter une culture data transversale au sein de l'organisation -Former les équipes agiles à des réflexes organisationnels adaptées à la data -Améliorer la communication et la transparence sur la relation entre les métiers et le pôle data. Objectif principal : Concevoir et initier le déploiement d'une méthodologie projet agile spécifiquement adaptée aux projets data, intégrant des pratiques pédagogiques, adaptables, et efficientes. Cette méthodologie doit pouvoir s'intégrer dans un cadre plus global de Lean Portfolio Management et une démarche d'étude et Cadrage 360 de projets. Objectifs opérationnels : -Analyser l'existant et identifier les axes d'amélioration -Définir un framework méthodologique pragmatique et outillé -Former les populations porteuses de projets et accompagner la conduite du changement -Créer les outils et templates nécessaires au déploiement -Piloter la mise en œuvre sur un projet pilote -Accompagner la production et la mise en place du cadre de gouvernance Data Localisation : à côté de Rennes / 3j par semaine sur site

Dans le cadre d'un programme stratégique, nous recherchons un Expert Cloudera / CDP pour intervenir sur la conception, l'administration, l'évolution et l'industrialisation d'une plateforme Data. Vous interviendrez au cœur d'un environnement technique exigeant, sur des sujets d'architecture, d'administration, d'industrialisation et de migration de plateformes Big Data. Vos principales responsabilités : Concevoir et faire évoluer l'architecture de la plateforme Data. Administrer et maintenir les environnements Cloudera / CDP. Participer aux migrations et aux évolutions de la plateforme. Industrialiser les déploiements et traitements via Ansible, Shell et CI/CD. Garantir la disponibilité, la performance, la sécurité et la fiabilité de la plateforme. Analyser et résoudre les incidents techniques complexes. Améliorer la supervision et l'observabilité de la plateforme. Rédiger la documentation technique et les procédures d'exploitation. Accompagner les équipes et contribuer au transfert de compétences.

Dans le cadre d'un programme de transformation digitale et de la mise en place d'une plateforme data Big Data, un grand groupe d'assurance français renforce son dispositif avec un Architecte / Tech Lead Big Data. Vous serez le référent technique de la plateforme : vous porterez la conception des solutions data avec les métiers, encadrerez les équipes de développement et garantirez la qualité des traitements batch et streaming, depuis les sources jusqu'à leur exposition dans des zones dédiées ou via des API. Vos missions : • Concevoir les solutions et les usages Big Data avec les métiers • Animer les ateliers et les comités multi-acteurs (métiers, POs, équipes techniques, partenaires) • Coordonner les mises en place et les recettes • Définir les architectures cibles des traitements batch et streaming (Spark SQL, Java Spark) • Encadrer techniquement les développeurs de la Squad (revues de code, bonnes pratiques, montée en compétences) • Analyser les spécifications et les besoins des métiers avec les Product Owners • Produire et maintenir la documentation d'architecture sous Confluence • Assurer le support de niveau 3 et la maintenance des produits en production • Participer à l'ensemble des cérémonies agiles de votre Squad (Scrum) Environnement technique : distribution Big Data Cloudera/MapR, Spring Boot, Java 11, Kafka, MongoDB, Jenkins, K8S, ArgoCD, Sonar, et plusieurs autres technologies à la pointe

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

📌 Présentation de la Mission Au sein de la Direction Data d'un grand groupe de la grande distribution, la Data Platform conçoit et développe des services digitaux centrés sur la donnée. L'objectif est de fournir aux équipes métiers des données fiables, sécurisées et accessibles via API, d'accélérer les traitements analytiques et de garantir un alignement parfait entre les enjeux opérationnels et décisionnels. Informations Clés : Rôle : Data Translator / Product Owner Expérimenté (Data Platform) Localisation : Massy (91) — 2 jours/semaine de présence obligatoire sur site TJM Max : 450 € / jour Date de démarrage : 10/08/2026 Durée de la mission : 12 mois (jusqu'au 06/08/2027) Responsabilités & Missions Principales : Cadrage & Conception Fonctionnelle / Technique : Analyser et cadrer les besoins métiers afin de concevoir des solutions Data adaptées. Rédiger les spécifications technico-fonctionnelles, les contrats d'interface et les spécifications de mapping. Réaliser la modélisation des objets métiers du domaine dans le socle Big Data (Livrable : Modèle Data Domaine - MDD). Concevoir les expositions de données (Web Services / APIs et modèles BDD) en étroite collaboration avec l'équipe Gouvernance Data. Gestion du Produit & Suivi Delivery : Construire et faire évoluer la roadmap du produit Data. Animer et gérer le backlog produit (rédaction et priorisation des User Stories). Assurer le suivi de la mise en œuvre auprès de l'équipe Scrum. Préparer et piloter la phase de recette fonctionnelle. Gérer le cycle de vie des projets, la qualification des données, le suivi des anomalies et le traitement de la dette technique. Gouvernance & Synergie Transverse : Garantir la cohérence fonctionnelle et transverse du domaine de données avec les autres lignes produits de la plateforme. Suivre la qualité des données via des tableaux de bord (Dataviz). Assurer le reporting d'avancement auprès des responsables de programme et Data Product Managers.

La golden source des moteurs régaliens du groupe est une brique vieillissante basée sur une techno DataStage et une BDD Exadata Oracle montre quelques limites qui nécessitent une refonte, comprenant une sortie de l'ETL Datastage. Un cadrage doit être lancé pour porter cette ambition de refonte qui va concerner plusieurs parties-prenantes en plus des acteurs DSI. Nous avons besoin de nous renforcer avec un profil de directeur de projet technique avec des compétences de tech lead data.

Dans le cadre de la transformation digitale de ses activités à l'international, notre client recherche un profil hybride capable de faire le lien entre les métiers de la construction, les environnements BIM, la data et les nouvelles technologies. Vous interviendrez auprès d'équipes opérationnelles et de chantiers situés dans différents pays afin de les accompagner dans l'adoption de nouvelles solutions digitales, d'optimiser leurs méthodes de travail et de développer rapidement des outils répondant à leurs besoins terrain. Ce poste s'adresse à un profil curieux, orienté service et particulièrement à l'aise avec les sujets technologiques et l'innovation. Vos missionsAccompagner les équipes chantier dans leur transformation digitale et dans l'adoption des outils BIM. Recueillir et analyser les besoins des utilisateurs et des équipes opérationnelles. Piloter la mise en place et l'amélioration des processus BIM sur les différents projets. Structurer, exploiter et valoriser les données issues des maquettes numériques et des outils métiers. Identifier des opportunités d'automatisation et d'optimisation des processus. Concevoir rapidement des prototypes, applications ou outils internes grâce à des solutions de développement assisté par l'intelligence artificielle. Développer ou faire évoluer des scripts, connecteurs, tableaux de bord et automatisations. Assurer l'interopérabilité entre les outils BIM, les bases de données et les autres solutions digitales. Former, conseiller et assister les utilisateurs dans la prise en main des nouveaux outils. Participer à la veille technologique autour du BIM, de la data, de l'intelligence artificielle et des nouvelles pratiques de développement. Intervenir ponctuellement ou régulièrement sur des chantiers à l'international.

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑‍💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,

Au sein d'une équipe dédiée au conseil et à la valorisation de la donnée, tu interviens auprès des directions métiers afin de les accompagner dans leurs usages Data et dans la structuration de leurs besoins. Tu joues un rôle d'interface entre les métiers, les équipes Data et les équipes SI, avec un enjeu fort autour du conseil, du cadrage, de la qualité des données et de la satisfaction métier. Tes missions principales : Accompagner les directions métiers dans leurs usages autour de la donnée Recueillir, analyser et formaliser les besoins métiers Apporter un rôle de conseil sur l'exploitation et la valorisation de la Data Participer au cadrage des projets Data : études d'impact, faisabilité, opportunité Garantir la cohérence fonctionnelle et technique des solutions Data Produire les livrables fonctionnels : modélisations de données, SFG, SFD Réaliser les recettes fonctionnelles, qualifier les anomalies et suivre les corrections Assurer le support et l'assistance métier sur les usages Data Maintenir à jour la documentation du patrimoine fonctionnel Contribuer à la satisfaction métier en veillant à la qualité, aux engagements, aux coûts et aux délais

RésuméLe poste de Data Engineer est axé sur le développement et la maintenance de l'infrastructure Big Data , avec un accent sur l'expertise Hadoop pour assurer la gestion, l'optimisation et la disponibilité de la plateforme Hadoop. Responsabilités :Participer aux task forces pour résoudre des problématiques techniques complexes. Évoluer l'infrastructure et déployer de nouvelles fonctionnalités à forte valeur ajoutée. Gérer les montées de versions majeures des composants Hadoop. Mettre en place et maintenir la documentation technique destinée aux entités internes et utilisateurs. Gérer la collaboration avec l'éditeur Cloudera et les entités internes. Suivre le planning global de production. Must Haves :Expertise en Ansible. Expérience avec Apache NiFi. Compétence en Hadoop (Big Data). Maîtrise de Kafka. Connaissances en Scripting (GitHub, Ansible, AWX, shell, VBA). Compétence en Spark. Nice to Have :Certifications Cloud spécifiques (par exemple, Cloudera Certified Professional). Connaissances en Terraform et Terragrunt. Autres Détails :Catégorie: Environnement technique. Détails: Ingestion avec Kafka et Nifi, moteur : CDP 7.1.9, automatisation avec Ansible. Livrables attendus : installation et maintenance des clusters Hadoop, sécurité et performances de la plateforme. Type de prestation : Data Engineering Level 8.4.