Contexte : nous recherchons un expert Flux NiFi dans le cadre d'un projet stratégique de modernisation d'infrastructure. Vous interviendrez sur la migration de plus de 450 flux NiFi actuellement hébergés en IaaS vers un cluster Kubernetes (CaaS) dédié. Vos missions : Réaliser le rétro-engineering des flux NiFi pour valider leur migration, avec adaptation si nécessaire Vous synchroniser avec les équipes DevOps pour valider le bon usage du socle, notamment sur les aspects FinOps Préparer la migration selon l'allotissement défini : préparation du socle, coordination avec les métiers Assurer les phases de validation pré-migration et post-migration Travailler en lien direct avec le Tech Lead, dans le respect des standards définis
🚀 Opportunité – Expert Hadoop / Cloudera CDP / Ansible (H/F)Dans le cadre du renforcement d'une plateforme Big Data stratégique d'un grand groupe bancaire, nous recherchons un Expert Hadoop / Cloudera CDP pour intervenir sur des projets d'évolution, d'industrialisation et de maintien en conditions opérationnelles d'une infrastructure critique. Vos missionsAdministrer, maintenir et optimiser des clusters Hadoop (Cloudera CDP). Assurer la disponibilité, la performance et la sécurité de la plateforme Big Data. Automatiser les déploiements, patchs et configurations avec Ansible et Terraform. Participer aux montées de version des composants Hadoop. Intervenir sur des incidents complexes et contribuer aux task forces techniques. Déployer de nouvelles fonctionnalités d'infrastructure. Collaborer avec l'éditeur et les équipes techniques internes. Produire et maintenir la documentation technique. Environnement techniqueHadoop / Cloudera CDP 7.1.x Apache Kafka Apache NiFi Spark Ansible Terraform / Terragrunt Shell scripting GitHub / AWX Profil recherchéSolide expérience d'administration de plateformes Hadoop / Cloudera. Très bonne maîtrise d'Ansible et de l'automatisation d'infrastructure. Expérience sur Kafka, NiFi et Spark. Bonne connaissance des environnements Linux et des pratiques DevOps. Capacité à intervenir sur des problématiques techniques complexes et à accompagner les évolutions d'une plateforme Big Data. Informations complémentaires📍 Localisation : Île-de-France 🏢 Mission en présentiel 📅 Démarrage : ASAP ⏳ Mission longue durée (12 mois renouvelables) 📩 Si cette opportunité vous intéresse, n'hésitez pas à me contacter en message privé ou à envoyer votre CV.
📍 Contexte Société Générale recherche un Data Engineer / Expert Hadoop pour assurer l'administration, la maintenance et l'évolution de sa plateforme Big Data Cloudera CDP. La mission porte sur la fiabilité, la performance, les montées de version et l'automatisation de l'infrastructure Big Data. 🎯 Missions principales Administrer et maintenir les clusters Hadoop Cloudera CDP. Participer aux montées de version des composants Hadoop. Résoudre les incidents techniques complexes et intervenir en task force. Automatiser les déploiements, le patching et l'exploitation avec Ansible et Terraform/Terragrunt. Garantir la disponibilité, la performance et la sécurité de la plateforme. Gérer les changements (tests, rollback, mise en production). Collaborer avec Cloudera et les équipes internes. Rédiger la documentation technique. 🛠 Stack technique Big Data : Hadoop, Cloudera CDP 7.1.9, Spark Ingestion : Kafka, Apache NiFi Automatisation : Ansible, Terraform, Terragrunt, AWX Versioning / Scripting : Shell, Git, GitHub
Au sein du domaine fonctionnel Énergie, la mission s'inscrit dans un contexte d'analyse technico-fonctionnelle et de maintien en conditions opérationnelles d'applications de gestion de la Performance Énergétique. Le prestataire intervient au sein de l'équipe Énergie, dans un environnement agile, afin d'assurer la maintenance quotidienne des applications et d'accompagner les métiers dans l'amélioration des outils et des processus, qu'il s'agisse d'évolutions, de corrections ou de projets spécifiques. La mission nécessite une montée en compétence rapide sur plusieurs applications du périmètre, afin d'en maîtriser les aspects fonctionnels et techniques. Elle implique également la coordination des ateliers techniques et fonctionnels avec les métiers, les équipes DITD, les éditeurs et la DevTeam, durant les phases d'étude, d'architecture, de spécification, de recette et de déploiement. Enfin, la mission requiert une forte capacité de formalisation à travers la rédaction de livrables projet tels que les spécifications, les cahiers de recette, les modes opératoires et les comptes rendus. Le prestataire est responsable d'une partie fonctionnelle du projet. Il agit en tant que représentant des besoins des utilisateurs et intervient sur le maintien des applications, tant sur les volets fonctionnels que techniques, en lien avec les enjeux de performance énergétique. Il est également en charge de la supervision des flux entre le système historique, Portail énergies, SCOPE et le reste de l'écosystème SI. La mission a pour objectif d'améliorer la performance des applications, de contribuer à leur bon fonctionnement et de participer à la gestion ainsi qu'à l'évolution du système d'information métier. Le prestataire veille à la cohérence du SI métier avec les orientations, les modes de fonctionnement et les processus définis au niveau du métier.
Plateforme On-Premise & Cloud Synthèse de la Mission : Rôle : Ingénieur Data Senior (> 7 ans d'expérience) Localisation : Paris ou Rennes (3 jours/semaine sur site, 2 jours en télétravail) TJM Max : 770 € / jour Date de démarrage : ASAP Durée : 5 à 6 mois (jusqu'au 27/11/2026) Contexte & Objectif de la Mission : Au sein d'un grand groupe média, l'objectif principal est de concevoir et construire le MVP d'une plateforme Data On-Premise basée sur des technologies Open Source. La plateforme permettra de : Gérer les transformations de données On-Premise et alimenter un Data Lake local. Servir de plateforme d'ingestion pour le Big Data sur GCP (Cloud Public). Faciliter la transition du mode Batch vers le Streaming (Temps réel). Valider la faisabilité de migration de flux ETL legacy (OpenText / Genio). Responsabilités & Missions Principales : Conception & Déploiement du MVP : Architecturer et intégrer la plateforme sur un socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Installer et configurer la stack Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Validation Technique & Cas d'Usage : Migrer quelques flux ETL clés pour valider la valeur de la plateforme. Déployer des pipelines streaming (Kafka + Spark Structured Streaming). Mettre en place l'alimentation du Data Lake (Iceberg + Trino) et assurer l'interopérabilité avec GCP. Collaboration & Documentation : Travailler en synergie avec les équipes Data/IA et DevOps/Infra. Documenter l'architecture, les choix techniques et transmettre les compétences aux équipes internes.
Informations clés : Localisation : Massy (2 à 3 jours/semaine sur site obligatoires) TJM : 500 € max Démarrage : ASAP Durée : Jusqu'au 31/12/2026 Contexte & Mission : En lien direct avec le Tech Lead, vous participez à la migration stratégique de plus de 450 flux NiFi actuellement hébergés en IaaS vers un cluster Kubernetes (CaaS) dédié. Activités & Responsabilités : Rétro-ingénierie & Adaptation : Analyser les flux NiFi existants pour valider, adapter et sécuriser leur migration. Cadrage DevOps & FinOps : Collaborer avec les équipes DevOps pour optimiser l'utilisation du nouveau socle et suivre les aspects de coûts (FinOps). Préparation & Allotissement : Préparer le socle technique et vous coordonner avec les interlocuteurs métiers selon le planning défini. Recette : Assurer les validations et les tests pré et post-migration dans le respect des standards de l'entreprise.
Manhattan WMS Platform Engineer Manhattan Platform Engineer with 6+ years experience Technical experience with Manhattan with ambition to learn new technologies Good communicator speaking good understandable English. The candidate should be able to interact with their own team as well as the network & platform team. Knowledge about networking, cloud, Unix and maintaining the Manhattan Platform. the platform runs on cloud (AWS) with RDS database. Experience with installations of SDN's and upgrading components Willing to learn new techniques like Apache NiFi or other specific technologies. Interested in hardware like printers & Scanners. Knowledge of Docker Swarm, Terraform and Atlantis, Jenkins, Git , and have created Bash scripts. Experience working in Agile Scrum environment. Willing to work in Netherlands time zone Willing to work on call support during non working hours This is a remote position. Initially this will be a 6 to 12 month contract assignment. Rate will be in the region £300 - £500 per day depending on experience. Do send your CV to us in Word format along with your daily rate and availability.
RésuméLe poste de Data Engineer est axé sur le développement et la maintenance de l'infrastructure Big Data , avec un accent sur l'expertise Hadoop pour assurer la gestion, l'optimisation et la disponibilité de la plateforme Hadoop. Responsabilités :Participer aux task forces pour résoudre des problématiques techniques complexes. Évoluer l'infrastructure et déployer de nouvelles fonctionnalités à forte valeur ajoutée. Gérer les montées de versions majeures des composants Hadoop. Mettre en place et maintenir la documentation technique destinée aux entités internes et utilisateurs. Gérer la collaboration avec l'éditeur Cloudera et les entités internes. Suivre le planning global de production. Must Haves :Expertise en Ansible. Expérience avec Apache NiFi. Compétence en Hadoop (Big Data). Maîtrise de Kafka. Connaissances en Scripting (GitHub, Ansible, AWX, shell, VBA). Compétence en Spark. Nice to Have :Certifications Cloud spécifiques (par exemple, Cloudera Certified Professional). Connaissances en Terraform et Terragrunt. Autres Détails :Catégorie: Environnement technique. Détails: Ingestion avec Kafka et Nifi, moteur : CDP 7.1.9, automatisation avec Ansible. Livrables attendus : installation et maintenance des clusters Hadoop, sécurité et performances de la plateforme. Type de prestation : Data Engineering Level 8.4.
Dans le cadre de l'évolution et du maintien en conditions opérationnelles d'une plateforme Big Data stratégique, nous recherchons un Expert Hadoop / Cloudera CDP Senior pour intégrer une équipe en charge de l'administration et de l'optimisation d'un environnement de données critique. Vos missionsAdministrer et maintenir les clusters Hadoop sous Cloudera CDP. Garantir la disponibilité, la performance et la sécurité de la plateforme. Automatiser les déploiements, patchs et opérations d'exploitation via Ansible et Terraform. Participer à la résolution d'incidents complexes et aux task forces techniques. Accompagner les montées de version des composants Hadoop. Déployer de nouvelles fonctionnalités à forte valeur ajoutée. Assurer la gestion des changements (préparation, tests, rollback, suivi). Produire et maintenir la documentation technique. Environnement techniqueHadoop Cloudera CDP 7.1.9 Kafka Apache NiFi Spark Ansible Terraform Terragrunt AWX Shell Scripting Linux Profil recherché Formation Bac+5 école d'ingénieurs ou université. Expérience significative en administration Hadoop en environnement de production. Expertise Cloudera CDP indispensable. Maîtrise d'Ansible et des pratiques d'automatisation. Bonne connaissance de Kafka, NiFi et Spark. Anglais professionnel courant. Autonomie, esprit d'analyse et capacité à intervenir sur des environnements critiques. Les plusMission au sein d'un environnement Big Data de grande envergure. Fort enjeu d'automatisation et de modernisation des infrastructures. Interventions sur des problématiques techniques à forte complexité. Exposition à un écosystème Cloudera/CDP mature et stratégique.
Vous rejoindrez un grand groupe du secteur audiovisuel et médias pour concevoir et développer le MVP d'une plateforme Data On-Premise innovante. Ce projet stratégique vise à moderniser l'infrastructure data existante en intégrant une stack Open Source performante (Kafka, NiFi, Spark, Iceberg, Trino) et à faciliter la transition vers le traitement temps réel tout en validant l'interopérabilité avec les services cloud publics. Au sein de la Direction IT Transverse, vous piloterez l'architecture et la mise en œuvre d'une plateforme data scalable et robuste, intégrée au socle technique existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Vous travaillerez en collaboration étroite avec les équipes métiers et techniques du groupe pour transformer des flux ETL existants, démontrer la faisabilité de migration depuis les systèmes actuels, et établir les bonnes pratiques de la nouvelle plateforme. Ce rôle combine architecture data, ingénierie de plateforme et mentorat technique dans un environnement moderne et exigeant, avec un fort impact sur la modernisation de l'écosystème data du groupe. Responsabilités : - Architecturer une plateforme Data On-Premise scalable, robuste et intégrée à l'infrastructure existante (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) - Sélectionner, configurer et déployer les composants Open Source clés : Apache Kafka (streaming), Apache NiFi (ingestion et orchestration), Apache Spark (traitement distribué), Apache Iceberg (gestion de tables analytiques) et Trino (requêtage SQL distribué) - Implémenter des cas d'usage concrets en transformant des flux ETL existants et en mettant en place des pipelines de données en streaming (Kafka + Spark Structured Streaming) - Alimenter et optimiser un datalake On-Premise basé sur Iceberg, avec requêtage via Trino - Valider l'interopérabilité et les patterns d'intégration avec les services Big Data en environnement cloud public (GCP) - Collaborer avec l'équipe Data et IA pour aligner les besoins métiers et techniques, et avec les équipes DevOps/Infrastructure pour l'intégration du socle - Documenter les choix architecturaux, les décisions techniques et établir les bonnes pratiques de la plateforme - Former et accompagner les équipes internes sur les nouveaux outils, processus et méthodologies Télétravail : 2/3 jours par semaine Localisation : Paris / Rennes
