🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 📑 Freelance / Portage - 🏠 2 jours de télétravail / semaine - 📍 Nantes - 🛠 Expérience de 3 ans minimum Nous poursuivons notre développement et recherchons actuellement un.e Data Engineer pour accompagner l'un de nos clients, acteur majeur dans son domaine d'activité, dans l'exploitation et l'évolution de ses plateformes data. 💻💼 Votre rôle : Vous intégrerez une équipe data en charge de la valorisation et de l'exploitation des données. Vous participerez au développement et à l'évolution de solutions décisionnelles, depuis l'alimentation des données sur Hadoop jusqu'à leur restitution via des outils de Data Visualisation, afin de répondre aux besoins métiers et d'accompagner la prise de décision. Au quotidien, vos missions seront les suivantes : Recueillir, analyser et challenger les besoins métiers Concevoir et développer des solutions décisionnelles adaptées aux enjeux de l'entreprise Développer et maintenir les flux de données et traitements d'alimentation sur l'environnement Hadoop Concevoir et faire évoluer les tableaux de bord et reportings sous Tableau Garantir la qualité, la fiabilité et la cohérence des données Réaliser les tests et assurer la validation des développements Documenter les réalisations et les processus mis en œuvre Accompagner les utilisateurs dans la prise en main des solutions Assurer le support et le traitement des incidents de niveau 3 Participer à l'amélioration continue des outils et des pratiques de l'équipe Environnement technique : Hadoop (écosystème Big Data) Java Tableau
Nous recherchons un Data Engineer Hadoop pour intégrer une équipe dynamique dans le secteur bancaire. Ce rôle exige une expertise solide en gestion et analyse de données, avec un accent particulier sur l'utilisation de systèmes Hadoop, ainsi que des compétences en développement Python et SQL. RésuméLe poste de Data Engineer Hadoop consiste à travailler au sein d'une équipe pour gérer et analyser des données dans un environnement bancaire. L'objectif principal est d'assurer le bon fonctionnement des systèmes Hadoop tout en apportant des solutions basées sur Python et SQL. Responsabilités :Gérer et optimiser des pipelines de données en utilisant Hadoop et BigQuery. Développer des scripts en Python pour le traitement des données. Participer à la méthodologie agile en contribuant aux sprints Scrum. Collaborer avec l'équipe pour assurer des sauvegardes en cas de besoin. Assurer la qualité des données à travers l'écriture de requêtes SQL. Exigences clés :5-6 ans d'expérience en tant que Data Engineer. Expérience avec Hadoop. Compétences solides en Python. Connaissance de SQL. Anglais requis. Atouts :Expérience avec BigQuery. Connaissance des méthodologies Agile. Expérience dans le domaine bancaire. Connaissance de Google Cloud Platform (GCP). Autres Détails :Lieu : 94. Démarrage : ASAP. Durée : >12 mois. Télétravail : 2 jours / semaine.
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 📑 CDI (38-45 K€) - 🏠 2 jours de télétravail / semaine - 📍 Nantes - 🛠 Expérience de 3 ans minimum Nous poursuivons notre développement et recherchons actuellement un.e Data Engineer pour accompagner l'un de nos clients, acteur majeur dans son domaine d'activité, dans l'exploitation et l'évolution de ses plateformes data. 💻💼 Votre rôle : Vous intégrerez une équipe data en charge de la valorisation et de l'exploitation des données. Vous participerez au développement et à l'évolution de solutions décisionnelles, depuis l'alimentation des données sur Hadoop jusqu'à leur restitution via des outils de Data Visualisation, afin de répondre aux besoins métiers et d'accompagner la prise de décision. Au quotidien, vos missions seront les suivantes : Recueillir, analyser et challenger les besoins métiers Concevoir et développer des solutions décisionnelles adaptées aux enjeux de l'entreprise Développer et maintenir les flux de données et traitements d'alimentation sur l'environnement Hadoop Concevoir et faire évoluer les tableaux de bord et reportings sous Tableau Garantir la qualité, la fiabilité et la cohérence des données Réaliser les tests et assurer la validation des développements Documenter les réalisations et les processus mis en œuvre Accompagner les utilisateurs dans la prise en main des solutions Assurer le support et le traitement des incidents de niveau 3 Participer à l'amélioration continue des outils et des pratiques de l'équipe Environnement technique : Hadoop (écosystème Big Data) Java Tableau
Dans le cadre du développement et de l'évolution de sa plateforme Big Data, un grand compte du secteur bancaire recherche un Administrateur Hadoop Expert afin de renforcer son équipe Infrastructure Big Data. Vous interviendrez sur une plateforme Cloudera CDP stratégique et participerez à son administration, son évolution, son industrialisation ainsi qu'à la résolution de problématiques techniques complexes dans un environnement à forte volumétrie. Vos missionsVous intégrerez l'équipe en charge de l'administration de la plateforme Hadoop et serez responsable de : Administrer, maintenir et faire évoluer les clusters Hadoop sous Cloudera CDP. Installer, configurer et exploiter les composants de la plateforme Big Data. Garantir la disponibilité, la performance et la sécurité des infrastructures Hadoop. Participer aux montées de versions majeures des composants Cloudera. Automatiser les déploiements et opérations d'exploitation via Ansible et Terraform/Terragrunt. Assurer le support technique de niveau 2/3 et résoudre les incidents complexes. Participer aux task forces sur les problématiques critiques de production. Administrer les services Hadoop (HDFS, YARN, Hive, Spark, HBase...). Gérer les plateformes d'ingestion de données (Kafka, NiFi). Mettre en œuvre les évolutions techniques et les nouvelles fonctionnalités de la plateforme. Assurer la documentation technique, les procédures d'exploitation et le transfert de compétences. Collaborer avec les équipes Infrastructure, Data Engineering, Production et l'éditeur Cloudera. Environnement techniqueBig DataCloudera CDP 7.x HadoopHDFS Hive Spark YARN HBase Oozie IngestionApache Kafka Apache NiFi SécuritéRanger Kerberos Knox DevOps & AutomatisationAnsible Terraform Terragrunt Jenkins Git SystèmesLinux Shell scripting MonitoringGrafana Elasticsearch / Kibana Prometheus (apprécié)
Dans le cadre de l'évolution et du maintien en conditions opérationnelles d'une plateforme Big Data stratégique, nous recherchons un Expert Hadoop / Cloudera CDP Senior pour intégrer une équipe en charge de l'administration et de l'optimisation d'un environnement de données critique. Vos missionsAdministrer et maintenir les clusters Hadoop sous Cloudera CDP. Garantir la disponibilité, la performance et la sécurité de la plateforme. Automatiser les déploiements, patchs et opérations d'exploitation via Ansible et Terraform. Participer à la résolution d'incidents complexes et aux task forces techniques. Accompagner les montées de version des composants Hadoop. Déployer de nouvelles fonctionnalités à forte valeur ajoutée. Assurer la gestion des changements (préparation, tests, rollback, suivi). Produire et maintenir la documentation technique. Environnement techniqueHadoop Cloudera CDP 7.1.9 Kafka Apache NiFi Spark Ansible Terraform Terragrunt AWX Shell Scripting Linux Profil recherché Formation Bac+5 école d'ingénieurs ou université. Expérience significative en administration Hadoop en environnement de production. Expertise Cloudera CDP indispensable. Maîtrise d'Ansible et des pratiques d'automatisation. Bonne connaissance de Kafka, NiFi et Spark. Anglais professionnel courant. Autonomie, esprit d'analyse et capacité à intervenir sur des environnements critiques. Les plusMission au sein d'un environnement Big Data de grande envergure. Fort enjeu d'automatisation et de modernisation des infrastructures. Interventions sur des problématiques techniques à forte complexité. Exposition à un écosystème Cloudera/CDP mature et stratégique.
Vous intégrez une équipe en charge de l'infrastructure de gestion de la donnée d'un acteur bancaire en ligne à très forte volumétrie, sur un système d'information majoritairement construit en briques open source. L'équipe couvre l'intégralité du cycle de vie des plateformes data — conception, déploiement, administration, supervision — sans séparation build/run ni logique de procédures cloisonnées. Vous n'êtes pas administrateur de bases de données au sens classique : vous concevez, scalez, sécurisez et industrialisez les moteurs de données. L'optimisation de requêtes reste marginale. Volumétrie de référence : 180 instances MySQL avec sharding, cluster Hadoop d'environ 3 Po, stockage objet S3 de plusieurs pétaoctets. Vos missions : Traitement N3 des incidents de production sur l'ensemble des briques de gestion de la donnée Industrialisation des moteurs de données via déploiement automatisé (Terraform, sur VM pré-outillées EDR/hardening) Conception et exploitation des mécanismes de haute disponibilité, scalabilité, réplication et sharding à l'échelle Définition et exécution des stratégies de backup/restauration sur gros volumes Traitement de l'obsolescence : montée de version MySQL vers 8.x sur l'ensemble du parc Qualification et industrialisation de nouvelles briques techniques Pilotage de la couche système sous-jacente et des couches d'exposition (ex. Consul) Suivi des KPIs de production et mise en œuvre d'actions correctives Traitement des sujets de sécurité sur les plateformes data Interface quotidienne avec les équipes de développement et l'infrastructure Environnement technique : Socle commun : Linux (Debian/RHEL) niveau confirmé à avancé, Terraform/Ansible/Puppet, CI/CD, Git, Docker, Kubernetes (RKE2) en trajectoire GitOps (ArgoCD) Bigdata/Hadoop (cœur du poste) : Hadoop, Hive, Hue, Yarn, Zeppelin, Spark Streaming — niveau confirmé Autres : Cassandra, Kafka, Airflow niveau confirmé ; MySQL niveau avancé ; suite ELK Supervision : Zabbix, Prometheus, Grafana, Loki
Au sein de la DSI de notre client, dont la mission est de concevoir et maintenir les applications stratégiques des métiers du Groupe. Dans le cadre de l'évolution du Data Lake CIO Office, nous recherchons un Data Engineer expérimenté afin de participer au développement, à l'évolution et à l'industrialisation des pipelines de données, en collaboration avec les équipes de production applicative et DevOps. Vous évoluerez dans un environnement Big Data moderne, orienté Cloud et Agile, avec des échanges réguliers avec les équipes internationales basées à Porto.
ContexteLe bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (CDP). Il s'agit également d'un accompagnement au développement d'un ensemble des DATA Services, avec un challenge sur les fonctionnalités à développer et les standards de travail. MissionsInstallation de cluster Monitoring et administration des outils Big Data Administration de cluster Upgrade des distributions et des composants Hadoop Installation des différents composants sur Hadoop Support et résolution des problèmes N2 et N3 Mise en place d'environnements de développement et de test Sécurisation des clusters
RésuméLe poste de Data Engineer est axé sur le développement et la maintenance de l'infrastructure Big Data , avec un accent sur l'expertise Hadoop pour assurer la gestion, l'optimisation et la disponibilité de la plateforme Hadoop. Responsabilités :Participer aux task forces pour résoudre des problématiques techniques complexes. Évoluer l'infrastructure et déployer de nouvelles fonctionnalités à forte valeur ajoutée. Gérer les montées de versions majeures des composants Hadoop. Mettre en place et maintenir la documentation technique destinée aux entités internes et utilisateurs. Gérer la collaboration avec l'éditeur Cloudera et les entités internes. Suivre le planning global de production. Must Haves :Expertise en Ansible. Expérience avec Apache NiFi. Compétence en Hadoop (Big Data). Maîtrise de Kafka. Connaissances en Scripting (GitHub, Ansible, AWX, shell, VBA). Compétence en Spark. Nice to Have :Certifications Cloud spécifiques (par exemple, Cloudera Certified Professional). Connaissances en Terraform et Terragrunt. Autres Détails :Catégorie: Environnement technique. Détails: Ingestion avec Kafka et Nifi, moteur : CDP 7.1.9, automatisation avec Ansible. Livrables attendus : installation et maintenance des clusters Hadoop, sécurité et performances de la plateforme. Type de prestation : Data Engineering Level 8.4.
🚀 Opportunité – Expert Hadoop / Cloudera CDP / Ansible (H/F)Dans le cadre du renforcement d'une plateforme Big Data stratégique d'un grand groupe bancaire, nous recherchons un Expert Hadoop / Cloudera CDP pour intervenir sur des projets d'évolution, d'industrialisation et de maintien en conditions opérationnelles d'une infrastructure critique. Vos missionsAdministrer, maintenir et optimiser des clusters Hadoop (Cloudera CDP). Assurer la disponibilité, la performance et la sécurité de la plateforme Big Data. Automatiser les déploiements, patchs et configurations avec Ansible et Terraform. Participer aux montées de version des composants Hadoop. Intervenir sur des incidents complexes et contribuer aux task forces techniques. Déployer de nouvelles fonctionnalités d'infrastructure. Collaborer avec l'éditeur et les équipes techniques internes. Produire et maintenir la documentation technique. Environnement techniqueHadoop / Cloudera CDP 7.1.x Apache Kafka Apache NiFi Spark Ansible Terraform / Terragrunt Shell scripting GitHub / AWX Profil recherchéSolide expérience d'administration de plateformes Hadoop / Cloudera. Très bonne maîtrise d'Ansible et de l'automatisation d'infrastructure. Expérience sur Kafka, NiFi et Spark. Bonne connaissance des environnements Linux et des pratiques DevOps. Capacité à intervenir sur des problématiques techniques complexes et à accompagner les évolutions d'une plateforme Big Data. Informations complémentaires📍 Localisation : Île-de-France 🏢 Mission en présentiel 📅 Démarrage : ASAP ⏳ Mission longue durée (12 mois renouvelables) 📩 Si cette opportunité vous intéresse, n'hésitez pas à me contacter en message privé ou à envoyer votre CV.
📍 Contexte Société Générale recherche un Data Engineer / Expert Hadoop pour assurer l'administration, la maintenance et l'évolution de sa plateforme Big Data Cloudera CDP. La mission porte sur la fiabilité, la performance, les montées de version et l'automatisation de l'infrastructure Big Data. 🎯 Missions principales Administrer et maintenir les clusters Hadoop Cloudera CDP. Participer aux montées de version des composants Hadoop. Résoudre les incidents techniques complexes et intervenir en task force. Automatiser les déploiements, le patching et l'exploitation avec Ansible et Terraform/Terragrunt. Garantir la disponibilité, la performance et la sécurité de la plateforme. Gérer les changements (tests, rollback, mise en production). Collaborer avec Cloudera et les équipes internes. Rédiger la documentation technique. 🛠 Stack technique Big Data : Hadoop, Cloudera CDP 7.1.9, Spark Ingestion : Kafka, Apache NiFi Automatisation : Ansible, Terraform, Terragrunt, AWX Versioning / Scripting : Shell, Git, GitHub
Résumé Le Data Engineer GCP sera responsable de la conception, de la mise en œuvre et de l'optimisation des solutions de traitement de données sur GCP au sein de l'équipe Data. L'objectif principal de ce rôle est d'assurer une gestion efficace des données, d'améliorer l'accès aux données et de soutenir les processus analytiques au sein du secteur bancaire. Responsabilités : Concevoir et développer des solutions de données sur la plateforme GCP. Optimiser les requêtes et les performances des bases de données BigQuery. Collaborer avec les équipes fonctionnelles pour collecter et comprendre les exigences en matière de données. Suivre les meilleures pratiques d'ingénierie des données et assurer la qualité des données. Participer aux revues de code et aux pratiques de développement agile en utilisant Scrum. Must Haves : Expérience de 5-6 ans en ingénierie des données. Compétences solides en Python et SQL. Expérience avec BigQuery sur GCP. Connaissance des systèmes de contrôle de version, tels que Git. Expérience avec la méthodologie agile, notamment Scrum.
ENTITE CONCERNEE Le portefeuille des "Fonctions mutualisées (DSI360)" a pour objectif de piloter et maintenir un écosystème applicatif central, garantissant la cohérence, la fiabilité et l'interopérabilité des données et des socles techniques pour l'ensemble des applications du domaine. Le portefeuille de solutions « Fonctions Mutualisées » est organisé autour de 2 activités principales : 1. La "Gestion de la donnée" qui a pour objectif répondre aux enjeux stratégiques du domaine (DPS) en termes de data (décisionnel, big data, intelligence artificielle, open data) en fournissant les données et outils nécessaires aux cas d'usage pour les différents métiers de la DPS, en particulier de la Formation Professionnelle et compétences 2. Les "Référentiels et Fonctions transverses" qui ont pour missions principales de : • Gérer les bases de données centrales (clients, paramètres, accédant) la cohérence et la traçabilité des données référentielles. • Assurer la Gestion documentaire et des courriers. Centralisation des paramètres et configurations • Documenter et industrialiser les configurations pour faciliter les déploiements et les évolutions. CONTEXTE DE LA MISSION La présente mission s'inscrit dans les activités Data de la Retraite et du Handicap de la DSI à Bordeaux et plus particulièrement dans l'équipe produit Data DL7 • Un lac de données DPS qui héberge des données sources venant du SI Opérationnel de la Direction • Des datamarts DL7 répondant à l'ensemble des usages Data de reporting et de pilotage de la retraite et du handicap • Des usages de Data hébergés sous technologie Hadoop / PySpark… • Des applications de DataViz (internes et externes) développées avec l'outil Tableau • Des usages d'exploration de la données et d'analyse Adhoc : SQL et Alteryx CONTENU DE LA MISSION Il est attendu de l'intervenant les travaux suivants : • Conception, recette, mise en production et suivi d'évolutions et correctifs. • Rédaction des user stories ou SFD des évolutions (amélioration de l'outil, évolution réglementaire, extension de périmètre) • Réalisation des plans recette et des TNR • Suivi de production et RUN : Analyse, qualification, recette des correctifs des anomalies de production • Participation aux réunions d'équipe • Accompagnement des métiers dans l'utilisation des outils Data • Réalisation/automatisation de rapports et d'indicateurs LIVRABLES ATTENDUS • Tableaux de suivi (actions, liste des Jira traités, planning…) • Stratégie de recette, cahiers et plans de tests, jeux de données • Comptes rendus d'ateliers et comités COMPETENCES RECHERCHEES • Maîtrise de la modélisation décisionnelle • Maîtrise de l'outil de datavisualisation Tableau et du SQL • Expérience significative dans la mise en œuvre de cas d'usages data • Connaissance des architectures Big Data • Expérience dans la fonction maîtrise d'ouvrage et des projets SI • Esprit d'analyse • Être automne et force de proposition • Maîtrise dans l'animation d'ateliers métiers et la compréhension des besoins utilisateurs • Expérience avérée dans une méthode Agile • Maîtrise des outils Bureautique MODALITES Intervention sur Bordeaux Télétravail accepté mais dans la limite d'une présence minimale de trois jours sur site par semaine (Jour à définir avec l'équipe).
Date de démarrage : 14/09/2026 Durée : 12 mois renouvelables ContexteDans le cadre du renforcement de sa plateforme Data, notre client recherche un Data Engineer expérimenté afin de concevoir, développer et maintenir des solutions de traitement de données à grande échelle. Intégré à une équipe Agile (Squad), vous interviendrez sur l'ensemble du cycle de vie des produits Data, depuis la conception de l'architecture jusqu'au maintien en conditions opérationnelles des pipelines de données. Vous évoluerez en étroite collaboration avec les Architectes, le Product Owner, les Business Analysts et les équipes de production afin de garantir la disponibilité, la qualité et la performance des données au service des métiers, dans un environnement exigeant, idéalement bancaire.
