Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

La tribu DATA (DAT) construit et développe des applications sur la base de puissantes plateformes DATA à des fins d’usages variés servant toutes les directions métier du groupe bancaire. Pour répondre à ces usages, DAT est au cœur de la stratégie data-centric du groupe bancaire, et intervient aussi bien au niveau de l’architecture Data, sur les dernières technologies data, Big Data, IA, Teradata, SAS, DMP, Oracle ainsi que sur les solutions analytiques et de datavisualisation. La mission consiste à assurer les fonctions suivantes au sein de la Squad Socles Data de la tribu DAT : Veiller au quotidien à la bonne marche des plateformes Data (Teradata et Big Data) Intervenir au quotidien, sous contraintes de délais, lors des incidents d’exploitation (analyse, diagnostic, résolution). Produire le relevé matinal des exécutions des traitements sur les plateformes « Entrepôt et Usages » et « Big Data ». Analyser les actions correctrices à lancer : – court terme (relance rapide) – moyen terme (consignes pour les pilotes de nuit) – long terme (correctifs d’ordonnancement ou de traitements) Créer les incidents selon le process interne (JIRA). Assurer une communication unique pour les deux environnements DATA Vulgariser la communication technico-fonctionnelle auprès des intervenants (équipes internes et métiers). Mettre en place et diffuser les indicateurs de performance et de délais. Mettre en place des états mensuels des incidents et contribuer aux reportings et comités. Analyser les indicateurs d’assurance qualité de données et communiquer auprès des acteurs concernés. Intégrer des méthodes d’amélioration continue Proposer des améliorations du chemin critique en tenant compte des applications sensibles. Maintenir en condition opérationnelle les moyens, dans le respect des normes et critères de performance. Développer des composants d’amélioration. Définir et mettre en place des outils de normalisation, d’automatisation et de sécurisation de la production. Contribuer à la conception de nouveaux projets et évolutions. Contribuer aux états réguliers de contrôle : habilitations, comptes, connexions… Participer aux projets d’optimisation et d’amélioration de la QDF (Qualité de Fonctionnement)

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé : Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Contexte de la mission : Au sein de la Direction des Systèmes d’Information d’un grand groupe du secteur financier, vous intégrerez une équipe en charge du pilotage des risques structurels et du reporting financier . L’objectif de la mission est de maintenir et faire évoluer une plateforme technique basée sur la technologie ClickHouse® , en garantissant sa stabilité, ses performances et sa sécurité . Missions principales : La prestation consiste à contribuer aux activités suivantes : Surveillance et monitoring de l’infrastructure ; diagnostic des incidents et anomalies Maintien en conditions opérationnelles de la plateforme (composants, performances, dette technique, montées de version) Rédaction et exécution de scripts de maintenance de l’infrastructure (équilibrage des disques, tuning système, automatisation) Application des exigences de sécurité et des procédures internes (remédiation des vulnérabilités, patching, CI/CD) Définition, estimation et planification des activités techniques Rédaction de spécifications et documentation techniques Support et accompagnement des équipes internes dans la gestion quotidienne de la plateforme

Mission Concepteur Développeur Big Data – Société de l'Énergie Localisation : Courbevoie (3 jours/semaine sur site) Tarif max : 400€/jour Démarrage : 05/01/2026 Durée : 12 mois (fin 04/01/2027) – prolongeable Expérience requise : 4-5 ans minimum Prestations principales : Analyse besoins RH/Finance + rédaction spécifications techniques Conception/développement pipelines ETL/ELT (Spark, Hadoop, Databricks, Snowflake) Intégration sources données/API + contrôle qualité Déploiement cloud (AWS/Azure/GCP) ou clusters Hadoop/Spark Optimisation performances (partitionnement, tuning clusters) Tests unitaires/intégration + revues code Maintenance évolutive, support incidents, veille techno Compétences obligatoires : Big Data, Hadoop, Spark, Python PostgreSQL, Databricks Livrables : Spécifications techniques + diagrammes Code source/scripts + tests complets Documentation exploitation + rapports performances Plan déploiement/rollback Cette mission essentielle vise à confier à un Ingénieur Data expérimenté la responsabilité complète du cycle de vie des solutions de traitement de données pour les domaines RH et Finance . Le professionnel doit maîtriser les technologies Big Data (Spark, Hadoop) , les plateformes analytiques (Databricks, Snowflake) et les environnements Cloud (AWS, Azure, GCP) , afin de garantir la livraison de systèmes ETL/ELT performants, sécurisés et alignés sur les objectifs business.

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Redlab cherche pour le compte d'un client grand compte , un ingénieur big Data /bases de données Expert des architectures data : bases de données SQL & NoSQL, Big Data, pipelines, gouvernance, performance, sécurité. Missions clés Administrer et optimiser bases SQL & NoSQL. Concevoir pipelines ETL/ELT sur données hétérogènes. Travailler sur Hadoop, Spark, Hive, Delta Lake. Mettre en place partitionnement, Mettre en place sharding, caches. Déployer en cloud (AWS/Azure/GCP). Forte maitrise des Bases de données

Au sein d’une DSI ou d’une équipe Data/Cloud en pleine transformation numérique, l’ingénieur Big Data / Infrastructure intervient pour concevoir, déployer et maintenir des plateformes de traitement de données à grande échelle. Il joue un rôle clé dans la fiabilité, la performance et la sécurité des environnements Big Data utilisés par les data engineers, data scientists et équipes métier. Responsabilités principales 1. Conception et mise en place de l’infrastructure Big Data Concevoir des architectures de données distribuées (Hadoop, Spark, Kafka, HDFS, NoSQL, S3…). Participer au dimensionnement des clusters, à la définition des SLA et des bonnes pratiques d’industrialisation. Déployer et configurer les services Big Data dans un contexte On-premise, Cloud (AWS/GCP/Azure) ou hybride. 2. Administration et exploitation des plateformes Assurer l’administration quotidienne des clusters : gestion des ressources, supervision, montée de version, tuning des performances. Implémenter des mécanismes de haute disponibilité, d’équilibrage de charge et d’optimisation du stockage. Réaliser des diagnostics avancés en cas de dysfonctionnement et mettre en place des correctifs durables. 3. Automatisation, CI/CD et industrialisation Développer et maintenir des pipelines d’automatisation (Terraform, Ansible, Jenkins, GitLab CI…). Standardiser les déploiements via Infrastructure as Code. Contribuer à l'amélioration continue de la plateforme, en proposant des optimisations de performance et des outils de monitoring. 4. Sécurité, conformité et gouvernance Intégrer les contraintes de sécurité : gestion des accès (Kerberos, IAM, Ranger), chiffrement, segmentation réseau. Participer à la mise en œuvre de la gouvernance Data (catalogue, lineage, qualité, traçabilité). Veiller au respect des politiques RGPD et des normes internes. 5. Support aux équipes Data et accompagnement technique Accompagner les data engineers, développeurs et data scientists dans l’utilisation des ressources Big Data. Optimiser les jobs Spark/Kafka/Hadoop pour réduire les coûts et améliorer la latence. Participer à la rédaction de documentation technique, guides d’usage et bonnes pratiques.

Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants Environnement technique :  Ansible  Apache NiFi  Hadoop (Big Data)  Kafka  Scripting (GuitHub, Ansible, AWX, shell, vba)