Pour un client dans le domaine de la finance - Connaissance Métier Finance de Marché / CIB : compréhension immédiate des notions de VaR, Grecs, P&L Explain, produits financiers (FICC, Equities). Il doit pouvoir challenger les équipes sans formation préalable sur le métier. - Compétences en modélisation de données et en intégration de donné - Expertise avancée en Power BI (visualisation, DAX, Power Query, RLS). - Maîtrise des requêtes SQL (SQL Server, Hadoop, ..). es provenant de sources multiples. - Capacité à travailler en équipe et à communiquer efficacement avec des parties prenantes techniques et non techniques. - Une maitrise de l'ensemble de la Power Platform (App, Automate…) serait appréciée. - Bon niveau d'anglais exigé.
ContexteDans le cadre du renforcement de son équipe Data & IA, notre client recherche un Data Engineer / Administrateur Plateforme Data pour assurer l'administration, l'exploitation et l'évolution des infrastructures Data basées sur Cloudera CDP et les technologies Open Source. Vous interviendrez sur des plateformes critiques en collaboration avec les équipes applicatives, infrastructures, métiers et internationales afin de garantir la disponibilité, les performances et l'évolution des environnements Data. MissionsAdministration & ExploitationAdministrer et maintenir les plateformes Data Cloudera CDP. Garantir le maintien en condition opérationnelle des infrastructures. Superviser les plateformes et assurer le traitement des incidents. Participer aux astreintes et aux interventions hors horaires ouvrés. Optimiser les performances et la capacité des plateformes. Data EngineeringConcevoir les solutions d'ingestion de données (API). Mettre en œuvre des architectures de stockage (Hadoop, Ozone, Druid, ClickHouse...). Développer et automatiser les traitements de données. Mettre en place les tests unitaires et d'intégration. Industrialiser les traitements de nettoyage et de transformation des données. Évolution des plateformesParticiper aux migrations des clusters Hadoop Cloudera. Contribuer au déploiement des nouvelles plateformes Cloudera Data Services sous OpenShift/Kubernetes. Être force de proposition sur les évolutions techniques. Participer au design des infrastructures Data. Support & ExpertiseRésoudre les incidents complexes (Hive, Spark, Yarn...). Accompagner les équipes applicatives et métiers. Assurer un support technique de haut niveau. Participer à la documentation et au partage de connaissances. Environnement techniqueImpératifCloudera CDP 7.1.x RedHat Enterprise Linux 8 & 9 Python Java Ansible DevOps Très bonnes connaissancesHadoop Hive HBase Kafka Spark Solr Knox Ranger ZooKeeper Kerberos LDAP AppréciéesOpenShift Kubernetes Trino / Starburst Airflow Flink Maven Gradle ClickHouse Ozone Druid Profil recherchéFormation Bac+5 en informatique ou équivalent. Expérience significative sur des plateformes Big Data Cloudera. Expertise Linux RedHat. Bonne maîtrise des environnements Open Source Data. Solides compétences en automatisation (Ansible). Connaissances DevOps. Capacité à analyser et résoudre des incidents complexes. Esprit d'équipe, autonomie et bonnes capacités de communication. ConditionsCouverture de l'équipe : 8h00 – 19h00 Astreintes et interventions hors horaires ouvrés selon un planning de rotation. Niveau attendu : Confirmé / Senior (N4). Compétences clés : Cloudera CDP 7.1.x, RedHat 8/9, Hadoop, Spark, Hive, Kafka, Python, Java, Ansible, DevOps, OpenShift, Kubernetes.
Contexte de la mission Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire) Une experience de flux réalisés sur Databricks/Azure serait un plus important. Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI Objectifs et livrables Objectifs et livrables Activités principales Développement et intégration Développer et maintenir des pipelines de données sur l'infrastructure existante (batch, streaming, API) Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala) Assurer l'intégration et la gestion de flux de données via Kafka et HDFS Exploiter et administrer des bases de données NoSQL (Cassandra) Gestion du run (rôle tournant) Surveiller la performance et la scalabilité des processus Prendre en charge la résolution des incidents et l'amélioration continue en production Escalader auprès des sachants les anomalies critiques Communiquer les incidents aux parties prenantes le cas échéant. Relation métier et vulgarisation Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l'équipe et les parties prenantes Profil recherché Formation : Bac+5 en informatique, data engineering ou équivalent Expérience : Minimum 3 ans sur un poste similaire Compétences techniques requises Maîtrise du développement Spark (Scala) Bonne connaissance de l'écosystème Big Data : HDFS, Kafka, Cassandra Expérience sur des architectures batch, streaming et API Pratique du versioning (git) et des outils d'intégration continue Bonus : experience en env Databricks/Azure Compétences complémentaires (atouts) Databricks Expérience sur Airflow Expérience sur des environnements cloud (Azure) Développement Node.js Pratique de la CI/CD et des outils de monitoring Savoir-être Esprit d'équipe, sens du service et de la communication Capacité à vulgariser et à transmettre ses connaissances Capacité d'analyse Autonomie, rigueur et sens de l'organisation
