Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Bordeaux

Almatek recherche pour l'un de ses clients Un Data Engineer Spark/Scala sur Bordeaux. Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : -Socle Big Data (OI1) : *Compute : Yarn *Storage: HDFS (avec chiffrement pour C3), Hive *Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : -MoveNAStoHDFS -Moteur d'ingestion v2 -Spark Scala -Dictionnaire de données -Socle Data Science : *DataiKu Automation Frameworks/langage/outils utilisés: -Spark 3 -HQL Localisation : Bordeaux + 2 à 3 jours de présence sur site requise

Notre client dans le secteur Immobilier recherche un/une Data Engineer H/F Description de la mission: Offre de mission – Data Engineer Contexte et objectif de la mission Notre client est composé de plusieurs filiales et structures de services partagés (IT, RH, juridique, finance, marketing). Le groupe est engagé dans une transformation digitale avec des enjeux autour de la gouvernance de la donnée, de l'harmonisation des systèmes d'information entre filiales et de la structuration d'une plateforme data moderne. La DSI pilote un programme de refonte de l'infrastructure data et souhaite renforcer son équipe avec un Data Engineer expérimenté capable de construire et maintenir des pipelines robustes, de structurer les flux de données entre les différentes entités du groupe et d'alimenter les outils de restitution. Missions principales Le/la consultant(e) interviendra au sein de l'équipe Data pour : • Concevoir, développer et maintenir des pipelines de données (ingestion, transformation, chargement) • Administrer et exploiter Azure Synapse Analytics comme socle de la plateforme data • Modéliser les données (modélisation dimensionnelle, data warehouse, data lakehouse) • Écrire et optimiser des requêtes SQL complexes sur les bases du groupe • Développer des scripts et orchestrateurs en Python pour l'automatisation des flux • Connecter les sources de données à Power BI et garantir la qualité des données exposées aux analystes • Contribuer à l'harmonisation des données entre les filiales du groupe • Participer à la gouvernance de la donnée (documentation, qualité, traçabilité) Stack technique Compétences obligatoires : • Azure Synapse Analytics : maîtrise obligatoire • SQL : maîtrise obligatoire (requêtes complexes, optimisation) • Python : maîtrise obligatoire (ETL, orchestration, scripting) • Power BI : bonne connaissance (alimentation des modèles) Environnement complémentaire apprécié • Azure Data Factory / Azure Data Lake • Spark / PySpark • Outils de versionning (Git) • Notions de modélisation dimensionnelle Profil recherché Compétences techniques : • Expérience confirmée sur la conception et le maintien de pipelines de données en environnement cloud Azure • Solide maîtrise de SQL et des environnements analytiques (Synapse, DWH) • Bonne maîtrise de Python dans un contexte data engineering (ETL, automatisation) • Capacité à exposer des données propres et fiables vers des outils de BI • Connaissance des bonnes pratiques de qualité et gouvernance de la donnée Compétences comportementales : • Autonomie et rigueur dans les développements • Adaptabilité dans un environnement multi-filiales en transformation • Sens du détail et souci de la qualité de la donnée • Bonnes capacités relationnelles pour collaborer avec les équipes métiers et IT • Dynamisme et réactivité face aux priorités Atout majeur • Certification Microsoft Azure (DP-203 Data Engineer ou équivalent) appréciée

Dans le cadre d’une mission stratégique chez l’un de nos clients grands comptes du secteur bancaire, nous recherchons un Incident Manager / Ingénieur de Production orienté gestion d’incidents critiques , capable d’intervenir dans des environnements IT complexes et à forts enjeux métiers. Le consultant interviendra sur la gestion des incidents P1 et P2 , le suivi du backlog et la coordination transverse des équipes IT, avec pour objectif d’assurer un retour au service rapide, maîtrisé et conforme aux exigences de gouvernance bancaire. Il jouera un rôle clé dans la communication autour des incidents, la qualification des incidents majeurs et l’animation des cellules de mobilisation et de crise. Habitué aux environnements structurés, il contribuera activement à l’amélioration continue du processus de gestion des incidents, assurera le suivi du diagnostic et de la résolution, et produira les rapports journaliers nécessaires au pilotage et à la communication. Missions principales : Gestion des incidents critiques P1 et P2 et traitement du backlog Communication régulière sur l’avancement des incidents auprès des parties prenantes Identification et suivi transverse des incidents à impact métier sur les différents socles et clusters Participation à la qualification des incidents majeurs transverses Organisation et animation des cellules de mobilisation / cellules de crise Suivi du diagnostic et de la résolution jusqu’au rétablissement du service Rédaction et préparation des rapports journaliers Environnement technique : ITSM : ServiceNow Outils collaboratifs : Office 365 , Spark