Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Contexte de la mission Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire) Une experience de flux réalisés sur Databricks/Azure serait un plus important. Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI Objectifs et livrables Objectifs et livrables Activités principales Développement et intégration Développer et maintenir des pipelines de données sur l'infrastructure existante (batch, streaming, API) Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala) Assurer l'intégration et la gestion de flux de données via Kafka et HDFS Exploiter et administrer des bases de données NoSQL (Cassandra) Gestion du run (rôle tournant) Surveiller la performance et la scalabilité des processus Prendre en charge la résolution des incidents et l'amélioration continue en production Escalader auprès des sachants les anomalies critiques Communiquer les incidents aux parties prenantes le cas échéant. Relation métier et vulgarisation Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l'équipe et les parties prenantes Profil recherché Formation : Bac+5 en informatique, data engineering ou équivalent Expérience : Minimum 3 ans sur un poste similaire Compétences techniques requises Maîtrise du développement Spark (Scala) Bonne connaissance de l'écosystème Big Data : HDFS, Kafka, Cassandra Expérience sur des architectures batch, streaming et API Pratique du versioning (git) et des outils d'intégration continue Bonus : experience en env Databricks/Azure Compétences complémentaires (atouts) Databricks Expérience sur Airflow Expérience sur des environnements cloud (Azure) Développement Node.js Pratique de la CI/CD et des outils de monitoring Savoir-être Esprit d'équipe, sens du service et de la communication Capacité à vulgariser et à transmettre ses connaissances Capacité d'analyse Autonomie, rigueur et sens de l'organisation

Our government client is looking for Data Engineers to begin ASAP. Please see below for role description and details. - Hybrid, 2 days per week on site in Swansea, Wales - Inside IR35 - SC clearance required - 3-6 months initially + longer extensions expected Role details: To migrate legacy IMPALA reporting (Oracle materialised views and Discoverer workbooks) to Databricks Lakeflow Declarative Pipelines. The work involves translating existing SQL logic into a lakehouse architecture, building reconciliation checks to validate output against the legacy system, and supporting the pipelines once live. It is mostly SQL knowledge but some familiarity with Python on Databricks (in Azure) will be beneficial. Source data is already available in Databricks - you would be working with tables in Unity Catalog, not managing data ingestion or connectivity. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.