Dans le cadre du renforcement de l'équipe, intervention sur des sujets d'ingénierie des données (Big Data) et DataOps en lien avec le socle transverse on premise et cloud. La mission intervient sur le Run quotidien et sur des sujets techniques et fonctionnels liés à l'obsolescence technique et applicative, à la scalabilité du socle de données et au déploiement de services Azure. L'environnement comprend également Databricks, des bases relationnelles et NoSQL, ainsi que CI/CD et DevOps / DataOps Missions : - Contribuer au Run quotidien du socle de données - Intervenir sur les sujets d'obsolescence technique et applicative - Intervenir sur la scalabilité du socle de données - Déployer des services Azure - Intervenir sur des sujets d'ingénierie des données Big Data - Intervenir sur des sujets DataOps - Exploiter Airflow et Kafka dans le cadre des activités du socle de données - Intervenir sur Hadoop et Databricks - Exploiter les bases relationnelles et NoSQL - Utiliser CI/CD et DevOps / DataOps Profil attendu : Profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) et DataOps. Expérience attendue sur Spark Scala, Python, SQL, Airflow, Kafka, Hadoop, Cloud Azure / Terraform et les environnements Databricks. Le profil
Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.
Missions principales : -Conception & Développement : bâtir des pipelines ETL/Data robustes et développer/maintenir les API d'exposition des données. -Architecture Databricks : optimiser les traitements et participer aux choix d'architecture selon l'approche Medallion (Bronze/Silver/Gold). -Qualité & Performance : garantir la fiabilité et l'optimisation des performances des traitements, et gérer la résolution d'incidents de production. -Leadership Technique : accompagner l'équipe sur les bonnes pratiques de dev et le déploiement de solutions.
Our government client is looking for Data Engineers to begin ASAP. Please see below for role description and details. - Hybrid, 2 days per week on site in Swansea, Wales - Inside IR35 - SC clearance required - 3-6 months initially + longer extensions expected Role details: To migrate legacy IMPALA reporting (Oracle materialised views and Discoverer workbooks) to Databricks Lakeflow Declarative Pipelines. The work involves translating existing SQL logic into a lakehouse architecture, building reconciliation checks to validate output against the legacy system, and supporting the pipelines once live. It is mostly SQL knowledge but some familiarity with Python on Databricks (in Azure) will be beneficial. Source data is already available in Databricks - you would be working with tables in Unity Catalog, not managing data ingestion or connectivity. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
Rejoignez une équipe IA au sein d'un grand groupe du secteur bancaire et financier, intervenant sur des applications d'intelligence artificielle et des workflows IA critiques pour la relation client et les entrées en relation. Vous contribuerez à des projets porteurs combinant machine learning, IA générative et orchestration cloud sur une infrastructure Azure moderne. Vous intervenez sur un périmètre fonctionnel riche couvrant les entrées en relation, la lutte anti-fraude, la gestion de portefeuille, la conformité réglementaire, les chatbots clients et prospects, ainsi que la satisfaction et la gestion des incidents. L'environnement technique repose sur Azure, Databricks, Terraform et Python, avec une forte composante IA générative et Copilot. Vous participez à l'ensemble du cycle de vie des projets : du cadrage et de l'étude d'impacts à la conception de solutions, en passant par l'idéation, le développement, les tests et le suivi en production. Vous concevez et proposez des solutions IA/ML innovantes pour résoudre les points de douleur métier, en intégrant dès la phase de conception les enjeux de sécurité des données et de gouvernance infrastrukturelle. Vous travaillez dans un environnement Agile/Scrum avec une forte culture de qualité et de fiabilité. Vos responsabilités incluent la mise en place de tests unitaires et de non-régression automatisés, la préparation et l'exécution de tests d'intégration et de charge, ainsi que la mise en place de guardrails et de tests continus pour les applications d'IA générative. Responsabilités : - Participer aux cadrages des projets : étude d'impacts, conception architecturale de solutions, chiffrage et planification - Proposer et développer des solutions IA/ML répondant aux besoins métier spécifiques des domaines couverts - Concevoir et implémenter une infrastructure cloud native sur Azure avec approche Infrastructure as Code (Terraform, Ansible) - Développer des APIs REST et intégrations de workflows avec Databricks et services Azure - Mettre en place des stratégies complètes de test : tests unitaires, non-régression automatisée, tests préprod et continus - Implémenter des guardrails et mécanismes de contrôle qualité pour les applications d'IA générative et Copilot - Assurer la préparation et l'exécution des phases de tests IT, intégration, charge et déploiement en production - Rédiger et maintenir la documentation technique des modèles, de l'infrastructure et des évolutions - Conduire l'analyse et la résolution d'incidents en production de manière réactive et méthodique - Communiquer de façon claire et structurée avec tous les stakeholders (métier, IT, conformité, architecture, marketing) - Intégrer les enjeux de sécurité des données et de conformité réglementaire dès les phases amont
