Essential Skills and Experience o Proven experience as an Azure Data Engineer in end-to-end data platforms o Exposure to AI/GenAI data pipelines (e.g. RAG, embeddings, search) o Knowledge of Azure AI Search or vector-based retrieval systems o Strong hands-on experience with: Azure Data Factory / Synapse / Microsoft Fabric Azure Data Lake Storage (ADLS Gen2) Azure Cosmos DB (Core/SQL API, NoSQL modelling) o Experience working extensively with unstructured and semi-structured data o Proficiency in Python and SQL o Demonstrated experience in: Data discovery, profiling, and exploratory analysis Data transformation and data quality frameworks o Strong understanding of: NoSQL vs relational data modelling Data partitioning and performance tuning o Experience building scalable, production-grade data pipelines o Familiarity with CI/CD and DevOps practices in Azure Desirable: o Azure Data Engineering Associate certification (DP-203) or equivalent o Experience with Microsoft Fabric and Lakehouse architectures o Experience integrating Cosmos DB with analytical platforms o Familiarity with data governance frameworks LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
Au sein de la DSI de notre client, dont la mission est de concevoir et maintenir les applications stratégiques des métiers du Groupe. Dans le cadre de l'évolution du Data Lake CIO Office, nous recherchons un Data Engineer expérimenté afin de participer au développement, à l'évolution et à l'industrialisation des pipelines de données, en collaboration avec les équipes de production applicative et DevOps. Vous évoluerez dans un environnement Big Data moderne, orienté Cloud et Agile, avec des échanges réguliers avec les équipes internationales basées à Porto.
Il aura la charge de gérer une architecture Lakehouse : • Data security : Apache Ranger • Data governance : Apache Atlas • Data processing : Spark, Apache Zeppelin • Data ingestion : nifi • Data analytics : Apache Impala • Data lake : hadoop, Apache KUDO • Dara serving: Hue Gestions des logs via la stack ELK (Elasticsearch-Logstash-Kibana) Provisionner des infrastructures via Terraform Connaissance réseaux (Mise en place et ouverture de flux réseau basé sur le dossier d'architecture réseau) Il documente les procédures d'exploitation et rédige des rapports synthétisés Il assure du bon fonctionnement des services dans le respect des SLA. Il connait et s'appuie sur les process ITIL (Gestion des incidents, des problèmes et des demandes de changement) pour opérer dans des environnements de production. Il a un bon niveau d'anglais pour converser avec les éditeurs dont Cloudera et les fournisseurs Il automatise les déploiements de fichiers de configurations, gestion des certificats et keystores via Ansible. Il utilise les Outils devops de versionning et de packages : Github, Jenkins Sa maitrise des environnements sous Linux lui permet d'analyser les logs dans le cadre du traitement des incidents. Il est force de proposition pour l'amélioration de l'exploitabilité des solutions et de la supervision des services. Il participe aux réunions d'équipe et rend compte des actions Il participe aux projets et aux différents comités.
Bonjour à tous, Mon client recherche Product Owner qui pourra suivre le écrire les US d'une de ses applications de cybersécurité. Vous interviendrez sur une application stratégique visant à valoriser les données d'un Data Lake via des Dashboards interactifs. Dans un contexte international exigeant de type grand groupe, vous ferez le pont entre les enjeux métiers et une équipe de développement offshore. Votre solide bagage technique vous permettra de dialoguer efficacement avec les développeurs et de concevoir des solutions robustes (notamment sur des logiques d'API). Missions : Recueillir, analyser et traduire les besoins métiers en User Stories claires et détaillées. Prioriser et gérer le backlog du produit en assurant un équilibre entre le développement de nouvelles fonctionnalités et le maintien de la stabilité de l'application. Collaborer quotidiennement avec les équipes de développement offshore (en anglais) et les guider sur les aspects techniques (ex: logique de raccordement d'API). Garantir la qualité des livrables en anticipant les impacts techniques pour éviter les régressions et l'apparition de nouveaux bugs. S'assurer de la bonne transmission des données depuis le Data Lake jusqu'à la restitution sur les Dashboards. Naviguer au sein d'un écosystème complexe en tenant compte des impératifs structurels, financiers et humains du projet.
Dans le cadre du développement de ses plateformes Data & IA, notre client recherche un Data Engineer Databricks Senior capable de concevoir, développer et industrialiser des pipelines de données à grande échelle. Le consultant interviendra sur l'ensemble du cycle de vie des projets Data, en lien avec les équipes métiers, Data Scientists, Architectes et équipes Cloud. MissionsRecueillir et analyser les besoins métiers. Concevoir des architectures Data modernes sur Databricks. Développer et maintenir des pipelines d'ingestion et de transformation. Optimiser les performances et la qualité des traitements. Participer à la mise en place des bonnes pratiques Data Engineering. Assurer les phases de tests, recette et mise en production. Collaborer avec les équipes Data Science, BI et Architecture. Contribuer aux sujets IA et valorisation des données. Documenter les solutions et accompagner les utilisateurs. Compétences requisesTechniquesDatabricks (indispensable) Apache Spark / PySpark Python SQL avancé Azure Data Factory ou équivalent Azure Synapse / Microsoft Fabric (apprécié) Git CI/CD Data Lake / Lakehouse Modélisation de données FonctionnellesAnalyse des besoins métiers Animation d'ateliers Rédaction de spécifications Communication avec des interlocuteurs non techniques
Véritable référent technique, vous participerez aux choix d'architecture et piloterez les développements Data afin de construire une plateforme robuste, évolutive et pérenne. Vos missions Au sein des équipes Data, en collaboration étroite avec les équipes Infrastructure et les métiers, vous serez chargé de : Définir, concevoir et faire évoluer l'architecture Data (ingestion, stockage, modélisation et exposition des données). Piloter les activités de Data Engineering et garantir l'application des bonnes pratiques de développement. Encadrer, accompagner et faire monter en compétence les équipes de développement internes et externes. Arbitrer les choix techniques et assurer la cohérence globale de l'écosystème Data. Garantir la qualité, la performance, la maintenabilité et la scalabilité des solutions déployées. Structurer la documentation technique et contribuer à l'industrialisation des développements. Participer à l'amélioration continue des méthodes de travail et des processus Agile. Collaborer avec les différentes parties prenantes afin d'aligner les solutions techniques sur les besoins métiers. Environnement technique Technologies et outils Python SQL ETL / ELT Orchestration de pipelines de données Data Lake Data Warehouse Environnements Cloud DevOps et CI/CD Méthodologies Agile
Pour l'un de nos clients grands comptes du secteur bancaire, nous recherchons un Développeur Java Spring Senior orienté Cloud Azure afin d'accompagner les évolutions d'une plateforme Data stratégique hébergée sur Azure. La mission s'inscrit dans un contexte de modernisation du socle technique, d'automatisation et d'industrialisation des déploiements sur Kubernetes (AKS). Vos missionsDévelopper et faire évoluer une application de gestion du Data Lake Azure. Concevoir des micro-services interfacés avec les API Azure et les systèmes internes. Participer à l'automatisation du cycle de vie applicatif (CI/CD). Déployer et maintenir les composants sur Azure Kubernetes Service (AKS). Contribuer à l'amélioration de la résilience, de la sécurité et de la scalabilité de la plateforme. Intervenir sur un environnement de production critique et fortement sécurisé. Environnement techniqueIndispensable : Java 11+/17 Spring / Spring Boot Azure Cloud Kubernetes / AKS Docker Azure DevOps Git Apprécié : Azure SDK Java Temporal Liquibase PostgreSQL / SQL Server Azure Data Lake Storage Gen2 (ADLS) Réseaux Azure (VNet, Subnet, Private Endpoint, DNS privé) Stack ELK Spark Profil recherché5 ans d'expérience minimum en développement Java. Forte expérience Cloud Azure. Maîtrise des architectures micro-services. Expérience significative de Kubernetes / AKS en environnement de production. Culture DevOps et CI/CD. Autonomie, capacité à travailler dans des environnements complexes et forte sensibilité aux problématiques de sécurité et de disponibilité.
