Find your next tech and IT Job or contract Data Lake

Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet

Software Engineer with C# or Java and Azure Must have a bachelor's degree in computer science, software engineering, or a related field is required. Must have at least 4 to 6 years of progressively complex experience in a directly related area, during which both professional and technical capabilities have been clearly demonstrated. Coupled with at least 4 years of design and development. experience with various relevant Microsoft platforms, tools, technologies, patterns, and techniques related to Azure tools, integration, and data is required. Experience with industry/domains like pharmaceutical, finance, HR, sales, marketing, and manufacturing is highly preferred. Experience with healthcare industry regulations, data security and compliance standards (e.g. GDPR), and EDI standards (e.g. FHIR, HL7), etc. is very valuable. Developer certifications of Azure and/or Microsoft suite technologies is a big plus. Technical skills: In-depth knowledge and thorough experience in programming, configuring, and/or integrating using/with Azure integration tools like Data factory, LogicApps, Functions, API Management, Data catalog, WebApps, Integration service environment, configuring monitoring & diagnostics, etc., and connectivity & security configurations (certificates, encryptions, etc.). In-depth knowledge and experience with Azure data storage (SQL Server, Data lake, Synapse, etc.) & access tools, APIs, cloud connectivity, and ETL processes. Knowledge and some experience of MS Office/MS Office 365 suite, SharePoint Online, Power Apps, GitHub, MS Teams, etc. In-depth knowledge & experience using Visual Studio, with one of the programming languages: C#/Java/JavaScript/Python, and PowerShell. In-depth knowledge and thorough experience of using Serverless, SOAP, XML, REST, JSON, EDI, XSLT, Async/Sync, Request/Response, Service Bus, Publish/Subscribe, Batch/Real-time, Scheduling, Event triggers, etc. In-depth knowledge and development experience using MS SQL Server (SSIS, T-SQL, Stored procedures, Functions, Views, Queries, Datatype conversions, etc.). Thorough understanding of the fundamental architecture of the cloud and on-prem MSFT Suite (e.g. Share point) and Integration platforms architecture (e.g. BizTalk, MuleSoft, or similar), etc., and version control methods. Solid fundamentals and thorough understanding of exception handling principles and production/operational support solutions (alerts, dashboards, runbooks, etc.) Experience working with Azure DevOps and CI/CD pipeline. Experience working with APIs, Postman/SOAPUI tools, MS D365, ServiceNow, Azure Analytics tools, Azure Data lake, Azure Synapse, Azure BYOD & Data verse, Informatica, BI tools, etc. is a big plus. General business skills: Clear communication to translate and explain business requirements to technology & vice-versa. Analytical & methodical mindset with a problem-solving attitude is extremely important for the success of this role. Clear, concise written, verbal, and presentation skills. Must be a team player who can earn a team's respect quickly. Ability to take initiative and be innovative. Ability to complete projects and achieve results in an ambiguous work environment. The role will be based in London and can be partly remote. The Client is based in Livingston NJ USA. Salary will be in the range £60K to £95K. Please do send your CV to us in Word format along with your salary and availability.

Essential Skills and Experience o Proven experience as an Azure Data Engineer in end-to-end data platforms o Exposure to AI/GenAI data pipelines (e.g. RAG, embeddings, search) o Knowledge of Azure AI Search or vector-based retrieval systems o Strong hands-on experience with:  Azure Data Factory / Synapse / Microsoft Fabric  Azure Data Lake Storage (ADLS Gen2)  Azure Cosmos DB (Core/SQL API, NoSQL modelling) o Experience working extensively with unstructured and semi-structured data o Proficiency in Python and SQL o Demonstrated experience in:  Data discovery, profiling, and exploratory analysis  Data transformation and data quality frameworks o Strong understanding of:  NoSQL vs relational data modelling  Data partitioning and performance tuning o Experience building scalable, production-grade data pipelines o Familiarity with CI/CD and DevOps practices in Azure Desirable: o Azure Data Engineering Associate certification (DP-203) or equivalent o Experience with Microsoft Fabric and Lakehouse architectures o Experience integrating Cosmos DB with analytical platforms o Familiarity with data governance frameworks LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

Dans le cadre de l'évolution d'une plateforme Data Cloud stratégique, nous recherchons un Data Engineer Azure confirmé à expert, capable d'intervenir sur les enjeux de gouvernance, de partage et d'industrialisation de la donnée dans un environnement Azure Databricks. MissionsFaire évoluer une plateforme Data Lake existante sur Azure. Participer à l'intégration et au déploiement du Unity Catalog Databricks. Définir et mettre en œuvre les modèles de gouvernance et de gestion des accès aux données. Industrialiser les mécanismes de partage de données. Mettre à disposition les données sous forme de tables Delta Lake / Iceberg. Contribuer aux études techniques et aux Proofs of Concept (POC). Accompagner le déploiement d'un Data Lake gouverné. Compétences requisesIndispensables : Azure Databricks Unity Catalog Spark Data Engineering Azure GitHub Azure DevOps Gouvernance des données Architecture Data Lake Appréciées : Java JavaScript / TypeScript Formats Delta Lake et Iceberg Profil recherchéConsultant senior à expert Forte autonomie technique. Expérience significative sur des plateformes Data Cloud à grande échelle. Capacité à intervenir aussi bien sur les sujets d'architecture que de mise en œuvre opérationnelle. Excellentes capacités de communication et de collaboration avec les équipes Data et Infrastructure.

Nous recherchons un DevOps (F/H) pour intégrer l'un de nos partenaires Grand Compte sur Aix-en-Provence afin d'intervenir sur une plateforme Big Data. Vous contribuerez à l'automatisation des déploiements et à l'évolution des chaînes CI/CD sur des environnements cloud public et privé. Dans ce cadre, vos missions seront les suivantes : Concevoir des modèles de CI/CD permettant le déploiement des composants sur les différents environnements (développement, intégration, préproduction et production). Développer et maintenir les pipelines GitLab CI/CD pour assurer le build, le déploiement et la configuration des composants du Data Lake sur les environnements cloud public AWS et cloud privé. Documenter les procédures et modes opératoires associés aux pipelines de déploiement. Assurer un support technique de niveau 2 auprès des équipes lors des déploiements sur les différents environnements. Contribuer à l'amélioration continue des outils et processus de déploiement. Assurer la communication auprès des utilisateurs finaux. Environnement technique Vous évoluez dans un environnement composé de SQL, Kubernetes, AWS, AWS S3, GitLab CI/CD, Kafka Connect, Helm Charts, Python et de la gestion des certificats SSL.

Au sein de la DSI de notre client, dont la mission est de concevoir et maintenir les applications stratégiques des métiers du Groupe. Dans le cadre de l'évolution du Data Lake CIO Office, nous recherchons un Data Engineer expérimenté afin de participer au développement, à l'évolution et à l'industrialisation des pipelines de données, en collaboration avec les équipes de production applicative et DevOps. Vous évoluerez dans un environnement Big Data moderne, orienté Cloud et Agile, avec des échanges réguliers avec les équipes internationales basées à Porto.

Il aura la charge de gérer une architecture Lakehouse : • Data security : Apache Ranger • Data governance : Apache Atlas • Data processing : Spark, Apache Zeppelin • Data ingestion : nifi • Data analytics : Apache Impala • Data lake : hadoop, Apache KUDO • Dara serving: Hue Gestions des logs via la stack ELK (Elasticsearch-Logstash-Kibana) Provisionner des infrastructures via Terraform Connaissance réseaux (Mise en place et ouverture de flux réseau basé sur le dossier d'architecture réseau) Il documente les procédures d'exploitation et rédige des rapports synthétisés Il assure du bon fonctionnement des services dans le respect des SLA. Il connait et s'appuie sur les process ITIL (Gestion des incidents, des problèmes et des demandes de changement) pour opérer dans des environnements de production. Il a un bon niveau d'anglais pour converser avec les éditeurs dont Cloudera et les fournisseurs Il automatise les déploiements de fichiers de configurations, gestion des certificats et keystores via Ansible. Il utilise les Outils devops de versionning et de packages : Github, Jenkins Sa maitrise des environnements sous Linux lui permet d'analyser les logs dans le cadre du traitement des incidents. Il est force de proposition pour l'amélioration de l'exploitabilité des solutions et de la supervision des services. Il participe aux réunions d'équipe et rend compte des actions Il participe aux projets et aux différents comités.

Bonjour à tous, Mon client recherche Product Owner qui pourra suivre le écrire les US d'une de ses applications de cybersécurité. Vous interviendrez sur une application stratégique visant à valoriser les données d'un Data Lake via des Dashboards interactifs. Dans un contexte international exigeant de type grand groupe, vous ferez le pont entre les enjeux métiers et une équipe de développement offshore. Votre solide bagage technique vous permettra de dialoguer efficacement avec les développeurs et de concevoir des solutions robustes (notamment sur des logiques d'API). Missions : Recueillir, analyser et traduire les besoins métiers en User Stories claires et détaillées. Prioriser et gérer le backlog du produit en assurant un équilibre entre le développement de nouvelles fonctionnalités et le maintien de la stabilité de l'application. Collaborer quotidiennement avec les équipes de développement offshore (en anglais) et les guider sur les aspects techniques (ex: logique de raccordement d'API). Garantir la qualité des livrables en anticipant les impacts techniques pour éviter les régressions et l'apparition de nouveaux bugs. S'assurer de la bonne transmission des données depuis le Data Lake jusqu'à la restitution sur les Dashboards. Naviguer au sein d'un écosystème complexe en tenant compte des impératifs structurels, financiers et humains du projet.

Dans le cadre du développement de ses plateformes Data & IA, notre client recherche un Data Engineer Databricks Senior capable de concevoir, développer et industrialiser des pipelines de données à grande échelle. Le consultant interviendra sur l'ensemble du cycle de vie des projets Data, en lien avec les équipes métiers, Data Scientists, Architectes et équipes Cloud. MissionsRecueillir et analyser les besoins métiers. Concevoir des architectures Data modernes sur Databricks. Développer et maintenir des pipelines d'ingestion et de transformation. Optimiser les performances et la qualité des traitements. Participer à la mise en place des bonnes pratiques Data Engineering. Assurer les phases de tests, recette et mise en production. Collaborer avec les équipes Data Science, BI et Architecture. Contribuer aux sujets IA et valorisation des données. Documenter les solutions et accompagner les utilisateurs. Compétences requisesTechniquesDatabricks (indispensable) Apache Spark / PySpark Python SQL avancé Azure Data Factory ou équivalent Azure Synapse / Microsoft Fabric (apprécié) Git CI/CD Data Lake / Lakehouse Modélisation de données FonctionnellesAnalyse des besoins métiers Animation d'ateliers Rédaction de spécifications Communication avec des interlocuteurs non techniques

Véritable référent technique, vous participerez aux choix d'architecture et piloterez les développements Data afin de construire une plateforme robuste, évolutive et pérenne. Vos missions Au sein des équipes Data, en collaboration étroite avec les équipes Infrastructure et les métiers, vous serez chargé de : Définir, concevoir et faire évoluer l'architecture Data (ingestion, stockage, modélisation et exposition des données). Piloter les activités de Data Engineering et garantir l'application des bonnes pratiques de développement. Encadrer, accompagner et faire monter en compétence les équipes de développement internes et externes. Arbitrer les choix techniques et assurer la cohérence globale de l'écosystème Data. Garantir la qualité, la performance, la maintenabilité et la scalabilité des solutions déployées. Structurer la documentation technique et contribuer à l'industrialisation des développements. Participer à l'amélioration continue des méthodes de travail et des processus Agile. Collaborer avec les différentes parties prenantes afin d'aligner les solutions techniques sur les besoins métiers. Environnement technique Technologies et outils Python SQL ETL / ELT Orchestration de pipelines de données Data Lake Data Warehouse Environnements Cloud DevOps et CI/CD Méthodologies Agile