Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

Contexte : Le projet Data Lake était initialement porté par la Branche Grand Public et Numérique (BGPN) de [COMPANY]. Dans le cadre de l'évolution de sa plateforme Data vers Azure (projet Data Cloud) l'équipe Data Cloud et IA Factory (DIAF) arrive à une étape clé de ce projet structurant pour l'ensemble du Groupe [COMPANY] : • Mise en production et ouverture aux utilisateur de la version 1.0 de Data Cloud (Azure Darabricks) • Stabilisation d'ODLG (Cloudera) • Migration progressive d'ODLG vers la nouvelle plateforme Data Cloud • Accompagnement des branches sur la décroissance et l'optimisation des consommations Azure • Rapprochement vers une gouvernance i-TEAM • Intégration dans les processus de supervision et de support i-TEAM • Réflexion sur la mise en œuvre d'un nouveau Catalogue de Services • Accompagnement et soutien de l'équipe dans cette transformation La mission consiste à intégrer l'équipe DIAF sur un rôle transverse pour apporter un support dans les processus de stabilisation et de migration. La prestation inclue : • Analyse des résultats l'audit Cloudera et accompagnement de l'équipe dans le suivi du plan de remédiation • Renfort des actions liées à AIG • Soutien aux équipes socle Data Cloud et ODLG • Soutien aux équipes Outils & Usages • Analyse et optimisation des ressources sur Cloudera et Data Cloud • Accompagnement des plans de migrations et optimisation 1. Gestion des obsolescences Le prestataire devra s'assurer de la maintenabilité des versions liées au support des éditeurs ou de l'image middleware PaaS/IaaS proposée : Gestion de l'obsolescence des socles et images 2. Livrables / Résultats attendus • Suivi évaluation et CR des activités liées à l'audit Cloudera • Analyse et plan de mitigation des "requêtes lourdes" Cloudera • Proposition d'optimisations des séquences des job avec plan de mise en œuvre et suivi des actions • Suivi et reporting décroissance et décommissionnement ODLG • Bonnes pratiques de migration on-remise -> cloud 3. Cadre technique de la prestation : environnements techniques, outils et niveaux de maîtrise souhaités. Niveaux de compétences attendus : ? 0 : pas de connaissance ? 1 : connaissance de base ? 2 : pratique quotidienne ? 3 : expertise avérée. ? Jira 3 ? Cloudera 3 ? Azure 3 ? Databricks 3 ? Redhat 3 ? GitLab 3 ? Terraform 3 ? Pyhton 3 ? Dremio 3 4. Cadre fonctionnel de la prestation La réalisation des prestations requiert les compétences approfondies dans les domaines fonctionnels ci-dessous. ? Data model 3 ? Data Management 3 ? Data Viz 2 ? Sys admin 3 ? Data migration 3

Data Engineer – Gestion d'ActifsNotre client, un acteur mondial majeur de la gestion d'actifs, recherche un Data Engineer expérimenté pour rejoindre son département Investment Accounting & Administration au sein de l'activité Investment Management. Il s'agit d'une opportunité stratégique de contribuer au développement et à l'évolution d'une plateforme de données cloud au cœur des opérations d'investissement, de l'analytique et du reporting. Le candidat retenu participera à la conception, au développement et à l'optimisation d'un hub de données d'entreprise complexe, permettant aux équipes d'investissement d'exploiter pleinement les données Bloomberg ainsi que d'autres sources de données financières. En collaboration avec des équipes internationales, vous développerez des solutions de données évolutives qui soutiennent la prise de décision et la création de valeur à partir des données. Principales ResponsabilitésConcevoir, développer et maintenir des pipelines de données et des produits data cloud robustes au service d'opérations d'investissement critiques et d'applications analytiques à grande échelle. Renforcer et étendre les capacités de la plateforme de données de l'entreprise à l'aide de technologies modernes de Data Engineering. Collaborer étroitement avec les équipes d'investissement et les parties prenantes métiers afin de comprendre leurs besoins et fournir des solutions adaptées. Développer des solutions performantes basées sur Databricks, Spark, Delta Lake et les technologies cloud natives. Promouvoir les meilleures pratiques en matière de développement et de gouvernance des données : qualité de code, CI/CD, tests automatisés et fiabilité des plateformes. Contribuer à l'adoption de technologies innovantes, notamment l'Intelligence Artificielle, les Large Language Models (LLM) et les outils d'analyse avancée. Assurer une veille technologique continue afin d'accompagner l'évolution de la plateforme et des capacités de l'équipe. Compétences et Expérience RequisesMinimum 5 ans d'expérience en Data Engineering, dont au moins 5 ans sur Databricks dans la conception et le développement de pipelines de données. Solide expérience du cloud, idéalement Microsoft Azure ; une expérience sur AWS ou GCP sera également considérée. Maîtrise de Python, PySpark, SparkSQL et/ou Scala. Expérience dans la mise en place et l'orchestration de pipelines Big Data avec des outils tels qu'Azure Data Factory, Airflow, dbt ou équivalents. Expertise de Spark, particulièrement Databricks Spark et Delta Lake. Expérience dans l'implémentation de solutions Big Data dans un environnement cloud, incluant les Data Lakes et architectures Lakehouse. Excellentes compétences SQL avec la capacité de développer et d'optimiser des requêtes complexes sur de très grands volumes de données. Maîtrise de GitHub, du contrôle de version et des processus de déploiement CI/CD. Expérience des technologies d'IA, des LLM, de Databricks Genie ou d'outils similaires. Compétences SouhaitéesExpérience en architecture de bases de données et en modélisation de données (modèles conceptuels, logiques et physiques). Expérience préalable dans la gestion d'actifs, l'asset management, l'investissement ou un environnement de services financiers. Qualités PersonnellesExcellentes capacités d'analyse et de résolution de problèmes. Forte capacité d'apprentissage et adaptation rapide aux nouvelles technologies. Aisance relationnelle et aptitude à collaborer avec des équipes et parties prenantes internationales. Cette opportunité offre la possibilité de rejoindre une équipe Data en forte croissance et de contribuer à une plateforme stratégique au cœur des activités d'un leader mondial de la gestion d'actifs.

Our government client is looking for candidates who have at least one production AI/ML implementation, recent experience with AWS data services, Terraform, CI/CD, Python, and SQL. Candidates should have more than five years of overall experience and meet the other requirements outlined in the attached JD. Inside IR35 Monthly travel to Swindon, mostly remote Initial 6 months + extensions Job Purpose: The BI Engineer will be responsible for the requirements analysis and design of solutions for data platform, ETL, integration and analysis solutions. Our toolset includes AWS hosted databases (postgres, S3 based data lake, MySQL, Athena), integration services (AWS API gateway, lambda functions), ETL services (AWS Glue, Step functions, AWS Batch), infrastructure a management tool such as Terraform and extensive use of SQLs and python. Key Responsibilities and Accountabilities: The BI Engineer will be a hands-on data developer to develop and construct complete solution designs to complex application requirements across platforms and data sources: 1. Infrastructure Management: a. Set up and manage data infrastructure, including clusters, servers, and cloud-based resources using Terraform. b. Monitor and optimize system performance, troubleshoot issues, and ensure system availability. 2. Data Architecture and Design: a. Design and implement scalable and efficient data pipelines, databases, and data warehouses. b. Collaborate with data visualization and analysts' teams to understand data requirements and translate them into technical specifications. 3. Data Processing: a. Develop and maintain ETL (Extract, Transform, Load) processes for ingesting data from various sources into the data infrastructure. b. Optimize data processing and storage for performance and cost-effectiveness. 4. AI: a. Develop and deploy AI/ML models into production environments. b. Build scalable inference pipelines and AI APIs. c. Implement MLOps workflows for model versioning, monitoring, and retraining. d. Collaborate with data scientists to productionize machine learning solutions. e. Evaluate and optimize AI model performance and operational efficiency. 5. Database Management: a. Manage and maintain databases, ensuring data integrity, security, and availability. b. Implement database schema changes and optimizations as needed. 6. Collaboration: a. Collaborate with cross-functional teams, including data scientists, analysts, and software engineers, to meet data requirements. b. Communicate effectively with stakeholders to gather requirements and provide updates on data engineering projects. To Achieve this, you will have the following skills: * Comfortable working in an Agile rapidly changing environment * You will be an accomplished developer and BI Engineer, with excellent python skills. * Experience with the infrastructure deployment tool such as terraform, CDK or cloud formation. * Experience developing API based data integration. * Excellent analytic skills associated with working on structured and unstructured datasets. * Excellent SQL experience on various platforms (SQL, PostgresSQL, PL/SQL etc) * Experience of several of MySQL, Oracle, SQL, Postgres, RDS, Aurora, Athena or other similar large scale database technologies. * Experience working with AI framework such as LangChain / LlamaIndex * Experience with Vector databases (Pinecone, Weaviate, FAISS) This is an outline description of the key responsibilities and accountabilities involved in the job. This is not an exhaustive list and the post-holder might be expected to undertake any other duties across the wider directorate, commensurate with the Band and level of responsibility of this post, for which the post holder has the necessary experience and/or training. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.