Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Missions : -Administration & Administration Databricks : Administrer, surveiller et maintenir les espaces de travail Databricks du CoE. -Standards & Industrialisation : Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. -Accompagnement & Enablement : Accompagner les équipes métiers et Data dans l'adoption de l'écosystème Databricks et leur conformité avec les politiques groupe. -Delivery : Contribuer directement à la conception et la réalisation de use cases stratégiques portés par les différentes entités. -Veille & Innovation : Tester, évaluer et recommander les nouvelles fonctionnalités Databricks et outils partenaires pour améliorer la plateforme. Télétravail : 3 jours par semaine (2 jours sur site).

Dans le cadre du renforcement de l'équipe, intervention sur des sujets d'ingénierie des données (Big Data) et DataOps en lien avec le socle transverse on premise et cloud. La mission intervient sur le Run quotidien et sur des sujets techniques et fonctionnels liés à l'obsolescence technique et applicative, à la scalabilité du socle de données et au déploiement de services Azure. L'environnement comprend également Databricks, des bases relationnelles et NoSQL, ainsi que CI/CD et DevOps / DataOps Missions : - Contribuer au Run quotidien du socle de données - Intervenir sur les sujets d'obsolescence technique et applicative - Intervenir sur la scalabilité du socle de données - Déployer des services Azure - Intervenir sur des sujets d'ingénierie des données Big Data - Intervenir sur des sujets DataOps - Exploiter Airflow et Kafka dans le cadre des activités du socle de données - Intervenir sur Hadoop et Databricks - Exploiter les bases relationnelles et NoSQL - Utiliser CI/CD et DevOps / DataOps Profil attendu : Profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) et DataOps. Expérience attendue sur Spark Scala, Python, SQL, Airflow, Kafka, Hadoop, Cloud Azure / Terraform et les environnements Databricks. Le profil

Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.

Missions principales : -Conception & Développement : bâtir des pipelines ETL/Data robustes et développer/maintenir les API d'exposition des données. -Architecture Databricks : optimiser les traitements et participer aux choix d'architecture selon l'approche Medallion (Bronze/Silver/Gold). -Qualité & Performance : garantir la fiabilité et l'optimisation des performances des traitements, et gérer la résolution d'incidents de production. -Leadership Technique : accompagner l'équipe sur les bonnes pratiques de dev et le déploiement de solutions.

Rejoignez une équipe IA au sein d'un grand groupe du secteur bancaire et financier, intervenant sur des applications d'intelligence artificielle et des workflows IA critiques pour la relation client et les entrées en relation. Vous contribuerez à des projets porteurs combinant machine learning, IA générative et orchestration cloud sur une infrastructure Azure moderne. Vous intervenez sur un périmètre fonctionnel riche couvrant les entrées en relation, la lutte anti-fraude, la gestion de portefeuille, la conformité réglementaire, les chatbots clients et prospects, ainsi que la satisfaction et la gestion des incidents. L'environnement technique repose sur Azure, Databricks, Terraform et Python, avec une forte composante IA générative et Copilot. Vous participez à l'ensemble du cycle de vie des projets : du cadrage et de l'étude d'impacts à la conception de solutions, en passant par l'idéation, le développement, les tests et le suivi en production. Vous concevez et proposez des solutions IA/ML innovantes pour résoudre les points de douleur métier, en intégrant dès la phase de conception les enjeux de sécurité des données et de gouvernance infrastrukturelle. Vous travaillez dans un environnement Agile/Scrum avec une forte culture de qualité et de fiabilité. Vos responsabilités incluent la mise en place de tests unitaires et de non-régression automatisés, la préparation et l'exécution de tests d'intégration et de charge, ainsi que la mise en place de guardrails et de tests continus pour les applications d'IA générative. Responsabilités : - Participer aux cadrages des projets : étude d'impacts, conception architecturale de solutions, chiffrage et planification - Proposer et développer des solutions IA/ML répondant aux besoins métier spécifiques des domaines couverts - Concevoir et implémenter une infrastructure cloud native sur Azure avec approche Infrastructure as Code (Terraform, Ansible) - Développer des APIs REST et intégrations de workflows avec Databricks et services Azure - Mettre en place des stratégies complètes de test : tests unitaires, non-régression automatisée, tests préprod et continus - Implémenter des guardrails et mécanismes de contrôle qualité pour les applications d'IA générative et Copilot - Assurer la préparation et l'exécution des phases de tests IT, intégration, charge et déploiement en production - Rédiger et maintenir la documentation technique des modèles, de l'infrastructure et des évolutions - Conduire l'analyse et la résolution d'incidents en production de manière réactive et méthodique - Communiquer de façon claire et structurée avec tous les stakeholders (métier, IT, conformité, architecture, marketing) - Intégrer les enjeux de sécurité des données et de conformité réglementaire dès les phases amont

Dans le cadre d'un programme de transformation Data, notre client recherche un Développeur Power BI Confirmé / Senior capable d'intervenir sur la conception, le développement et l'industrialisation de solutions BI. Missions :Recueillir et analyser les besoins métiers ; Concevoir et développer des dashboards et modèles sémantiques Power BI ; Réaliser la modélisation des données, les mesures DAX et les traitements Power Query ; Optimiser les performances des rapports et modèles ; Industrialiser les solutions : Workspaces, Apps, RLS, déploiements ; Garantir la qualité et la cohérence des données et KPI ; Documenter les solutions et assurer le support de niveau 2 ; Participer aux activités Agile et au suivi du backlog sous Azure DevOps. Compétences :Power BI DAX / Power Query Modélisation de données / schéma en étoile SQL Power BI Service : Workspaces, Apps, Gateway, RLS Optimisation des performances Databricks / Cloud Data pipelines Gouvernance et qualité des données Expérience dans des environnements internationaux

Résumé : Ce poste de Data Engineer vise à intégrer un programme stratégique qui se concentre sur l'optimisation des dépenses en IA. En jouant un rôle clé entre technologie, finance, et transformation organisationnelle, le candidat sera responsable de la conception et de la construction des infrastructures nécessaires pour le suivi et l'analyse des coûts liés à l'IA Responsabilités : Concevoir et construire des pipelines de données, des bases de données, et une infrastructure analytique pour collecter et normaliser les coûts de l'IA. Élaborer des systèmes de suivi des coûts fiables et évolutifs en travaillant avec des plateformes cloud et des équipes interfonctionnelles. Maintenir les pipelines ETL pour l'ingestion de données sur les coûts de l'IA. Concevoir et mettre en œuvre des modèles de données pour le suivi et l'allocation des coûts. Développer et optimiser des bases de données pour l'analyse FinOps. Créer des contrôles de qualité automatisés des données et des outils de surveillance. Soutenir le développement de tableaux de bord de reporting des coûts et des outils analytiques. Must Haves : Maîtrise de SQL et Python. Expérience dans des environnements Databricks et Power BI. Connaissance des processus ETL/ELT et de l'environnement de modélisation des données. Autres Détails : 3 jours de TT/ 2 jours sur site. Mission longue (maximum 3 ans). Localisation à Paris.

Our government client is looking for Data Engineers to begin ASAP. Please see below for role description and details. - Hybrid, 2 days per week on site in Swansea, Wales - Inside IR35 - SC clearance required - 3-6 months initially + longer extensions expected Role details: To migrate legacy IMPALA reporting (Oracle materialised views and Discoverer workbooks) to Databricks Lakeflow Declarative Pipelines. The work involves translating existing SQL logic into a lakehouse architecture, building reconciliation checks to validate output against the legacy system, and supporting the pipelines once live. It is mostly SQL knowledge but some familiarity with Python on Databricks (in Azure) will be beneficial. Source data is already available in Databricks - you would be working with tables in Unity Catalog, not managing data ingestion or connectivity. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

Nous recherchons un Analytics Engineer pour intervenir au sein d'une équipe Data dédiée aux usages digitaux en magasin d'un grand acteur international du retail. L'équipe a pour objectif d'exploiter la donnée afin d'améliorer l'efficacité des équipes opérationnelles en magasin et de leur permettre de prendre de meilleures décisions. Vous interviendrez sur l'ensemble de la chaîne de transformation et de modélisation de la donnée, avec un rôle fortement orienté Analytics Engineering. Vos principales responsabilités : • Automatiser et industrialiser les pipelines de transformation de données alimentant les dashboards, analyses Data et modèles IA ; • Construire et modéliser la semantic layer sur des domaines métier notamment liés à la Supply Chain et à la Production ; • Maintenir, optimiser et repenser les datasets et pipelines existants afin de répondre à de nouveaux cas d'usage ; • Construire des datasets robustes, fiables et facilement exploitables ; • Garantir la qualité des données exposées ; • Participer aux choix techniques et à l'évolution de la stack Data ; • Intégrer les enjeux de data lineage, de gouvernance et de documentation ; • Contribuer aux communautés Analytics Engineering et Data Engineering. Environnement technique : AWS, Databricks, Glue, S3, dbt, Airflow, SQL, Python, Scala, PySpark, Great Expectations, Git, GitHub, CI/CD, Make.