Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Je recherche de 1 Expert Gouvernance de la Donnée / Data Steward confirmé. Le consultant interviendra sur des projets Data afin de garantir la qualité, la cohérence, la traçabilité et la conformité des données. Il aura notamment la charge du suivi des indicateurs de Data Quality, de l'analyse et du traitement des anomalies de données, de la gestion de la documentation et des métadonnées, ainsi que de l'application des règles de gouvernance des données.

ContexteDans le cadre de l'évolution de sa plateforme Data & IA, un acteur international du secteur de la santé recherche un Consultant Data Platform Engineer afin de renforcer son équipe Data Platform sur un sujet stratégique autour de Databricks et de l'automatisation de l'infrastructure Data. La mission s'intègre au sein d'une équipe Data Platform et Data Engineering responsable de la construction, de l'industrialisation et de la gouvernance de la plateforme de données du groupe. MissionsVous interviendrez principalement sur les sujets suivants : Mise en œuvre et industrialisation de Databricks Unity Catalog Développement et maintien des infrastructures en Terraform Automatisation de traitements et composants sur AWS Contribution à l'évolution de la Data Platform existante Participation à la mise en place des bonnes pratiques d'Infrastructure as Code Collaboration étroite avec les équipes Data Platform et Data Engineering Participation aux choix techniques et à l'amélioration continue de la plateforme Contribution à l'automatisation des déploiements et à la standardisation des environnements

Il s'agit d'assister le client en tant qu'ingénieur DATA sur le service de cloud datawarehouse sous Azure. Nous recherchons un Data Engineer ayant déjà fait du DevOps, capable de travailler à la fois sur les traitements de données (Databricks, architecture médaillon bronze / silver / gold) et sur l'infrastructure cloud associée (Azure, Terraform, Jenkins), dans un contexte d'entreprise avec des standards Git et CI/CD.Du conseil, des études d'opportunité et dossiers d'innovation seront demandés. Missions principales (Data & supervision) • Concevoir, développer et enchaîner des notebooks Databricks en PySpark pour alimenter les zones bronze, silver et gold. • Maîtriser et exploiter les formats parquet, delta et csv, en comprenant leurs impacts sur la performance, la robustesse et les coûts. • Optimiser les notebooks et jobs existants (performance, qualité de données, coûts d'exécution). • Mettre en place et faire vivre la supervision des flux : monitoring des pipelines Azure Data Factory, suivi de la qualité des données, création d'alertes et de tableaux de bord de suivi. • Contribuer à la fiabilisation globale de la plateforme data (détection d'anomalies, reprise sur incident, bonnes pratiques de développement). • Collaborer avec les équipes métier et techniques pour comprendre les besoins, prioriser les évolutions et industrialiser les traitements. Missions annexes (DevOps & infra) • Mettre à jour et faire évoluer les repos d'infrastructure (Terraform, Jenkins) en suivant les templates et bonnes pratiques du git d'entreprise. • Maintenir, paramétrer et exécuter les pipelines Jenkins liés aux déploiements et aux traitements data, en garantissant leur fiabilité et leur traçabilité. • Participer activement à la vie des repos GitHub : revue de code (PR/MR), gestion des branches, compréhension des workflows Git avancés, automatisation et diffusion des bonnes pratiques. Technologies & environnement technique • Cloud & data platform : Azure, Databricks, Azure Data Factory, Azure Storage Account, Azure Key Vault, Power BI. • Infra & CI/CD : Terraform, Jenkins, GitHub (PR/MR, workflows), intégration runtime via VM. • Langages & frameworks : Python, PySpark (DataFrame API, Spark SQL), SQL. • Formats & data : parquet, delta, csv… • Librairies Python courantes : o pyspark (transformations, jointures, agrégations, optimisations). o delta-spark et librairies Delta Lake pour la gestion des tables (ACID, time travel, optimisation). o Packages Azure (azure-identity, azure-keyvault-secrets, azure-storage-blob, etc.) pour l'intégration avec les services cloud.

Nous recherchons un Consultant Senior Power BI / GenAI pour intervenir sur des sujets BI à forte orientation métier. Le besoin porte sur deux dimensions : une expertise solide de Power BI pour concevoir des dashboards décisionnels, travailler sur DAX, Power Query et la modélisation des données, ainsi qu'une expérience concrète de l'IA générative en contexte professionnel. Le consultant devra comprendre les besoins des équipes métiers, transformer les données en informations exploitables et identifier des usages pertinents de la GenAI. L'objectif est d'aller au-delà de l'utilisation théorique des outils et de pouvoir contribuer à des solutions réellement exploitables par les utilisateurs. La mission est basée à Saint-Priest, proche de Lyon, en 100 % présentiel. Démarrage ASAP pour une durée initiale de 6 mois, avec possibilité d'extension.

Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, … QUALIFICATION ET GESTION DES DONNÉES : • Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité • Intègre les éléments • Structure la donnée (sémantique, etc.) • Cartographie les éléments à disposition • Nettoie la donnée (élimination des doublons, …) • Valide la donnée • Éventuellement, il crée le référentiel de données Résultat attendu Le prestataire devra développer un outil dans databricks qui permet de filtrer les clients selon des critères définis par le client. Il devra livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour. Il devra développer un ETL en utilisant les services AWS les plus adaptés: notamment AWS Step Functions pour l'orchestration / moteur de workflow AWS lambda pour des traitements légers AWS Aurora ou RDS comme BDD relationnelle transactionnelle Eventuellement Databricks si besoin d'offload pour des charges de traitements / transformations lourdes Les données entrantes seront récupérés via des API ou des fichiers plats Les données sélectionnées et transformées seront envoyées dans une 20aine d'API

ContexteLe consultant interviendra aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Dans une démarche orientée qualité (documentation, tests de non régression automatisés, usine de builds…), le candidat définira et implémentera les APIs et écrans nécessaires à l'exécution des process business. Il orchestrera les différents composants intervenant dans la production des résultats et apportera un soin particulier à l'élaboration et la validation d'une plateforme stable, sécurisée, scalable et performante. Il aidera le scrum master à organiser la vie de l'équipe et sera un référent technique. MissionsLa montée en compétence sur les applications existantes La mise en place de builds et des outils de tests et de maintenance associés La définition des APIs, modules, librairies et écrans Le lotissement des développements L'implémentation des différents besoins Les optimisations et évolutions diverses La rédaction de tests en collaboration avec les Functional Analysts La documentation et les manuels d'utilisation L'assistance et le support aux utilisateurs Le support niveau 2, résolution d'incidents et résolution de problèmes (root causes d'incidents récurrents) Le suivi post-release des livrables

Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.

Missions principales : -Conception & Développement : bâtir des pipelines ETL/Data robustes et développer/maintenir les API d'exposition des données. -Architecture Databricks : optimiser les traitements et participer aux choix d'architecture selon l'approche Medallion (Bronze/Silver/Gold). -Qualité & Performance : garantir la fiabilité et l'optimisation des performances des traitements, et gérer la résolution d'incidents de production. -Leadership Technique : accompagner l'équipe sur les bonnes pratiques de dev et le déploiement de solutions.

Our government client is looking for Data Engineers to begin ASAP. Please see below for role description and details. - Hybrid, 2 days per week on site in Swansea, Wales - Inside IR35 - SC clearance required - 3-6 months initially + longer extensions expected Role details: To migrate legacy IMPALA reporting (Oracle materialised views and Discoverer workbooks) to Databricks Lakeflow Declarative Pipelines. The work involves translating existing SQL logic into a lakehouse architecture, building reconciliation checks to validate output against the legacy system, and supporting the pipelines once live. It is mostly SQL knowledge but some familiarity with Python on Databricks (in Azure) will be beneficial. Source data is already available in Databricks - you would be working with tables in Unity Catalog, not managing data ingestion or connectivity. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

Nous recherchons un consultant DevOps GCP / GKE maîtrisant les technologies / langages suivants : · GCP (IAM, VPC, Firewall, Routage) · GKE (Kubernetes, Service, StatefulSet, CRD, ....) · Outils de Monitoring (Grafana, Prometheus, Cloud Monitoring) · Services de messagerie (Pub/Sub) et de stockage (Cloud Storage/Buckets) · Infrastructure as Code : Terraform · CI/CD : GitLab (CI/CD) · Langages de programmation : Python et/ou Golang · Observabilité : OpenTelemetry · Databricks : connaissance qui s'avère un plus mais non obligatoire Le candidat devra faire preuve d'autonomie et d'excellentes capacités d'automatisation des services.

Le contexte : Vous rejoignez une équipe BI/Data qui délivre et opère les produits data du domaine Marketing & Ventes. Périmètre à la fois build (nouveaux usages, évolutions) et run (support, incidents, qualité de service). Environnement Azure, stack moderne, utilisateurs business exigeants et proches. Votre mission : • Concevoir, développer et industrialiser des rapports et modèles Power BI (modélisation, DAX, performance, sécurité RLS) — pas seulement de la mise en page • Développer et maintenir les pipelines d'ingestion et de transformation (Azure Data Factory, Databricks / PySpark) • Écrire et optimiser le SQL sur des volumétries significatives • Assurer le support niveau 2/3 sur votre périmètre : analyse d'incidents, correction, communication aux utilisateurs • Participer aux rituels agiles de l'équipe (refinement, daily, revue) et à la documentation technique • Contribuer à la fiabilisation : monitoring, tests, qualité de données Le profil : Indispensable : • 3 à 6 ans d'expérience en développement BI/Data • Power BI en développement : modélisation, DAX avancé, optimisation • SQL solide (requêtes complexes, lecture de plan d'exécution, optimisation) • Databricks et PySpark en usage réel projet • Azure Data Factory (orchestration, gestion des erreurs, paramétrage) • Autonomie sur le run : savoir prendre un incident, investiguer, tenir un utilisateur informé Apprécié : • Git / CI-CD / Azure DevOps • ADLS et modèles de type médaillon / lakehouse • Anglais professionnel (échanges avec des équipes internationales) • Connaissance des données Marketing/Ventes