Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Nous sommes à la recherche d'un Ingénieur Data Azure Databricks pour la gestion d'une plateforme datalake. Vos missions: Déploiement du modèle d'accès aux données partagées dans Unity Catalog. Mise à disposition des données en mode table . Contribution à la réalisation des POC. Déploiement du nouveau datalake gouverné. Votre profil: Maitrise d'Azure / Databricks. Capacité à prendre en charge l'ensemble des composants techniques. Environnement : Git Hub / Java / JavaScript / TypeScript / Spark / Azure DevOps. Anglais opérationnel. 1 jour de Télétravail / semaine

Je recherche de 1 Expert Gouvernance de la Donnée / Data Steward confirmé. Le consultant interviendra sur des projets Data afin de garantir la qualité, la cohérence, la traçabilité et la conformité des données. Il aura notamment la charge du suivi des indicateurs de Data Quality, de l'analyse et du traitement des anomalies de données, de la gestion de la documentation et des métadonnées, ainsi que de l'application des règles de gouvernance des données.

Dans le cadre de la modernisation de sa plateforme data et de la montée en charge de ses projets IA, un grand compte recherche un Data Architect pour concevoir une architecture data performante, condition pour que les projets d'analyse, de BI et d'IA puissent passer à l'échelle. Le consultant interviendra notamment sur : ▪ La conception de l'architecture data cible : Data Warehouse, Lakehouse, modélisation normalisée (étoile, flocon, Data Vault) ▪ Le cadrage des migrations cloud des actifs data ▪ La définition des patterns d'alimentation des cas d'usage IA : feature stores, pipelines RAG, gouvernance des données d'entraînement ▪ La définition des standards de modélisation, de sécurité et de gouvernance des données ▪ L'accompagnement des équipes data engineering dans la mise en œuvre ▪ Les arbitrages techniques et la rédaction des dossiers d'architecture

ContexteDans le cadre de l'évolution de sa plateforme Data & IA, un acteur international du secteur de la santé recherche un Consultant Data Platform Engineer afin de renforcer son équipe Data Platform sur un sujet stratégique autour de Databricks et de l'automatisation de l'infrastructure Data. La mission s'intègre au sein d'une équipe Data Platform et Data Engineering responsable de la construction, de l'industrialisation et de la gouvernance de la plateforme de données du groupe. MissionsVous interviendrez principalement sur les sujets suivants : Mise en œuvre et industrialisation de Databricks Unity Catalog Développement et maintien des infrastructures en Terraform Automatisation de traitements et composants sur AWS Contribution à l'évolution de la Data Platform existante Participation à la mise en place des bonnes pratiques d'Infrastructure as Code Collaboration étroite avec les équipes Data Platform et Data Engineering Participation aux choix techniques et à l'amélioration continue de la plateforme Contribution à l'automatisation des déploiements et à la standardisation des environnements

Il s'agit d'assister le client en tant qu'ingénieur DATA sur le service de cloud datawarehouse sous Azure. Nous recherchons un Data Engineer ayant déjà fait du DevOps, capable de travailler à la fois sur les traitements de données (Databricks, architecture médaillon bronze / silver / gold) et sur l'infrastructure cloud associée (Azure, Terraform, Jenkins), dans un contexte d'entreprise avec des standards Git et CI/CD.Du conseil, des études d'opportunité et dossiers d'innovation seront demandés. Missions principales (Data & supervision) • Concevoir, développer et enchaîner des notebooks Databricks en PySpark pour alimenter les zones bronze, silver et gold. • Maîtriser et exploiter les formats parquet, delta et csv, en comprenant leurs impacts sur la performance, la robustesse et les coûts. • Optimiser les notebooks et jobs existants (performance, qualité de données, coûts d'exécution). • Mettre en place et faire vivre la supervision des flux : monitoring des pipelines Azure Data Factory, suivi de la qualité des données, création d'alertes et de tableaux de bord de suivi. • Contribuer à la fiabilisation globale de la plateforme data (détection d'anomalies, reprise sur incident, bonnes pratiques de développement). • Collaborer avec les équipes métier et techniques pour comprendre les besoins, prioriser les évolutions et industrialiser les traitements. Missions annexes (DevOps & infra) • Mettre à jour et faire évoluer les repos d'infrastructure (Terraform, Jenkins) en suivant les templates et bonnes pratiques du git d'entreprise. • Maintenir, paramétrer et exécuter les pipelines Jenkins liés aux déploiements et aux traitements data, en garantissant leur fiabilité et leur traçabilité. • Participer activement à la vie des repos GitHub : revue de code (PR/MR), gestion des branches, compréhension des workflows Git avancés, automatisation et diffusion des bonnes pratiques. Technologies & environnement technique • Cloud & data platform : Azure, Databricks, Azure Data Factory, Azure Storage Account, Azure Key Vault, Power BI. • Infra & CI/CD : Terraform, Jenkins, GitHub (PR/MR, workflows), intégration runtime via VM. • Langages & frameworks : Python, PySpark (DataFrame API, Spark SQL), SQL. • Formats & data : parquet, delta, csv… • Librairies Python courantes : o pyspark (transformations, jointures, agrégations, optimisations). o delta-spark et librairies Delta Lake pour la gestion des tables (ACID, time travel, optimisation). o Packages Azure (azure-identity, azure-keyvault-secrets, azure-storage-blob, etc.) pour l'intégration avec les services cloud.

Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, … QUALIFICATION ET GESTION DES DONNÉES : • Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité • Intègre les éléments • Structure la donnée (sémantique, etc.) • Cartographie les éléments à disposition • Nettoie la donnée (élimination des doublons, …) • Valide la donnée • Éventuellement, il crée le référentiel de données Résultat attendu Le prestataire devra développer un outil dans databricks qui permet de filtrer les clients selon des critères définis par le client. Il devra livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour. Il devra développer un ETL en utilisant les services AWS les plus adaptés: notamment AWS Step Functions pour l'orchestration / moteur de workflow AWS lambda pour des traitements légers AWS Aurora ou RDS comme BDD relationnelle transactionnelle Eventuellement Databricks si besoin d'offload pour des charges de traitements / transformations lourdes Les données entrantes seront récupérés via des API ou des fichiers plats Les données sélectionnées et transformées seront envoyées dans une 20aine d'API

ContexteLe consultant interviendra aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Dans une démarche orientée qualité (documentation, tests de non régression automatisés, usine de builds…), le candidat définira et implémentera les APIs et écrans nécessaires à l'exécution des process business. Il orchestrera les différents composants intervenant dans la production des résultats et apportera un soin particulier à l'élaboration et la validation d'une plateforme stable, sécurisée, scalable et performante. Il aidera le scrum master à organiser la vie de l'équipe et sera un référent technique. MissionsLa montée en compétence sur les applications existantes La mise en place de builds et des outils de tests et de maintenance associés La définition des APIs, modules, librairies et écrans Le lotissement des développements L'implémentation des différents besoins Les optimisations et évolutions diverses La rédaction de tests en collaboration avec les Functional Analysts La documentation et les manuels d'utilisation L'assistance et le support aux utilisateurs Le support niveau 2, résolution d'incidents et résolution de problèmes (root causes d'incidents récurrents) Le suivi post-release des livrables

Missions principales : -Conception & Développement : bâtir des pipelines ETL/Data robustes et développer/maintenir les API d'exposition des données. -Architecture Databricks : optimiser les traitements et participer aux choix d'architecture selon l'approche Medallion (Bronze/Silver/Gold). -Qualité & Performance : garantir la fiabilité et l'optimisation des performances des traitements, et gérer la résolution d'incidents de production. -Leadership Technique : accompagner l'équipe sur les bonnes pratiques de dev et le déploiement de solutions.

En tant qu'Architecte Data, vous concevez et faites évoluer les plateformes de données de l'entreprise. Vous définissez les architectures cibles, accompagnez les équipes techniques et garantissez des solutions performantes, sécurisées et évolutives répondant aux enjeux métiers. Vos missions : Concevoir des architectures Data modernes (Data Lake, Lakehouse, Data Warehouse, Data Mesh). Définir les stratégies d'ingestion, de transformation et de restitution des données (batch & streaming). Garantir la qualité, la sécurité, la performance et la gouvernance des plateformes. Définir les standards d'architecture, de CI/CD et d'observabilité. Optimiser les performances et les coûts des plateformes (FinOps). Accompagner les équipes Data et participer aux instances d'architecture dans un environnement Agile/SAFe.

Nous recherchons un consultant DevOps GCP / GKE maîtrisant les technologies / langages suivants : · GCP (IAM, VPC, Firewall, Routage) · GKE (Kubernetes, Service, StatefulSet, CRD, ....) · Outils de Monitoring (Grafana, Prometheus, Cloud Monitoring) · Services de messagerie (Pub/Sub) et de stockage (Cloud Storage/Buckets) · Infrastructure as Code : Terraform · CI/CD : GitLab (CI/CD) · Langages de programmation : Python et/ou Golang · Observabilité : OpenTelemetry · Databricks : connaissance qui s'avère un plus mais non obligatoire Le candidat devra faire preuve d'autonomie et d'excellentes capacités d'automatisation des services.

Le contexte : Vous rejoignez une équipe BI/Data qui délivre et opère les produits data du domaine Marketing & Ventes. Périmètre à la fois build (nouveaux usages, évolutions) et run (support, incidents, qualité de service). Environnement Azure, stack moderne, utilisateurs business exigeants et proches. Votre mission : • Concevoir, développer et industrialiser des rapports et modèles Power BI (modélisation, DAX, performance, sécurité RLS) — pas seulement de la mise en page • Développer et maintenir les pipelines d'ingestion et de transformation (Azure Data Factory, Databricks / PySpark) • Écrire et optimiser le SQL sur des volumétries significatives • Assurer le support niveau 2/3 sur votre périmètre : analyse d'incidents, correction, communication aux utilisateurs • Participer aux rituels agiles de l'équipe (refinement, daily, revue) et à la documentation technique • Contribuer à la fiabilisation : monitoring, tests, qualité de données Le profil : Indispensable : • 3 à 6 ans d'expérience en développement BI/Data • Power BI en développement : modélisation, DAX avancé, optimisation • SQL solide (requêtes complexes, lecture de plan d'exécution, optimisation) • Databricks et PySpark en usage réel projet • Azure Data Factory (orchestration, gestion des erreurs, paramétrage) • Autonomie sur le run : savoir prendre un incident, investiguer, tenir un utilisateur informé Apprécié : • Git / CI-CD / Azure DevOps • ADLS et modèles de type médaillon / lakehouse • Anglais professionnel (échanges avec des équipes internationales) • Connaissance des données Marketing/Ventes

Raison d'être du poste : Le Data Product Manager assure l'interface stratégique et opérationnelle entre les Data Owners métier et l'équipe technique Data. Sa mission est de transformer la donnée issue des différents systèmes en produits analytiques performants pour piloter l'offre, l'impact scientifique du client et les processus d'accréditations internationales. Expert en modélisation Power BI, il garantit la fiabilité des indicateurs et la sécurité des accès, tout en challengeant les besoins métiers pour maximiser la valeur ajoutée des solutions déployées Finalités et Résultats Attendus : 1. Analyse, modélisation et structuration des données Analyser les modèles de données des différentes applications contributrices (sources de données ou consommatrices/cibles de données) Modéliser les données métiers (programmes, faculté, recherche et accréditations) dans un modèle commun 'SKEMA', développer des data products (PowerBI et autres) répondant aux besoins métier et maintenir le modèle sémantique de l'école. Définir et gérer la gouvernance des accès et la sécurité des données (Row Level Security) pour chaque data product. 2. Conception et développement des data products Ecrire les spécifications techniques pour les opérations de manipulation de données Documenter les logiques métier de transformation Comprendre, piloter les flux d'intégration et de transformation de données (Azure Data Factory, Synapse, PowerBI [demain Fabric / Databricks ou autres]) Développer les data products en lien avec les data owners et les équipes data Tester et valider la cohérence des flux de données entre les systèmes producteurs et les data products finaux. Suivre l'adoption des data products (usage, accès …) 3. Qualité et fiabilité des données Direction des Ressources Humaines Participer aux projets de migration et de mise en qualité des données entre systèmes applicatifs afin d'identifier les impacts sur le périmètre des data products concernés. Assurer la fiabilité des données, les contrôles de cohérence et participer au support technique associé des data products. 4. Structuration de la plateforme Data Avoir une compréhension d'une data plateforme et d'une modélisation médaillon Piloter la mise à disposition de donnée dans la data plateforme pour permettre la réalisation des data products. 5. Collaboration et accompagnement Savoir faire le pont entre les équipes métiers (vulgarisation des concepts) et les équipes techniques pour l'évolution des usages data Animer la communauté des data owner de l'univers « Offre d'enseignement & Impact scientifique » Environnement data : Modélisation de donnée • Power BI • Fabrics (est un plus) • Synapse / Azure (est un plus) • Databricks (est un plus) • Git, DevOps • SQL