API Azure Databricks : quoi de neuf ?

Les entreprises sont de plus en plus avides de plateformes de traitement et d’analyse de données unifiées comme la solution cloud collaborative de Databricks, pour leur projets analytiques et d’apprentissage machine. Zoom sur une API en vogue.

Vue d’ensemble de l’API

L’objectif de la plateforme de gestion de données fournie par Databricks : sécuriser nativement les accès cloud et automatiser les déploiements.

En étendant ses fonctions de sécurité et d’administration des espaces de travail, l’API Azure Databricks permet ainsi l’automatisation de la production pour la mise en production des projets analytiques et d’apprentissage machine.

La plateforme Unified Data Analytrics de Databricks se compose d’une couche de stockage (Delta Lake) pour fiabiliser les data lakes, qu’elle fournit des pipelines de données s’appuyant sur Spark, des notebooks collaboratifs, des environnements de machine learning, MLFLow pour gérer le cycle de vie des modèles ML, ainsi que des services d’administration, de sécurité et des intégrations avec les écosystèmes CI/CD (intégration et livraison continues).

Fonctionnalités

L’API Azure Databricks 2.0 prend ainsi en charge les services pour gérer différents éléments : espace de travail, DBFS, clusters, pools d’instance, travaux, bibliothèques, utilisateurs et groupes, jetons, expériences et modèles MLflow.

La sécurité de l’API a été renforcée, ses fonctions d’administration des utilisateurs étendues et des capacités d’automatisation ajoutées. Parmi ses riches fonctionnalités et bénéfices, on pourra citer plus spécifiquement les suivants.

Les outils d’administration de Databricks fournissent des informations sur la consommation des ressources cloud, dans une logique de gouvernance et d’administration fonctionnelles.
Hébergée sur Microsoft Azure ou AWS, elle permet aux entreprises de centraliser sur une seule plateforme l’ensemble de leurs données et l’accès des utilisateurs qui les exploitent, et d’assurer des contrôles de sécurité natifs cloud.
Les clients peuvent ainsi gérer, créer, révoquer et distribuer leurs clés d’encryption portées nativement dans le cloud.
Avec l’évolution des outils d’administration de la plateforme, de nouveaux usages apparaissent, à l’image de la création de zones de travail permettant de séparer logiquement les équipes, et qui peuvent concerner différents clouds ou zones géographiques. Des utilisateurs peuvent si besoin y être rattachés temporairement.
L’API a également renforcé ses capacités d’automatisation sur la partie mise en production de projets analytiques et machine learning, désormais orientées vers les outils de livraison continue CI/CD (Terraforme, Jenkins, MLflow), permettant aux équipes DevOps de construire un système scalable et répétable et de déployer les applications et modèles ML sans passer par la configuration manuelle, dans l’idée de tout rendre “API first”.

Azure Databricks propose deux API REST qui effectuent des tâches différentes : 2.0 et 1.2.
Pour l’administration générale, il conviendra d’utiliser l’API REST 2.0.
L’API REST 1.2 permet quant à elle d’exécuter des commandes directement dans Azure Databricks.