Notes de version¶

Aperçu des dernières versions de Snowflake Open Catalog.

18 octobre 2024¶

Snowflake Open Catalog - Disponibilité générale¶

Avec cette version, nous avons le plaisir d’annoncer la disponibilité générale de Snowflake Open Catalog, qui était auparavant nommé Catalogue Polaris et qui était disponible en tant que fonctionnalité en avant-première. Avec la disponibilité générale, nous avons effectué les mises à jour suivantes :

Un administrateur de service peut désormais créer des utilisateurs supplémentaires pour le compte Open Catalog. Ces utilisateurs peuvent gérer le compte via l’interface Web Open Catalog. Pour plus d’informations, voir Gestion des utilisateurs.
Un administrateur de catalogue peut désormais sécuriser des espaces de noms ou des tables individuels au sein d’un catalogue. Vous pouvez également continuer à sécuriser un catalogue au niveau du catalogue. Pour plus d’informations, voir Sécurisation des catalogues.
Lorsque vous affichez le schéma d’une table dans Snowflake Open Catalog, vous pouvez désormais afficher le schéma imbriqué d’une colonne. Pour plus d’informations, voir Affichage du schéma d’une table.
Nous avons ajouté le service de facturation pour Open Catalog, mais vous pouvez utiliser Open Catalog gratuitement jusqu’au 30 avril 2025. Pour plus d’informations, voir Facturation.

8 août 2024¶

Avec cette version, nous avons le plaisir d’annoncer la disponibilité immédiate des nouvelles améliorations suivantes dans Open Catalog :

Snowflake prend désormais en charge les requêtes sur les tables avec des espaces de noms imbriqués¶

Auparavant, nous avons répertorié une limitation selon laquelle Snowflake ne pouvait pas lire les tables enregistrées dans Open Catalog qui étaient situées sous un espace de noms imbriqué. Snowflake prend désormais en charge l’interrogation des tables situées sous un espace de noms imbriqué. Par exemple, si vous créez un espace de noms imbriqué namespace1.namespace1a.namespace1ab, Snowflake peut lire les tables regroupées sous l’espace de noms namespace1ab. Pour plus d’informations, voir Création d’un espace de noms.

30 juillet 2024¶

Avec cette version, nous sommes heureux d’annoncer la première version préliminaire publique d’Open Catalog hébergé sur Snowflake avec les fonctionnalités suivantes :

API Rest Apache Iceberg™¶

Open Catalog fournit une API Rest Apache Iceberg qui permet la prise en charge de tout moteur de requête prenant en charge la spécification de catalogue Apache Iceberg™ Rest.

Authentification¶

Les utilisateurs peuvent créer des connexions de service qui fournissent un ID client et les identifiants de connexion de service du secret client. Ces identifiants sont utilisés pour l’authentification à l’aide de OAuth 2.0.

Interface utilisateur Open Catalog¶

Open Catalog est fourni avec une application Web pour simplifier la gestion du catalogue. Dans l’UI, les utilisateurs peuvent gérer les catalogues, les principaux de service et les privilèges des principaux de service.

Modèle de sécurité basé sur les rôles¶

Un modèle de sécurité du contrôle d’accès basé sur les rôles (RBAC) est inclus, afin que les clients puissent gérer le niveau d’accès auquel chaque utilisateur ou groupe d’utilisateurs est autorisé sur le catalogue. Pour plus d’informations, voir Contrôle d’accès.

Distribution d’identifiants¶

L’accès aux objets de stockage où résident les données est géré par Open Catalog. Lorsqu’un utilisateur demande l’accès à une table, que ce soit en lecture ou en écriture, des identifiants de stockage temporaires sont générés et renvoyés au moteur appelant, qui fournit les autorisations d’accès appropriées au dossier dans lequel résident les données au sein du stockage.

Intégration du catalogue d’entrepôt Snowflake pour Open Catalog¶

Une nouvelle intégration de catalogue pour Open Catalog est disponible dans Snowflake. Cette intégration de catalogue permet aux utilisateurs de créer des tables Apache Iceberg™ non gérées qui pointent vers des tables qui résident dans Open Catalog pour l’interrogation.

Considérations et limites¶

Les considérations et limites suivantes s’appliquent à Open Catalog et sont susceptibles d’être modifiées :

Inscription

Seuls les clients Snowflake peuvent s’inscrire à Open Catalog.

Catalogues

Open Catalog prend actuellement en charge les tables Apache Iceberg™ qui utilisent soit :
- Open Catalog comme catalogue Iceberg
- Snowflake comme catalogue Iceberg Les catalogues Iceberg externes autres que Snowflake ne sont actuellement pas pris en charge. Si vous souhaitez ajouter des tables Iceberg à partir d’autres catalogues externes, vous devez les migrer.
Vous ne pouvez pas importer de tables Iceberg existantes provenant de fournisseurs tels que Glue ou Tabular dans un catalogue interne dans Open Catalog, mais elles peuvent être ajoutées à des catalogues externes.
Snowflake peut interroger mais ne peut pas écrire dans les tables gérées par Open Catalog.
Les tables Snowflake Iceberg, disponibles dans des catalogues externes, sont en lecture seule dans Open Catalog.
Pour les catalogues internes, vous ne pouvez pas renommer une table dans des espaces de noms. Par exemple, vous ne pouvez pas renommer une table /mytables/ns1/table1 en /mytables/ns2/table1.
Lors de la création d’un catalogue interne ou externe, vous ne pouvez pas spécifier un emplacement de base par défaut ou un emplacement autorisé qui chevauche la hiérarchie des répertoires d’un autre catalogue. Par exemple, si l’emplacement de base par défaut pour catalog1 est s3://mytables/db1/schema1/table1, vous ne pouvez pas spécifier l’emplacement de base par défaut pour votre nouveau catalogue comme s3://mytables/db1/.

Contrôle d’accès

La politique d’accès définie d’une table est limitée aux répertoires <table_base>/metadata/ et <table_base>/data/.

Iceberg

Lors de l’appel de l’API registerTable, vous ne pouvez pas enregistrer une table dans un emplacement situé en dehors du répertoire de l’espace de noms parent. Par exemple, si la hiérarchie des dossiers d’un catalogue est s3://teambucket/iceberg/namespace1/namespace1a/, vous ne pouvez pas créer mytbl3 avec un emplacement de base s3://teambucket/iceberg/namespace1. Vous pouvez le créer, par exemple, avec un emplacement de base s3://teambucket/iceberg/namespace1/mytbl3.
Si vous appelez l’API dropTable et que vous demandez la purge des données et des métadonnées de la table en définissant le paramètre purgeRequested sur vrai, Open Catalog fait de son mieux pour supprimer les éléments suivants :
- Tous les fichiers de données et de métadonnées associés à la table
- Le répertoire de stockage de la table
Cependant, certains de ces éléments pourraient ne pas être supprimés. Si tel est le cas, accédez à votre stockage Cloud externe pour identifier et supprimer vous-même les fichiers orphelins ou le répertoire de stockage.