Vue d’ensemble de Snowflake Open Catalog¶

Catalogue¶

Dans Open Catalog, vous pouvez créer une ou plusieurs ressources de catalogue pour organiser les tables Iceberg.

Configurez votre catalogue en définissant des valeurs dans la configuration de stockage pour S3, Azure ou Google Cloud Storage. Un catalogue Iceberg permet à un moteur de requête de gérer et d’organiser les tables. Le catalogue constitue la première couche architecturale de la spécification des tables Apache Iceberg™ et doit prendre en charge les tâches suivantes :

• Stockage du pointeur de métadonnées actuel pour une ou plusieurs tables Iceberg. Un pointeur de métadonnées mappe un nom de table vers l’emplacement du fichier de métadonnées actuel de cette table.

• Exécution d’opérations atomiques permettant de mettre à jour le pointeur de métadonnées actuel d’une table sur le pointeur de métadonnées d’une nouvelle version de la table.

Pour en savoir plus sur les catalogues Iceberg, voir la documentation Apache Iceberg™.

Espace de noms¶

Vous créez des espaces de noms pour regrouper logiquement les tables Iceberg dans un catalogue. Un catalogue peut avoir plusieurs espaces de noms. Vous pouvez également créer des espaces de noms imbriqués. Les tables Iceberg appartiennent aux espaces de noms.

Tables Apache Iceberg™ et catalogues¶

Dans un catalogue interne, une table Iceberg est enregistrée dans Open Catalog, mais lue et écrite via des moteurs de requête. Les données et métadonnées de la table sont stockées dans votre stockage Cloud externe. La table utilise Open Catalog comme catalogue Iceberg.

Si vous avez des tables qui utilisent Snowflake comme catalogue Iceberg (tables gérées par Snowflake), vous pouvez synchroniser ces tables avec un catalogue externe dans Open Catalog. Si vous synchronisez ce catalogue avec Open Catalog, il apparaît comme un catalogue externe dans Open Catalog. Les données et métadonnées de la table sont stockées dans votre stockage Cloud externe. Le moteur de requête Snowflake peut lire ou écrire dans ces tables. Cependant, les autres moteurs de requête peuvent uniquement lire ces tables.

Important

Pour garantir que les privilèges d’accès définis pour un catalogue sont appliqués correctement, les conditions suivantes doivent être remplies :

• Le répertoire contient uniquement les fichiers de données appartenant à une seule table.

• La hiérarchie de répertoires correspond à la hiérarchie de l’espace de noms du catalogue.

Par exemple, si un catalogue comprend les éléments suivants :

• Espace de noms de niveau supérieur namespace1

• Espace de noms imbriqué namespace1a

• Une table customers regroupée sous un espace de noms imbriqué namespace1a

• Une table orders regroupée sous un espace de noms imbriqué namespace1a

La hiérarchie de répertoires du catalogue doit respecter cette structure :

• /namespace1/namespace1a/customers/<fichiers pour la table des clients uniquement>

• /namespace1/namespace1a/orders/< fichiers pour la table des commandes uniquement>

Principal de service¶

Un principal de service est une entité que vous créez dans Open Catalog. Chaque principal de service encapsule les informations d’identification que vous utilisez pour vous connecter à Open Catalog.

Les moteurs de requête utilisent des principaux de service pour se connecter aux catalogues.

Open Catalog génère un ID client et une paire de secrets client pour chaque principal de service.

Le tableau suivant présente des exemples de principaux de service que vous pouvez créer dans Open Catalog :

Connexion de service¶

Une connexion de service représente un moteur compatible avec REST (comme Apache Spark™, Apache Flink® ou Trino) qui peut lire et écrire dans Open Catalog. Lors de la création d’une nouvelle connexion de service, l’administrateur Open Catalog accorde au principal de service créé avec la nouvelle connexion de service un rôle de principal nouveau ou existant. Un rôle principal est une ressource dans Open Catalog que vous pouvez utiliser pour regrouper logiquement les principaux de service Open Catalog et accorder des privilèges sur les objets sécurisables. Pour plus d’informations, voir Rôle principal. Open Catalog utilise un modèle de contrôle d’accès basé sur les rôles (RBAC) pour autoriser les principaux de service à accéder aux ressources. Pour plus d’informations, voir Contrôle d’aaccès. Pour obtenir un schéma de ce modèle, voir modèle RBAC.

Si l’administrateur Open Catalog accorde au principal de service pour la nouvelle connexion de service un nouveau rôle principal, aucun privilège ne lui est encore accordé. Lors de la sécurisation du catalogue auquel la nouvelle connexion de service se connectera, l’administrateur Open Catalog accorde des privilèges aux rôles de catalogue, puis attribue ces rôles de catalogue au nouveau rôle principal. Par conséquent, le principal de service de la nouvelle connexion de service dispose de ces privilèges. Pour plus d’informations sur les rôles de catalogue, voir Rôle de catalogue.

Si l’administrateur Open Catalog accorde un rôle principal existant au principal de service pour la nouvelle connexion de service, le principal de service reçoit les privilèges accordés aux rôles de catalogue qui sont attribués au rôle principal existant. Si nécessaire, l’administrateur Open Catalog peut accorder des rôles de catalogue supplémentaires au rôle principal existant ou supprimer des rôles de catalogue pour ajuster les privilèges accordés au principal de service. Pour un exemple de comment RBAC fonctionne dans Open Catalog, voir RBAC exemple.

Configuration de stockage¶

Une configuration de stockage stocke une entité générée pour la gestion des identités et des accès (IAM) pour votre stockage Cloud externe et est créée lorsque vous créez un catalogue. La configuration de stockage est utilisée pour définir les valeurs permettant de connecter Open Catalog à votre stockage Cloud. Au cours du processus de création du catalogue, une entité IAM est générée et utilisée pour créer une relation de confiance entre le fournisseur de stockage Cloud et Open Catalog.

Lorsque vous créez un catalogue, vous fournissez les informations suivantes sur votre stockage Cloud externe :

Distribution d’identifiants¶

Pour sécuriser les interactions avec les connexions de service, Open Catalog fournit des informations d’identification de stockage temporaires au moteur de requête pendant l’exécution de la requête. Ces informations d’identification permettent au moteur de requête d’exécuter la requête sans nécessiter l’accès à votre stockage Cloud externe pour les tables Iceberg. Ce processus s’appelle « Distribution d’identifiants ».

Gestion des identités et des accès (IAM)¶

Open Catalog utilise l’entité de Gestion des identités et des accès (IAM) pour se connecter en toute sécurité à votre stockage afin d’accéder aux données des tables, aux métadonnées Iceberg et aux fichiers manifestes qui stockent le schéma des tables, les partitions et d’autres métadonnées. Open Catalog conserve l’entité IAM pour votre emplacement de stockage.

Contrôle d’accès¶

Open Catalog applique le contrôle d’accès que vous configurez sur toutes les tables enregistrées auprès du service et régit la sécurité de toutes les requêtes des moteurs de requête de manière cohérente.

Open Catalog utilise un modèle de contrôle d’accès basé sur les rôles (RBAC) qui permet de configurer de manière centralisée l’accès des principaux de service Open Catalog aux catalogues, aux espaces de noms et aux tables.

Le RBAC d’Open Catalog utilise deux types de rôles différents pour déléguer des privilèges :

• Rôles principaux : accordés aux principaux de service Open Catalog et analogues aux rôles dans d’autres systèmes de contrôle d’accès que vous accordez aux principaux de service.

• Rôles du catalogue : configurés avec certains privilèges sur les ressources Open Catalog et accordés aux rôles principaux.

Pour plus d’informations, voir Contrôle d’accès.