Notas de lançamento¶

Visão geral dos lançamentos mais recentes do Snowflake Open Catalog.

18 de outubro de 2024¶

Snowflake Open Catalog – Disponibilidade geral¶

Neste lançamento, temos o prazer de anunciar a disponibilidade geral do Snowflake Open Catalog, que anteriormente era chamado de Polaris Catalog e estava disponível como um recurso de versão. Com disponibilidade geral, fizemos as seguintes atualizações:

Um administrador de serviço agora pode criar usuários adicionais para a conta do Open Catalog. Esses usuários podem gerenciar a conta por meio da interface da Web do Open Catalog. Para obter detalhes, consulte Gerenciamento de usuários.
Um administrador de catálogo agora pode proteger namespaces ou tabelas individuais dentro de um catálogo. Você também pode continuar protegendo um catálogo no nível do catálogo. Para obter detalhes, consulte Catálogos seguros.
Ao visualizar o esquema de uma tabela no Snowflake Open Catalog, agora é possível exibir o esquema aninhado de uma coluna. Para obter detalhes, consulte Exibir o esquema de uma tabela.
Adicionamos suporte de faturamento para o Open Catalog, mas você pode usar o Open Catalog gratuitamente até 30 de abril de 2025. Para obter mais informações, consulte Faturamento.

8 de agosto de 2024¶

Neste lançamento, temos o prazer de anunciar a disponibilidade das seguintes novas melhorias no Open Catalog.

O Snowflake agora oferece suporte a consultas em tabelas com namespaces aninhados.¶

Anteriormente, listamos uma limite em que o Snowflake não conseguia ler tabelas registradas no Open Catalog que estavam localizadas em um namespace aninhado. O Snowflake agora oferece suporte à consulta de tabelas localizadas em um namespace aninhado. Por exemplo, se você criar um namespace aninhado namespace1.namespace1a.namespace1ab, o Snowflake poderá ler tabelas agrupadas sob o namespace namespace1ab. Para obter mais informações, consulte Criação de um namespace.

30 de julho de 2024¶

Neste lançamento, temos o prazer de anunciar o lançamento da versão preliminar pública inicial do Open Catalog hospedado no Snowflake com os seguintes recursos:

Apache Iceberg™ Rest API¶

O Open Catalog fornece um Apache Iceberg Rest Catalog API, que permite suporte a qualquer mecanismo de consulta compatível com a especificação do catálogo Apache Iceberg™ Rest.

Autenticação¶

Os usuários podem criar conexões de serviço que fornecem credenciais de serviço de ID de cliente e segredo de cliente. Essas credenciais são usadas para autenticação usando OAuth 2.0.

Interface de usuário do Open Catalog¶

O Open Catalog é fornecido com um aplicativo da Web para simplificar o gerenciamento do catálogo. Na UI, os usuários podem gerenciar catálogos, entidades de serviço e privilégios para entidades de serviço.

Modelo de segurança baseado em funções¶

Um modelo de segurança de controle de acesso baseado em função (RBAC) está incluso, para que os clientes possam gerenciar o nível de acesso que cada usuário ou grupo de usuário tem permissão para acessar o catálogo. Para obter mais informações, consulte Controle de acesso.

Fornecimento de credencial¶

O acesso aos objetos de armazenamento onde os dados residem é gerenciado pelo Open Catalog. Quando um usuário solicita acesso a uma tabela, seja para leitura ou gravação, uma credencial de armazenamento com escopo temporário é gerada e passada de volta ao mecanismo de chamada, que fornece as permissões de acesso apropriadas à pasta na qual os dados residem no armazenamento.

Integração do catálogo do warehouse Snowflake para Open Catalog¶

Uma nova integração de catálogo para o Open Catalog está disponível no Snowflake. Essa integração de catálogo permite que os usuários criem tabelas não gerenciadas do Apache Iceberg™ que apontam para tabelas que residem no Open Catalog para consulta.

Considerações e limitações¶

As seguintes considerações e limitações se aplicam ao Open Catalog e estão sujeitas a alterações:

Inscrição

Somente clientes Snowflake podem se inscrever no Open Catalog.

Catálogos

O Open Catalog atualmente oferece suporte a tabelas Apache Iceberg™ que usam:
- Open Catalog como o catálogo Iceberg
- Snowflake como o catálogo Iceberg Catálogos externos do Iceberg além do Snowflake não são compatíveis no momento. Se você quiser adicionar tabelas Iceberg de outros catálogos externos, será necessário migrá-las.
Não é possível importar tabelas Iceberg existentes de fornecedores como Glue ou Tabular para um catálogo interno no Open Catalog, mas elas podem ser adicionadas a catálogos externos.
O Snowflake pode consultar, mas não pode gravar em tabelas gerenciadas pelo Open Catalog.
As tabelas Snowflake Iceberg, que estão disponíveis em catálogos externos, são somente leitura no Open Catalog.
Para catálogos internos, não é possível renomear uma tabela entre namespaces. Por exemplo, você não pode renomear uma tabela de /mytables/ns1/table1 para /mytables/ns2/table1.
Ao criar um catálogo interno ou externo, você não pode especificar um local base padrão ou um local permitido que se sobreponha à hierarquia de diretório de um catálogo diferente. Por exemplo, se o local base padrão para catalog1 for s3://mytables/db1/schema1/table1, você não poderá especificar o local base padrão para seu novo catálogo como s3://mytables/db1/.

Controle de acesso

A política de acesso com escopo para uma tabela é limitada aos diretórios <table_base>/metadata/ e <table_base>/data/.

Iceberg

Ao chamar a registerTable API, você não pode registrar uma tabela em um local que esteja fora do diretório do namespace pai. Por exemplo, se a hierarquia de pasta de um catálogo for s3://teambucket/iceberg/namespace1/namespace1a/, você não poderá criar mytbl3 com um local base s3://teambucket/iceberg/namespace1. Você pode criá-lo, por exemplo, com um local base s3://teambucket/iceberg/namespace1/mytbl3.
Se você chamar a dropTable API e solicitar a limpeza dos dados e metadados da tabela configurando o parâmetro purgeRequested como true, o Open Catalog fará o possível para excluir os seguintes itens:
- Todos os arquivos de dados e metadados associados à tabela
- O diretório de armazenamento para a tabela
No entanto, alguns desses itens podem não ser excluídos. Se for o caso, navegue até seu armazenamento em nuvem externo para identificar e excluir os arquivos órfãos ou o diretório de armazenamento.