Criação de armazenamento em nuvem externo para um catálogo

Este artigo descreve como criar armazenamento em nuvem externo para tabelas do Apache Iceberg™ para os seguintes provedores de armazenamento em nuvem:

  • Amazon S3

  • Armazenamento em nuvem do Google

  • Contêiner do Microsoft Azure

Antes de criar um catálogo interno em sua conta do Snowflake Open Catalog, é necessário primeiro criar e configurar o armazenamento em nuvem externo para ele.

Crie um bucket Amazon S3

  1. Entre no Console de Gerenciamento da AWS.

  2. No painel inicial, procure e selecione S3.

  3. Selecione Criar bucket.

  4. Em Nome do bucket, insira um nome para o bucket.

  5. Defina as configurações de seu bucket de armazenamento ou use as configurações padrão.

  6. Selecione Criar bucket.

  7. Pesquise e selecione o bucket de armazenamento que você criou.

  8. Para criar uma pasta, selecione Criar pasta.

    Observação

    Recomendamos criar esta pasta.

  9. Em Nome da pasta, insira o nome da pasta onde deseja armazenar as tabelas Apache Iceberg™ e selecione Criar pasta.

  10. Selecione a pasta que você criou.

  11. Selecione Copiar URI de S3 e armazene o URI para uso posterior.

    Observação

    Ao criar um catálogo no Open Catalog, você insere o URI de S3 no campo Local base padrão.

Criar um bucket do Cloud Storage

  1. Entre no console do Google Cloud como editor de projeto.

  2. No menu de navegação, selecione Soluções > Todos os produtos.

  3. Em Armazenamento, selecione Cloud Storage.

  4. Selecione Criar.

  5. Em Começar, insira um nome para seu bucket do Cloud Storage.

  6. Opcional: Defina as configurações de seu bucket de armazenamento.

  7. Selecione Criar.

  8. Na página Detalhes do bucket, selecione CREATE FOLDER.

  9. Digite um nome de pasta onde deseja armazenar as tabelas Apache Iceberg™ e selecione Criar.

  10. Na página Detalhes do bucket, ao lado do nome da pasta que você criou, selecione Copiar e armazene o caminho para uso posterior.

    Captura de tela que mostra o ícone Copiar no Google Cloud Console.

    Observação

    Ao criar um catálogo no Open Catalog, você insere o caminho para a pasta criada no campo Local base padrão.

Criação de um contêiner do Microsoft Azure

Para criar um contêiner do Microsoft Azure para suas tabelas Apache Iceberg, use um dos seguintes serviços de armazenamento em nuvem do Azure:

  • Armazenamento de blobs

  • Data Lake Storage Gen2

  • Uso geral v1

  • Uso geral v2

Esses são os serviços de armazenamento em nuvem do Azure aos quais o Open Catalog oferece suporte para integrações de armazenamento. Uma integração de armazenamento é um objeto Open Catalog que armazena uma entidade de gerenciamento de identidade e acesso (IAM) gerada para seu armazenamento em nuvem externo e é criada durante a criação de um catálogo.

Etapa 1: Crie uma conta de armazenamento

  1. Faça login no Azure.

  2. No painel inicial, procure e selecione Conta de armazenamento.

  3. Selecione + Criar.

  4. Em Grupo de recursos, selecione um grupo de recursos para sua conta de armazenamento ou selecione Criar novo para criar um novo grupo de recursos.

  5. Em Nome da conta de armazenamento, insira um nome para sua conta de armazenamento.

  6. Opcional: Habilite o namespace hierárquico para usar a conta de armazenamento para cargas de trabalho do Azure Data Lake Storage Gen2. Para obter mais informações, consulte Criação de conta de armazenamento.

  7. Opcional: Defina as configurações de sua conta de armazenamento.

  8. Selecione Revisar + criar.

  9. Selecione Criar.

Etapa 2: Crie um contêiner em sua conta de armazenamento

  1. No Azure, navegue até a conta de armazenamento que você criou.

  2. No menu à esquerda, selecione Armazenamento de dados.

  3. Em armazenamento de dados, selecione Contêineres.

  4. Selecione + Contêiner.

  5. Insira um nome para seu contêiner e selecione Criar.

  6. Copie e salve o nome de seu contêiner. Você precisa especificar esse nome ao criar um catálogo no Open Catalog.

  7. Opcional: Se estiver usando um namespace hierárquico e precisar adicionar um diretório:

    a. Selecione o contêiner que você criou.

    b. Selecione + Adicionar diretório.

    c. Digite um nome para o diretório e selecione Salvar.

    d. Copie e salve o nome deste diretório. Você precisa especificar esse nome ao criar um catálogo no Open Catalog.

Etapa 3: Copie o caminho do ponto de extremidade para seu contêiner

  1. No Azure, navegue até a conta de armazenamento que você criou.

  2. No menu à esquerda, selecione Configurações.

  3. Em Configurações, selecione Pontos de extremidade.

  4. Copie e armazene o caminho para o ponto de extremidade primário de seu contêiner:

    • Se estiver usando o armazenamento de blobs, no serviço Blob, selecione o ícone Copiar para a área de transferência para o campo Ponto de extremidade primário: Serviço de blobs.

    • Se estiver usando o Azure Data Lake Storage, em Data Lake Storage, selecione o ícone Copiar para a área de transferência para o campo Ponto de extremidade primário: Data Lake Storage.

    Observação

    Ao criar um catálogo no Open Catalog, você insere o caminho para o ponto de extremidade principal de seu contêiner no campo Local base padrão. As etapas para criar um catálogo no Open Catalog incluem instruções sobre como realizar a formatação necessária desse caminho para o campo Local base padrão.

Linguagem: Português