AWS PrivateLink e Snowflake Open Catalog¶

Pré-requisitos¶

• Sua conta do Snowflake Open Catalog está hospedada na AWS.

• Você tem as permissões necessárias para configurar seu serviço AWS DNS com a conectividade privada URL para sua conta do Open Catalog. Para obter orientação, consulte Como configurar o serviço AWS DNS (Route 53) para acessar o Snowflake por meio de um PrivateLink na Comunidade Snowflake.

Etapa 1: Habilite o AWS PrivateLink¶

Neste procedimento, você habilita o AWS PrivateLink para sua conta do Open Catalog. Essa configuração permite que o mecanismo de consulta se conecte ao Open Catalog por meio de conectividade privada. Você precisará do identificador de 12 dígitos da sua conta do Amazon Web Services (AWS) e do valor do token federado que contém as credenciais de acesso de um usuário federado.

1. Para obter o valor do token federado, execute o seguinte comando usando o AWS CLI e copie o valor em um editor de texto:

   aws sts get-federation-token --name sam
   

   Copy

2. Entre no Snowflake Open Catalog.

3. No menu de navegação, selecione Settings.

4. Selecione Authorize.

5. Na caixa de diálogo Authorize Private Link, ative a conectividade privada para sua conta:

   1. No campo ID, digite o identificador de 12 dígitos da sua conta do Amazon Web Services (AWS).

   2. Para Federated token, digite o valor do federated token que você copiou em um editor de texto.

   3. Selecione Save.

Etapa 2: Verifique se sua conta está autorizada¶

Para verificar se sua conta do Open Catalog está autorizada para conectividade privada com o serviço Snowflake Open Catalog, siga este procedimento:

1. Entre no Snowflake Open Catalog.

2. No menu de navegação, selecione Settings.

3. Selecione Get.

4. Na caixa de diálogo de autorização Get Private Link, verifique sua conta:

   1. No campo ID, digite o identificador de 12 dígitos da sua conta do Amazon Web Services (AWS).

   2. No campo Federated token, digite o valor do token federado. Você obteve esse valor quando habilitou AWS PrivateLink.

   3. Selecione Save. É exibida uma mensagem informando se sua conta está autorizada.

Etapa 3: Recupere as configurações de sua conta do Open Catalog¶

Recupere essas configurações, que serão necessárias posteriormente para criar e configurar um ponto de extremidade VPC e sua rede VPC.

1. Entre no Snowflake Open Catalog.

2. No menu de navegação, selecione Settings.

3. Na página Settings copie os valores das seguintes configurações em um editor de texto:

   • PrivateLink Account URL

   • Regionless PrivateLink Account URL

   • PrivateLink OCSP URL

   • Regionless PrivateLink OCSP URL

   • VPCE Service ID

Você cola esses valores quando cria e configura um ponto de extremidade VPC (VPCE), configura sua rede VPC e conecta-se ao Open Catalog por meio do AWS PrivateLink.

Para obter descrições de cada configuração, consulte Valores de retorno para a função de sistema SYSTEM$GET_PRIVATELINK_CONFIG na documentação do Snowflake. Neste tópico, os nomes das configurações de conta estão no formato JSON.

Etapa 4: Crie e configure um ponto de extremidade VPC¶

Neste procedimento, você cria e configura um ponto de extremidade VPC correspondente (VPCE) em seu ambiente AWS VPC.

Para obter instruções, consulte Criar e configurar um ponto de extremidade VPC (VPCE) na documentação do Snowflake, começando pela etapa 2.

Etapa 5: Configure sua rede VPC¶

Para configurar a rede VPC, crie registros CNAME no serviço DNS para resolver os valores apropriados do ponto final das configurações da conta do Open Catalog para conectividade privada para o nome DNS do seu ponto de extremidade VPC.

Para obter instruções, consulte Configurar sua rede VPC na documentação do Snowflake. Lembre-se de que essas instruções são para o Snowflake, portanto, alguns dos recursos mencionados nelas não se aplicam ao Open Catalog. Por exemplo, regionless-snowsight-privatelink-url é para o Snowsight, que não é compatível com o Open Catalog.

Para obter ajuda adicional com a configuração do DNS, entre em contato com o administrador interno do AWS.

Etapa 6: Conecte-se ao Open Catalog por meio do AWS PrivateLink¶

• Para registrar uma conexão de serviço e conectar seu mecanismo de consulta ao Snowflake Open Catalog por meio do AWS PrivateLink, use o código:

  import pyspark
  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName('iceberg_lab') \
    .config('spark.jars.packages', 'org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.1,<maven_coordinate>') \
    .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
    .config('spark.sql.defaultCatalog', 'opencatalog') \
    .config('spark.sql.catalog.opencatalog', 'org.apache.iceberg.spark.SparkCatalog') \
    .config('spark.sql.catalog.opencatalog.type', 'rest') \
    .config('spark.sql.catalog.opencatalog.uri','https://<open_catalog_privatelink_account_url>/polaris/api/catalog') \
    .config('spark.sql.catalog.opencatalog.header.X-Iceberg-Access-Delegation','vended-credentials') \
    .config('spark.sql.catalog.opencatalog.credential','<client_id>:<client_secret>') \
    .config('spark.sql.catalog.opencatalog.warehouse','<catalog_name>') \
    .config('spark.sql.catalog.opencatalog.scope','PRINCIPAL_ROLE:<principal_role_name>') \
    .getOrCreate()
  

  Copy

Etapa 7 (opcional): Crie uma integração de catálogo para o Snowflake¶

Se você estiver usando o Snowflake para consultar tabelas gerenciadas pelo Open Catalog, crie um catálogo para o Snowflake que use um endereço IP privado. Para criar essa integração de catálogo, sua conta Snowflake deve estar na mesma implantação que sua conta do Open Catalog.

Para obter um exemplo, consulte Exemplo: Integração de catálogo que usa um endereço privado IP <https://docs.snowflake.com/en/user-guide/tables-iceberg-open-catalog-query#example-catalog-integration-that-uses-a-private-ip-address>_ na documentação do Snowflake.