Azure Private Link 및 Snowflake Open Catalog¶

이 항목에서는 인바운드 비공개 연결을 사용하여 Snowflake Open Catalog 계정을 쿼리 엔진에 직접 연결하도록 Azure Private Link를 구성하는 방법에 대해 설명합니다.

전제 조건¶

Snowflake Open Catalog 계정은 Azure에서 호스팅됩니다.
Open Catalog 계정에 대한 비공개 연결 URL 을 사용하여 DNS 서비스를 구성하는 데 필요한 권한이 있습니다.

1단계: Open Catalog 계정 설정 검색하기¶

다음 설정을 검색하여 Azure Private Link로 Open Catalog 액세스를 구성합니다.

Snowflake Open Catalog에 로그인합니다.
탐색 메뉴에서 설정 을 선택합니다.
설정 페이지에서 다음 설정의 값을 텍스트 편집기에 복사본으로 입력합니다.
- PrivateLink 계정 URL
- Regionless PrivateLink 계정 URL
- PrivateLink OCSP URL
- Regionless PrivateLink OCSP URL
- Private Link Service ID

Azure Private Link를 사용하여 Open Catalog에 대한 액세스를 구성하고 Azure Private Link를 통해 Open Catalog에 연결할 때 이러한 값을 붙여넣습니다.

각 설정에 대한 설명은 Snowflake 설명서의 SYSTEM$GET_PRIVATELINK_CONFIG 시스템 함수에 대한 반환 값 을 참조하십시오. 이 항목에서 계정 설정의 이름은 JSON 형식으로 되어 있습니다.

참고

해당되는 경우 설명은 Snowflake 계정을 가리키지만 실제로는 Snowflake Open Catalog 계정에 대한 값이라는 점을 기억하십시오. 예를 들어 privatelink-account-url 은 Snowflake Open Catalog 계정의 URL 입니다.

선택 사항: JSON 형식으로 이러한 값을 검색하려면 Open Catalog에 대한 Snowflake CLI 연결을 만든 다음 SYSTEM$GET_PRIVATELINK_CONFIG 시스템 함수를 호출합니다.

2단계: Azure Private Link로 Open Catalog에 대한 액세스 구성하기¶

주의

이 섹션에서는 VNet 환경 구성을 위한 Open Catalog 관련 세부 정보만 다룹니다. 또한, Snowflake는 필수 방화벽 업데이트 및 DNS 레코드를 실제로 구성하지 않음에 유의하십시오. 이러한 구성 작업 중 하나에 문제가 있는 경우 Microsoft 지원팀에 직접 문의하십시오.

이 섹션에서는 Azure Private Link를 사용하여 VNet 를 Open Catalog VNet 에 연결하는 방법에 대해 설명합니다.

지침을 완료하려면 Azure CLI 또는 Azure PowerShell 을 사용해야 합니다. 설치 도움말은 Azure CLI 또는 Azure PowerShell 에 대한 Microsoft 설명서를 참조하십시오.

Azure Private Link를 사용하여 Snowflake Open Catalog에 연결을 시작한 후 Azure 포털에서 연결의 승인 상태를 확인할 수 있습니다.

프라이빗 엔드포인트 만들기¶

참고

Snowflake 계정에 대한 비공개 엔드포인트를 이미 만들었고 해당 계정이 Open Catalog 계정과 동일한 배포에 있는 경우에는 Open Catalog 계정에 대한 비공개 엔드포인트를 새로 만들지 않아도 됩니다. 이 단계는 선택적으로 건너뛸 수 있습니다.

Azure 계정 세부 정보를 검색합니다. 다음 예제에서는 Azure CLI 의 az account list 명령을 사용합니다.

Name     CloudName   SubscriptionId                        State    IsDefault
-------  ----------  ------------------------------------  -------  ----------
MyCloud  AzureCloud  13c...                                Enabled  True

Copy

Azure 포털에서 Private Link 를 검색한 다음 결과에서 Private Link 를 선택합니다.
비공개 엔드포인트 를 클릭한 다음 추가 를 클릭합니다.
기본 사항 탭에서 구독, 리소스 그룹, 이름 및 리전 필드를 사용자 환경에 맞게 작성한 후 다음: 리소스 를 클릭합니다.
리소스 탭에서 연결 방법 에 대해 리소스 ID 또는 별칭으로 Azure 리소스에 연결 을 선택합니다.
리소스 ID 또는 별칭 의 경우, 비공개 연결을 위한 Open Catalog 계정 설정을 검색할 때 얻은 Private Link Service ID 의 값을 입력합니다.

별칭 값과 관련된 오류 메시지가 표시되면 Snowflake 지원팀 에 문의하여 리소스 ID 값을 확인한 다음 해당 값을 사용하여 이 단계를 반복하십시오.

비공개 엔드포인트가 승인되면 Private Link Center 페이지의 비공개 엔드포인트 섹션의 CONNECTION STATE 에 보류 중 이라는 값이 표시됩니다. 다음 프로시저에서 승인을 완료하면 이 값은 승인됨 으로 변경됩니다.

인바운드 비공개 연결 활성화하기¶

이 절차에서는 Open Catalog 계정에 대해 Azure Private Link를 활성화합니다. 이 구성을 사용하면 쿼리 엔진이 비공개 연결을 통해 Open Catalog에 연결할 수 있습니다. 비공개 엔드포인트 리소스 ID, 구독 ID, 그리고 페더레이션 사용자의 액세스 자격 증명이 포함된 페더레이션 토큰 값이 필요합니다.

이러한 값을 얻으려면 Azure CLI 에서 다음 명령을 실행합니다.
1. 비공개 엔드포인트 리소스 ID 를 얻으려면 다음 명령을 실행하고 텍스트 편집기에 값을 복사본으로 입력합니다.
  az network private-endpoint show
  Copy
2. 구독 ID 를 얻으려면 다음 명령을 실행하고 출력의 SubscriptionID 열에 있는 값을 기록합니다.
  az account list --output table
  Copy
3. 페더레이션 토큰 값을 가져오려면 다음 명령을 실행하고 액세스 토큰 값을 텍스트 편집기에 복사합니다.
  az account get-access-token --subscription <SubscriptionID>
  Copy
  - 참고: SubscriptionID 는 이전 단계에서 얻은 고유 식별자입니다.
  중요
  
  Azure 액세스 토큰을 생성하는 사용자는 구독에 대한 읽기 권한이 있어야 합니다. 최소 권한은 Microsoft.Subscription/subscriptions/acceptOwnershipStatus/read 입니다. 또는 기본 역할 Reader 는 보다 대략적으로 세분화된 권한을 부여합니다.
  
  accessToken 값은 민감한 정보이므로 비밀번호 값처럼 취급해야 합니다. 이 값을 공유하지 마십시오.
  
  Snowflake 지원에 문의해야 하는 경우 모든 명령과 URL에서 액세스 토큰을 수정한 후 지원 티켓을 생성하십시오.
Snowflake Open Catalog에 로그인합니다.
탐색 메뉴에서 설정 을 선택합니다.
승인 을 선택합니다.
Private Link 승인 대화 상자에서 계정에 대한 비공개 연결을 활성화합니다.
1. ID 의 경우 텍스트 편집기에 복사한 비공개 엔드포인트 리소스 ID 를 입력합니다.
2. 페더레이션 토큰 의 경우 텍스트 편집기에 복사한 페더레이션 토큰 값을 입력합니다.
3. 저장 을 선택합니다.

계정이 승인되었는지 확인하기¶

다음 단계에 따라 Open Catalog 계정이 Snowflake Open Catalog 서비스에 대한 비공개 연결 승인을 받았는지 확인하십시오.

Snowflake Open Catalog에 로그인합니다.
탐색 메뉴에서 설정 을 선택합니다.
가져오기 를 선택합니다.
Private Link 가져오기 승인 대화 상자에서 계정을 인증합니다.
1. ID 필드에 비공개 엔드포인트 리소스 ID 를 입력합니다. 인바운드 비공개 연결 활성화 시 이 값을 검색했습니다.
2. 페더레이션 토큰 필드에 페더레이션 토큰 값을 입력합니다. 인바운드 비공개 연결 활성화 시 이 값을 검색했습니다.
3. 저장 을 선택합니다. 계정이 승인되었는지 여부가 표시된 메시지가 나타납니다.

DNS 설정¶

Open Catalog 요청은 모두 비공개 엔드포인트를 통해 라우팅되어야 합니다. Open Catalog 계정과 OCSP URL을 비공개 엔드포인트의 비공개 IP 주소로 확인하려면 DNS 를 업데이트하십시오.

엔드포인트 IP 주소를 얻으려면 Azure 포털 검색창에 만든 비공개 엔드포인트의 이름을 입력합니다.
네트워크 인터페이스 결과를 선택합니다.
비공개 IP 주소 의 값을 복사합니다.
비공개 연결을 위한 Open Catalog 계정 설정의 적절한 엔드포인트 값이 비공개 IP 주소로 확인되도록 DNS 를 구성합니다.

3단계: Azure Private Link를 통해 Open Catalog에 연결¶

서비스 연결을 등록하고 Azure Private Link를 통해 Open Catalog에 쿼리 엔진을 연결하려면 다음 코드를 사용하십시오.

import pyspark
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('iceberg_lab') \
  .config('spark.jars.packages', 'org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.1,<maven_coordinate>') \
  .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
  .config('spark.sql.defaultCatalog', 'opencatalog') \
  .config('spark.sql.catalog.opencatalog', 'org.apache.iceberg.spark.SparkCatalog') \
  .config('spark.sql.catalog.opencatalog.type', 'rest') \
  .config('spark.sql.catalog.opencatalog.uri','https://<open_catalog_privatelink_account_url>/polaris/api/catalog') \
  .config('spark.sql.catalog.opencatalog.header.X-Iceberg-Access-Delegation','vended-credentials') \
  .config('spark.sql.catalog.opencatalog.credential','<client_id>:<client_secret>') \
  .config('spark.sql.catalog.opencatalog.warehouse','<catalog_name>') \
  .config('spark.sql.catalog.opencatalog.scope','PRINCIPAL_ROLE:<principal_role_name>') \
  .getOrCreate()

Copy

매개 변수¶

참고

<open_catalog_계정_식별자> 에 지정한 값과 일치하도록 DNS 서비스를 설정했는지 확인합니다.

매개 변수	설명
`<catalog_name>`	연결할 카탈로그의 이름을 지정합니다. 중요: <catalog_name>은 대/소문자를 구분합니다.
`<maven_coordinate>`	외부 클라우드 저장소 공급자에 대한 Maven 좌표를 지정합니다. S3: software.amazon.awssdk:bundle:2.20.160 Cloud Storage(Google에서 제공): org.apache.iceberg:iceberg-gcp-bundle:1.5.2 Azure: org.apache.iceberg:iceberg-azure-bundle:1.5.2 이 매개 변수가 보이지 않는다면 코드 샘플에 올바른 값이 이미 지정되어 있는 것입니다.
`<client_id>`	서비스 주체가 사용할 클라이언트 ID 를 지정합니다. 새로운 서비스 연결을 구성할 때 복사한 클라이언트 ID 를 입력합니다.
`<client_secret>`	서비스 주체가 사용할 클라이언트 시크릿을 지정합니다. 새로운 서비스 연결을 구성할 때 복사한 시크릿 을 입력합니다.
`<open_catalog_privatelink_account_url>`	AWS PrivateLink 또는 Azure Private Link를 사용하여 Snowflake 계정에 연결할 URL 을 지정합니다. Open Catalog 계정 설정을 검색할 때 복사한 다음 값 중 하나를 입력합니다. PrivateLink Account URL Regionless PrivateLink Account URL For details on retrieving your Open Catalog account settings, see the instructions for the cloud platform where your Open Catalog account is hosted: AWS Azure
`<principal_role_name>`	서비스 주체에 부여되는 주체 역할을 지정합니다. 이 주체 역할을 보려면 Open Catalog에서 연결 페이지를 선택하고 서비스 연결을 선택한 다음 주체 세부 정보 대화 상자에서 주체 역할 을 참조하십시오.

4단계(선택 사항): Snowflake용 카탈로그 통합 만들기¶

Snowflake를 사용하여 Open Catalog 관리 테이블을 쿼리하는 경우에는 비공개 IP 주소를 사용하는 Snowflake용 카탈로그를 만드십시오. 이 카탈로그 통합을 만들려면 Snowflake 계정이 Open Catalog 계정과 동일한 배포에 있어야 합니다.

예는 Snowflake 설명서의 예: 비공개 IP 주소를 사용하는 카탈로그 통합 <https://docs.snowflake.com/en/user-guide/tables-iceberg-open-catalog-query#example-catalog-integration-that-uses-a-private-ip-address>_ 을 참조하십시오.

참고

Snowflake Open Catalog UI 에 대한 비공개 연결을 구성할 수도 있습니다. 이 구성을 Open Catalog 계정에 대한 비공개 연결 구성과 함께 사용하면 공용 인터넷이 아닌 비공개 연결을 통해 Open Catalog UI 에 액세스할 수 있습니다.

이 액세스를 구성하려면 Snowflake Open Catalog UI 에 대한 비공개 연결 구성하기 섹션을 참조하십시오.