릴리스 정보

Snowflake Open Catalog의 최신 릴리스 개요입니다.

2024년 10월 18일

Snowflake Open Catalog - 일반 공급

이 릴리스에서는 이전에 Polaris Catalog라는 이름으로 미리 보기 기능으로 제공되었던 Snowflake Open Catalog가 일반 공급으로 제공됩니다. 일반 공급으로 제공하면서 다음 업데이트를 수행했습니다.

  • 이제 서비스 관리자는 Open Catalog 계정에 대한 추가 사용자를 만들 수 있습니다. 이러한 사용자는 Open Catalog 웹 인터페이스를 통해 계정을 관리할 수 있습니다. 자세한 내용은 사용자 관리하기 섹션을 참조하십시오.

  • 이제 카탈로그 관리자는 카탈로그 내의 개별 네임스페이스나 테이블을 보호할 수 있습니다. 카탈로그 수준에서 카탈로그를 계속 보호할 수도 있습니다. 자세한 내용은 보안 카탈로그 섹션을 참조하십시오.

  • Snowflake Open Catalog에서 테이블의 스키마를 볼 때 이제는 열의 중첩된 스키마를 볼 수 있습니다. 자세한 내용은 테이블 스키마 보기 섹션을 참조하십시오.

  • Open Catalog에 대한 청구 지원을 추가했지만, 2025년 4월 30일까지는 Open Catalog를 무료로 사용할 수 있습니다. 자세한 내용은 청구 섹션을 참조하십시오.

2024년 8월 8일

이 릴리스에서는 Open Catalog에 다음과 같이 새롭게 향상된 기능을 제공합니다.

Snowflake는 이제 중첩된 네임스페이스가 있는 테이블에 대한 쿼리를 지원합니다.

이전에는 Snowflake가 중첩된 네임스페이스에 위치한 Open Catalog에 등록된 테이블을 읽을 수 없다는 제한 사항을 나열한 바 있습니다. 이제 Snowflake는 중첩된 네임스페이스 아래에 있는 테이블에 대한 쿼리를 지원합니다. 예를 들어, 중첩된 네임스페이스 namespace1.namespace1a.namespace1ab 를 생성하면 Snowflake가 네임스페이스 namespace1ab 아래에 그룹화된 테이블을 읽을 수 있습니다. 자세한 내용은 네임스페이스 만들기 섹션을 참조하십시오.

2024년 7월 30일

이 릴리스에서는 Snowflake에 호스팅되는 Open Catalog의 최초 공개 미리 보기 릴리스를 제공하며, 다음 기능이 포함되어 있습니다.

Apache Iceberg™ Rest API

Open Catalog는 Apache Iceberg™ Rest 카탈로그 사양을 지원하는 모든 쿼리 엔진을 지원할 수 있는 Apache Iceberg Rest Catalog API를 제공합니다.

인증

사용자는 Client ID 및 Client Secret 서비스 자격 증명을 제공하는 서비스 연결을 만들 수 있습니다. 이러한 자격 증명은 OAuth 2.0을 사용한 인증에 사용됩니다.

Open Catalog 사용자 인터페이스

Open Catalog는 카탈로그 관리를 단순화하기 위해 웹 애플리케이션과 함께 제공됩니다. UI 내에서 사용자는 카탈로그, 서비스 주체, 서비스 주체의 권한을 관리할 수 있습니다.

역할 기반 보안 모델

역할 기반 액세스 제어(RBAC) 보안 모델이 포함되어 있어 고객은 카탈로그에서 각 사용자 또는 사용자 그룹에 허용되는 액세스 수준을 관리할 수 있습니다. 자세한 내용은 액세스 제어 섹션을 참조하십시오.

자격 증명 제공

데이터가 상주하는 저장소 오브젝트에 대한 액세스는 Open Catalog에서 관리합니다. 사용자가 읽기 또는 쓰기를 위해 테이블에 대한 액세스 권한을 요청하는 경우 임시적으로 범위가 지정된 저장소 자격 증명이 생성되어 호출 엔진으로 다시 전달되며, 이 엔진이 저장소 내 데이터가 상주하는 폴더에 대한 적절한 액세스 권한을 제공합니다.

Open Catalog를 위한 Snowflake 웨어하우스 카탈로그 통합

Snowflake 내에서 Open Catalog를 위한 새로운 카탈로그 통합이 제공됩니다. 이 카탈로그 통합을 통해 사용자는 관리되지 않는 Apache Iceberg™ 테이블을 만들 수 있는데, 이러한 테이블은 쿼리를 위해 Open Catalog에 있는 테이블을 가리킵니다.

고려 사항 및 제한 사항

다음 고려 사항과 제한 사항이 Open Catalog에 적용되며 변경될 수 있습니다.

가입하기

  • Snowflake 고객만 Open Catalog에 가입할 수 있습니다.

카탈로그

  • Open Catalog는 현재 다음 중 하나를 사용하는 Apache Iceberg™ 테이블을 지원합니다.

    • Iceberg 카탈로그로 제공되는 Open Catalog

    • Iceberg 카탈로그로 제공되는 Snowflake. Snowflake 이외의 외부 Iceberg 카탈로그는 현재 지원되지 않습니다. 다른 외부 카탈로그에서 Iceberg 테이블을 추가하려면 해당 테이블을 마이그레이션해야 합니다.

  • Glue나 Tabular와 같은 벤더에서 기존 Iceberg 테이블을 Open Catalog의 내부 카탈로그로 가져올 수는 없지만, 외부 카탈로그에 추가할 수는 있습니다.

  • Snowflake는 Open Catalog에서 관리하는 테이블을 쿼리할 수 있지만 테이블에 쓸 수는 없습니다.

  • 외부 카탈로그에서 제공되는 Snowflake Iceberg 테이블은 Open Catalog에서는 읽기 전용입니다.

  • 내부 카탈로그의 경우 네임스페이스 전체에서 테이블 이름을 바꿀 수 없습니다. 예를 들어, 테이블 이름을 /mytables/ns1/table1 에서 /mytables/ns2/table1 로 바꿀 수 없습니다.

  • 내부 또는 외부 카탈로그를 만들 때 다른 카탈로그의 디렉터리 계층 구조와 겹치는 기본 기준 위치나 허용 위치를 지정할 수 없습니다. 예를 들어, catalog1의 기본 기준 위치가 s3://mytables/db1/schema1/table1 인 경우 새 카탈로그의 기본 기준 위치를 s3://mytables/db1/ 로 지정할 수 없습니다.

액세스 제어

  • 테이블에 대해 범위가 지정된 액세스 정책은 <table_base>/metadata/<table_base>/data/ 디렉터리로 제한됩니다.

Iceberg

  • registerTable API를 호출할 때 상위 네임스페이스 디렉터리 외부의 위치에는 테이블을 등록할 수 없습니다. 예를 들어, 카탈로그의 폴더 계층 구조가 s3://teambucket/iceberg/namespace1/namespace1a/ 인 경우 기준 위치가 s3://teambucket/iceberg/namespace1mytbl3 을 생성할 수 없습니다. 예를 들어, 기준 위치를 s3://teambucket/iceberg/namespace1/mytbl3 으로 하여 생성할 수 있습니다.

  • dropTable API를 호출하고 purgeRequested 매개 변수를 true 로 설정하여 테이블의 데이터 및 메타데이터를 제거하도록 요청하는 경우 Open Catalog는 최선을 다해 다음 항목을 삭제합니다.

    • 테이블과 연결된 모든 데이터 및 메타데이터 파일

    • 테이블의 저장 디렉터리

    하지만 일부 항목은 삭제되지 않을 수도 있습니다. 그럴 경우 외부 클라우드 저장소로 이동하여 분리된 파일이나 저장 디렉터리를 직접 식별하여 삭제합니다.