카탈로그를 위한 외부 클라우드 저장소 만들기¶
이 문서에서는 다음 클라우드 저장소 공급자를 위한 Apache Iceberg™ 테이블의 외부 클라우드 저장소를 만드는 방법을 설명합니다.
Amazon S3
Google의 클라우드 저장소
Microsoft Azure 컨테이너
Snowflake Open Catalog 계정에서 내부 카탈로그를 만들려면 먼저 해당 카탈로그를 위한 외부 클라우드 저장소를 만들고 구성해야 합니다.
Amazon S3 버킷 만들기¶
AWS Management Console에 로그인합니다.
홈 대시보드에서 S3 을 검색하여 선택합니다.
버킷 만들기 를 선택합니다.
버킷 이름 에 버킷의 이름을 입력합니다.
저장소 버킷의 설정을 구성하거나 기본 설정을 사용합니다.
버킷 만들기 를 선택합니다.
생성한 저장소 버킷을 검색하여 선택합니다.
폴더를 만들려면 폴더 만들기 를 선택합니다.
참고
모범 사례로 이 폴더를 만드는 것이 좋습니다.
폴더 이름 에 Apache Iceberg™ 테이블을 저장할 폴더 이름을 입력한 다음 폴더 만들기 를 선택합니다.
만든 폴더를 선택합니다.
S3 URI 복사 를 선택한 다음 나중에 사용할 수 있도록 URI를 저장합니다.
참고
Open Catalog에서 카탈로그를 만들 때 기본 기준 위치 필드에 S3 URI를 입력합니다.
클라우드 저장소 버킷 만들기¶
Google Cloud 콘솔에 프로젝트 편집자로 로그인합니다.
탐색 메뉴에서 솔루션 > 모든 제품 을 선택합니다.
저장소 에서 클라우드 저장소 를 선택합니다.
만들기 를 선택합니다.
시작하기 에서 클라우드 저장소 버킷의 이름을 입력합니다.
선택 사항: 저장소 버킷의 설정을 구성합니다.
만들기 를 선택합니다.
버킷 세부 정보 페이지에서 CREATE FOLDER 를 선택합니다.
Apache Iceberg™ 테이블을 저장할 폴더 이름을 입력한 다음 만들기 를 선택합니다.
버킷 세부 정보 페이지에서 생성한 폴더 이름 옆에 있는 복사 를 선택하고 나중에 사용할 수 있도록 경로를 저장합니다.
참고
Open Catalog에서 카탈로그를 생성할 때 기본 기준 위치 필드에 생성한 폴더의 경로를 입력합니다.
Microsoft Azure 컨테이너 만들기¶
Apache Iceberg 테이블에 대한 Microsoft Azure 컨테이너를 만들려면 다음 Azure 클라우드 저장소 서비스 중 하나를 사용합니다.
Blob 저장소
Data Lake Storage Gen2
범용 v1
범용 v2
이러한 서비스는 Open Catalog가 저장소 통합을 위해 지원하는 Azure 클라우드 저장소 서비스입니다. 저장소 통합은 외부 클라우드 저장소에 대해 생성된 ID 및 액세스 관리(IAM) 엔터티를 저장하는 Open Catalog 오브젝트이며 카탈로그를 생성할 때 생성됩니다.
1단계: 저장소 계정 만들기¶
Azure에 로그인합니다.
홈 대시보드에서 저장소 계정 을 검색하여 선택합니다.
+ 만들기 를 선택합니다.
리소스 그룹 에서 저장소 계정의 리소스 그룹을 선택하거나 새로 만들기 를 선택하여 새 리소스 그룹을 만듭니다.
저장소 계정 이름 에 저장소 계정의 이름을 입력합니다.
선택 사항: Azure Data Lake Storage Gen2 워크로드에 대한 저장소 계정을 사용하려면 계층 구조 네임스페이스를 활성화합니다. 자세한 내용은 저장소 계정 만들기 섹션을 참조하십시오.
선택 사항: 저장소 계정의 설정을 구성합니다.
검토 + 만들기 를 선택합니다.
만들기 를 선택합니다.
2단계: 저장소 계정에 컨테이너 만들기¶
Azure에서 자신이 만든 저장소 계정으로 이동합니다.
왼쪽 메뉴에서 데이터 저장소 를 선택합니다.
데이터 저장소에서 컨테이너 를 선택합니다.
+ 컨테이너 를 선택합니다.
컨테이너 이름을 입력한 다음 만들기 를 선택합니다.
컨테이너 이름을 복사하여 저장합니다. Open Catalog에서 카탈로그를 생성할 때 이 이름을 지정해야 합니다.
선택 사항: 계층 구조 네임스페이스를 사용 중인데 디렉터리를 추가해야 하는 경우:
a. 생성한 컨테이너를 선택합니다.
b. + 디렉터리 추가 를 선택합니다.
c. 디렉터리 이름을 입력한 다음 저장 을 선택합니다.
d. 이 디렉터리의 이름을 복사하여 저장합니다. Open Catalog에서 카탈로그를 생성할 때 이 이름을 지정해야 합니다.
3단계: 컨테이너에 대한 엔드포인트 경로 복사¶
Azure에서 자신이 만든 저장소 계정으로 이동합니다.
왼쪽 메뉴에서 설정 을 선택합니다.
설정에서 엔드포인트 를 선택합니다.
컨테이너의 기본 엔드포인트 경로를 복사하여 저장합니다.
Blob 저장소를 사용하는 경우 Blob 서비스에서 기본 엔드포인트: Blob 서비스 필드에 대해 클립보드에 복사 아이콘을 선택합니다.
Azure Data Lake Storage를 사용하는 경우 Data Lake Storage에서 기본 엔드포인트: Data Lake Storage 필드에 대해 클립보드에 복사 아이콘을 선택합니다.
참고
Open Catalog에서 카탈로그를 생성할 때 기본 기준 위치 필드에 컨테이너의 기본 엔드포인트 경로를 입력합니다. Open Catalog에서 카탈로그를 만드는 단계에는 이 경로를 기본 기준 위치 필드에 필요한 형식으로 지정하는 방법에 대한 지침이 포함되어 있습니다.