カタログ用の外部クラウドストレージを作成する¶
この記事では、以下のクラウドストレージプロバイダー向けにApache Iceberg™テーブルの外部クラウドストレージを作成する方法について説明します。
Amazon S3
Google Cloud Storage
Microsoft Azureコンテナー
Snowflakeオープンカタログアカウントで内部カタログを作成する前に、まず外部クラウドストレージを作成して構成する必要があります。
Amazon S3バケットの作成¶
AWS 管理コンソールにサインインします。
ホームダッシュボードで、 S3 を検索して選択します。
バケットを作成 を選択します。
バケット名 には、バケットの名前を入力します。
ストレージバケットの設定を行うか、デフォルト設定を使用します。
バケットを作成 を選択します。
作成したストレージバケットを検索し、選択します。
フォルダーを作成するには、 フォルダーを作成 を選択します。
注意
ベストプラクティスとして、このフォルダーを作成することをお勧めします。
フォルダー名 には、Apache Iceberg™テーブルを保存するフォルダー名を入力し、 フォルダーを作成 を選択します。
作成したフォルダーを選択します。
S3 URI をコピー を選択し、後で使用するために URI を保管します。
注意
オープンカタログでカタログを作成する場合、 デフォルトのベースロケーション フィールドにS3 URI を入力します。
Cloud Storageバケットの作成¶
プロジェクトエディターとしてGoogle Cloudコンソールにサインインします。
ナビゲーションメニューで、 ソリューション > 全製品 を選択します。
ストレージ で、 クラウドストレージ を選択します。
作成 を選択します。
開始 の下に、クラウドストレージバケットの名前を入力します。
オプション: ストレージバケットの設定を行います。
作成 を選択します。
バケットの詳細 ページで、 CREATE FOLDER を選択します。
Apache Iceberg™テーブルを保存するフォルダー名を入力し、 作成 を選択します。
バケットの詳細 ページで、作成したフォルダー名の横にある コピー を選択し、後で使用するためにパスを保管します。
注意
オープンカタログでカタログを作成する場合、 デフォルトのベースロケーション フィールドに作成したフォルダーへのパスを入力します。
Microsoft Azureコンテナーの作成¶
Apache Icebergテーブル用にMicrosoft Azureコンテナーを作成するには、以下のAzureクラウドストレージサービスのいずれかを使用します。
BLOBストレージ
Data Lake Storage Gen2
汎用v1
汎用v2
これらのサービスは、オープンカタログがストレージ統合用にサポートしているAzureクラウドストレージサービスです。ストレージ統合は、外部クラウドストレージ用に生成されたIDおよびアクセス管理(IAM)エンティティを格納するオープンカタログオブジェクトであり、カタログを作成する際に作成されます。
ステップ1: ストレージアカウントを作成する¶
Azureにサインインします。
ホームダッシュボードで、 ストレージアカウント を検索して選択します。
+作成 を選択します。
リソースグループ では、ストレージアカウントのリソースグループを選択するか、 新規作成 を選択して新しいリソースグループを作成します。
ストレージアカウント名 には、ストレージアカウントの名前を入力します。
オプション: Azure Data Lake Storage Gen2ワークロードにストレージアカウントを使用するには、階層名前空間を有効にします。詳細については、ストレージアカウントの作成をご参照ください。
オプション: ストレージアカウントの設定を行います。
レビュー+作成 を選択します。
作成 を選択します。
ステップ2: ストレージアカウントにコンテナーを作成する¶
Azureで、作成したストレージアカウントに移動します。
左側のメニューから、 データストレージ を選択します。
データストレージで コンテナ を選択します。
+コンテナー を選択します。
コンテナーの名前を入力し、 作成 を選択します。
コンテナーの名前をコピーして保存します。この名前は、オープンカタログでカタログを作成する場合に指定する必要があります。
オプション: 階層名前空間を使用していて、ディレクトリを追加する必要がある場合:
a.作成したコンテナーを選択します。
b.+ディレクトリを追加 を選択します。
c.ディレクトリの名前を入力し、 保存 を選択します。
d.このディレクトリの名前をコピーして保存します。この名前は、オープンカタログでカタログを作成する場合に指定する必要があります。
ステップ3: エンドポイントのパスをコンテナーにコピーする¶
Azureで、作成したストレージアカウントに移動します。
左側のメニューから 設定 を選択します。
設定で、 エンドポイント を選択します。
コンテナーのプライマリエンドポイントへのパスをコピーして保管します。
Blobストレージを使用している場合は、Blobサービスの下の プライマリエンドポイント: Blobサービス フィールドで クリップボードにコピー アイコンを選択します。
Azure Data Lake Storageを使用している場合は、Data Lake Storageの下にある プライマリエンドポイント: データレイクストレージ フィールドの クリップボードにコピー アイコンを選択します。
注意
オープンカタログでカタログを作成する場合、 デフォルトのベースロケーション フィールドにコンテナーのプライマリエンドポイントへのパスを入力します。オープンカタログでカタログを作成するステップには、このパスを デフォルトのベースロケーション フィールドに必要な形式にフォーマットする手順が含まれています。