Snowflake Connector for Google Analytics Raw Data のコストガバナンス

Snowflake connector for Google Analytics Raw Dataは、 コネクタ規約 に従うものとします。

このトピックでは、 Snowflake Connector for Google Analytics Raw Data のコストガバナンスと最適なウェアハウスサイズを見つけるためのベストプラクティスを提供します。

コネクタのコスト測定

コネクタにデータインジェスチョンとストレージ専用の別アカウントがあり、そのアカウントに他のアクティビティ(インジェストしたデータを使用した、ユーザーによるクエリの実行など)がない場合は、アカウントレベルで全体のコストを読み取ることができます。詳細については、 総コストの調査 をご参照ください。

アカウントがコネクタ専用ではない場合や、さらにコストを調査する必要がある場合は、コンポーネントの課金コストを別々に分析する必要があります。

これら3つのコスト構成要素の紹介については、 総コストについて をご参照ください。

一般的な推奨事項

コネクタによって発生するコストを見極めるには、コネクタ専用の別アカウントを作成できます。特定のアカウントを使用すると、コネクタによって生成された正確なデータ転送を追跡できます。

コネクタに別アカウントを使用できない場合は、以下のオプションを検討してください。

  • ストレージコストの追跡を容易にするために、インジェストデータ保存用のデータベースを別に作成します。

  • 正確な計算コストを見極めるには、コネクタにのみウェアハウスを割り当てます。

  • カスタムのコストレポートを構築するには、 オブジェクトタグ をデータベースやウェアハウスで使用します。

コンピューティングコスト

コネクタ専用のウェアハウスを作成することをお勧めします。この構成により、ウェアハウス上に リソースモニター を作成することができます。モニターを使用して、メールアラートを送信したり、ウェアハウスを一時中断したりし、設定されたクレジットクォータを超えた場合にコネクタを停止させることができます。クレジットクォータ更新後、コネクタは自動的に再開されます。大量のデータがインジェストされる構成では、クレジットクォータを低く設定しすぎると、コネクタがすべてのデータをインジェストできない可能性があることに注意してください。大きなメリットは、データ量に合わせてウェアハウスのサイズを調整できることです。

ウェアハウスで消費されたクレジットを確認する方法については、 コンピューティングコストの調査 をご参照ください。また、ウェアハウスに オブジェクトタグ を割り当て、タグを使用してコストレポートを作成することもできます。

コネクタが使用するウェアハウスを他のワークフローが使用する場合は、ロールごとにコストを分割することができます。ロールによって使用量を分割するには、 ウェアハウスの使用量を分割するクエリ を使用し、 QUERY_HISTORY ビューに以下の WHERE 句を追加します。

WAREHOUSE_NAME = '<connector warehouse name>' AND
ROLE_NAME = '<role created for the connector to ingest data>'
Copy

ロールはコネクタがインストールされたときに作成された名前であることに注意してください(例: SNOWFLAKE_CONNECTOR_FOR_GOOGLE_ANALYTICS_RAW_DATA)。

クエリでは、コストの概算しかわかりません。

ストレージコスト

Snowflake Connector for Google Analytics Raw Data は2つの場所にデータを保存します:

  • 公開シェアから作成され、コネクタの内部状態を保持するコネクタデータベース。

  • インジェストされたデータが格納されるユーザー指定のスキーマ。

データストレージは、Snowflake Fail-safe 機能によっても使用されます。Fail-safeに格納されるデータ量は、コネクタによって実行されるテーブルの更新に依存します。

Snowsight を使ってストレージの使用状況を確認するには、インジェストされたデータを保管するために別のデータベースを使用します。これにより、オブジェクト別のストレージ使用量のグラフをフィルーし、個々のデータベース別の使用量を表示することができます。これは、 DATABASE_STORAGE_USAGE_HISTORY ビューをクエリし、コネクタが使用するデータベースでフィルターすることでもストレージ使用量を表示できます。

コネクタに関連しない他のスキーマがデータベースに含まれている場合は、コネクタからインジェストしたデータ専用の特定スキーマのストレージ使用量をクエリできます。データベースおよびスキーマ名でフィルターし、ストレージ使用量で列を集計した後、 TABLE_STORAGE_METRICS ビューから情報を取得できます。

データ転送コスト

Snowflakeは、コネクタから Google Analytics Raw Data へのリクエストのサイズに基づいて、コネクタによって生成されたエグレストラフィックに対してのみ課金します。 Google Analytics Raw Data からの応答は、Snowflake側でコストを発生させるものではありません。

データ転送の使用量に関する情報は、アカウントレベルですべての外部関数に対して集計された形でのみ利用可能です。転送されたバイト数にアクセスするには、 DATA_TRANSFER_HISTORY ビューを使用し、 EXTERNAL_ACCESS 転送タイプでフィルターします。

BigQuery 側のデータ転送に関連する追加料金が発生する可能性があります: データストレージ + エグレストラフィック。具体的には、コネクタはストリーミング読み取り(Storage Read API)と呼ばれるものを使用します。

詳細については関連ドキュメントをご参照ください。

ヘルスチェックタスクのコスト

コネクタは、インスタンスの健全性を定期的に検査する内部サーバーレスタスクを作成し、モニタリングの目的でSnowflakeに概要を送信します。タスクは、インストールウィザードを完了した後、またはワークシートで CONFIGURE_CONNECTION を呼び出した後に作成されます。プロパティのインジェスチョンが有効になっていない場合でも、1日あたり最大0.5クレジットの固定計算コストが発生します。

タスクは明示的に中断または削除できませんが、コネクタを一時停止するとヘルスチェックも無効になります。

コネクタインスタンスに最適なウェアハウスサイズの決定

コネクタに最適なウェアハウスサイズを見つけるには、コネクタのパフォーマンスに影響する要素を考慮する必要があります。たとえば、次のとおりです。

  • Googleアナリティクスのプロパティ数

  • 各プロパティが生成するデータ量

  • プロパティの同期スケジュール

すべてのテーブルを同期させる時間間隔など、測定可能な期待値を定義し、その期待値を満たす最小のウェアハウスサイズを選択することをお勧めします。ウェアハウスを縮小できるかどうかを判断するには、 ウェアハウス負荷のモニタリング をご参照ください。

Snowflake Connector for Google Analytics Raw Data の場合、XSMALL のウェアハウスを使用することから始め、より大きなウェアハウスで実験することでパフォーマンスを向上させることをお勧めします。

さらに、インジェスチョンステージが異なると、必要なウェアハウスのサイズに大きな差が生じることもあります。たとえば、次を考慮してください。

  • コネクタが履歴データ、場合によっては数年分のデータを読み込み中の初期インジェスチョンでは、より大きなウェアハウスが有益である可能性があります。

  • 通常の毎日のインジェスチョンでは、現在の日次データのみを読み込み中であれば、最小のウェアハウスで十分です。

さらに、大きなプロパティセットのインジェスチョンが可能な場合は、コネクタがデータフローに対応できるように、より大きなウェアハウスを検討してください。