Snowflakeの MySQL および PostgreSQL コネクタの操作¶

1. MySQL に接続するために選択したツールを開きます。

2. データソースを追加するには、「+」記号などをクリックします。

3. 接続の詳細を次のように入力します。

   • ユーザー: root

   • パスワード: mysql

   • URL: jdbc:mysql://localhost:3306

4. 接続をテストして保存します。

1. PostgreSQL に接続するために選択したツールを開きます。

2. データソースを追加するには、「+」記号などをクリックします。

3. 接続の詳細を次のように入力します。

   • ユーザー: postgres

   • パスワード: postgres

   • データベース: postgres

   • URL: jdbc:postgresql://localhost:5432

4. 接続をテストして保存します。

スクリプトを実行してサンプルデータを生成する

CREATE DATABASE mysql_ingest_database;
USE mysql_ingest_database;

CREATE TABLE mysql_rows(
    id INT AUTO_INCREMENT PRIMARY KEY,
    random_string VARCHAR(255),
    random_number INT);

INSERT INTO mysql_rows (random_string, random_number) VALUES
    ('fukjxyiteb', 100),
    ('ndhbbipodi', 37),
    ('laebpztxzh', 83);

SELECT * FROM mysql_ingest_database.mysql_rows;

スクリプトを実行してサンプルデータを生成する

CREATE SCHEMA psql_rows_schema;
SET search_path TO psql_rows_schema;

CREATE TABLE psql_rows_schema.postgres_rows (
  id SERIAL PRIMARY KEY,
  a_text TEXT,
  a_boolean BOOLEAN,
  a_number INTEGER,
  a_decimal DOUBLE PRECISION);

INSERT INTO psql_rows_schema.postgres_rows (a_text, a_boolean, a_number, a_decimal) VALUES
  ('QfJhyWwFuC', True, 37, 15.46),
  ('GwmIFgwvFy', True, 14, 13.21),
  ('jYvqOSEtam', True, 25, 20.85);

-- The publication is required to start the replication progress as the Connector is based on PostgreSQL Logical Replication
CREATE PUBLICATION agent_postgres_publication FOR ALL TABLES;

SELECT * FROM psql_rows_schema.postgres_rows;

1. Download Driver ` を選択し、ファイルを保存します。ファイル名は、 mariadb-java-client-3.4.1.jar に似たものになるか、可能な場合は新しいバージョンになります。エージェント構成で使用するために、このファイルを保存します。

2. ソースデータベースを最初から作成してデータを入力するため、 Mark all as done を選択します。

   注釈

   チュートリアルの後半でエージェントを構成するため、この時点では追加のネットワーク構成は必要ありません。

3. Start configuration をクリックします。

4. Configure Connector 画面で Configure を選択します。 Verify Agent Connection ページが表示されます。

5. Generate file を選択してエージェント構成ファイルを生成します。ファイル名は snowflake.json に似たものになります。このファイルを保存して、後でエージェント構成セクションで使用できるようにします。

1. ソースデータベースを最初から作成してデータを入力するため、 Mark all as done を選択します。

   注釈

   チュートリアルの後半でエージェントを構成するため、この時点では追加のネットワーク構成は必要ありません。

2. Start configuration をクリックします

3. コネクタを構成 画面で、 構成 を選択します。

4. Verify Agent Connection ページで Generate file を選択し、エージェント構成ファイルを生成します。ファイル名は snowflake.json に似たものになります。エージェント構成セクションで使用するために、このファイルを保存します。

1. ターミナルで、 agent-mysql ディレクトリに移動します。

2. 次の内容のDocker Composeファイル docker-compose.yaml を作成します。

   services:
     mysql-agent:
       container_name: mysql-agent
       image: snowflakedb/database-connector-agent:latest
       volumes:
         - ./agent-keys:/home/agent/.ssh
         - ./configuration/snowflake.json:/home/agent/snowflake.json
         - ./configuration/datasources.json:/home/agent/datasources.json
         - ./configuration/mariadb-java-client-3.4.1.jar:/home/agent/libs/mariadb-java-client-3.4.1.jar
       env_file:
         - configuration/mysql.conf
       mem_limit: 6g
   

   Copy

3. 以前にダウンロードした snowflake.json ファイルを configuration ディレクトリに移動します。

4. 以前にダウンロードした mariadb-java-client-3.4.1.jar ファイルを configuration ディレクトリに移動します。

5. configuration ディレクトリに次の内容の datasources.json を作成します。

   {
     "MYSQLDS1": {
       "url": "jdbc:mariadb://host.docker.internal:3306/?allowPublicKeyRetrieval=true&useSSL=false",
       "username": "root",
       "password": "mysql",
       "ssl": false
     }
   }
   

   Copy

6. configuration ディレクトリに次の内容の mysql.conf を作成します。

   JAVA_OPTS=-Xmx5g
   MYSQL_DATASOURCE_DRIVERPATH=/home/agent/libs/mariadb-java-client-3.4.1.jar
   

   Copy

7. 次のコマンドを使用してエージェントを起動します。エラーメッセージは表示されず、エージェントによりSnowflakeへの認証用の公開キーと秘密キーのペアが生成されます。

   docker compose stop  # stops the previous container in case you've launched it before
   docker compose rm -f # removes the agent container to recreate it with the latest image in case you had one before
   docker compose pull  # refresh remote latest tag in case you have cached previous version
   docker compose up -d # run the agent
   

   Copy

8. driver jar file の名前は、 docker-compose.yaml および mysql.conf ファイルでダウンロードおよび使用されているものと 同一 の必要があることに注意してください。

1. コマンドラインで、 agent-postgresql ディレクトリに移動します。

2. 次の内容のDocker Composeファイル docker-compose.yaml を作成します。

   services:
     postgresql-agent:
       container_name: postgresql-agent
       image: snowflakedb/database-connector-agent:latest
       volumes:
         - ./agent-keys:/home/agent/.ssh
         - ./configuration/snowflake.json:/home/agent/snowflake.json
         - ./configuration/datasources.json:/home/agent/datasources.json
       env_file:
         - configuration/postgresql.conf
       mem_limit: 6g
   

   Copy

3. 以前にダウンロードした snowflake.json ファイルを configuration ディレクトリに移動します。

4. configuration ディレクトリに次の内容の datasources.json を作成します。

   {
     "PSQLDS1": {
       "url": "jdbc:postgresql://host.docker.internal:5432/postgres",
       "username": "postgres",
       "password": "postgres",
       "publication": "agent_postgres_publication",
       "ssl": false
     }
   }
   

   Copy

5. configuration ディレクトリに、次の内容の postgresql.conf を作成します。

   JAVA_OPTS=-Xmx5g
   

   Copy

6. 次のコマンドを使用してエージェントを起動します。エラーメッセージは表示されず、エージェントによりSnowflakeへの認証用の公開キーと秘密キーのペアが生成されます。

   docker compose up -d
   

   Copy