Snowflake용 MySQL 및 PostgreSQL Connector 사용하기¶

1. 원하는 도구를 열어 MySQL에 연결합니다.

2. ‘+’ 기호나 비슷한 기호를 클릭하여 데이터 원본을 추가합니다.

3. 다음 연결 세부 정보를 입력합니다.

   • User: root

   • Password: mysql

   • URL: jdbc:mysql://localhost:3306

4. 연결을 테스트하고 저장합니다.

1. 원하는 도구를 열어 PostgreSQL에 연결합니다.

2. ‘+’ 기호나 비슷한 기호를 클릭하여 데이터 원본을 추가합니다.

3. 다음 연결 세부 정보를 입력합니다.

   • User: postgres

   • Password: postgres

   • Database: postgres

   • URL: jdbc:postgresql://localhost:5432

4. 연결을 테스트하고 저장합니다.

샘플 데이터를 생성하는 스크립트를 실행합니다.

CREATE DATABASE mysql_ingest_database;
USE mysql_ingest_database;

CREATE TABLE mysql_rows(
    id INT AUTO_INCREMENT PRIMARY KEY,
    random_string VARCHAR(255),
    random_number INT);

INSERT INTO mysql_rows (random_string, random_number) VALUES
    ('fukjxyiteb', 100),
    ('ndhbbipodi', 37),
    ('laebpztxzh', 83);

SELECT * FROM mysql_ingest_database.mysql_rows;

샘플 데이터를 생성하는 스크립트를 실행합니다.

CREATE SCHEMA psql_rows_schema;
SET search_path TO psql_rows_schema;

CREATE TABLE psql_rows_schema.postgres_rows (
  id SERIAL PRIMARY KEY,
  a_text TEXT,
  a_boolean BOOLEAN,
  a_number INTEGER,
  a_decimal DOUBLE PRECISION);

INSERT INTO psql_rows_schema.postgres_rows (a_text, a_boolean, a_number, a_decimal) VALUES
  ('QfJhyWwFuC', True, 37, 15.46),
  ('GwmIFgwvFy', True, 14, 13.21),
  ('jYvqOSEtam', True, 25, 20.85);

-- The publication is required to start the replication progress as the Connector is based on PostgreSQL Logical Replication
CREATE PUBLICATION agent_postgres_publication FOR ALL TABLES;

SELECT * FROM psql_rows_schema.postgres_rows;

1. Download Driver 를 선택하고 파일을 저장합니다. 파일 이름은 mariadb-java-client-3.4.1.jar 와 유사하거나, 최신 버전이 출시될 경우에는 최신 버전의 이름입니다. 에이전트 구성 중에 사용할 수 있도록 이 파일을 저장합니다.

2. 원본 데이터베이스를 처음부터 만들고 채울 예정이므로 Mark all as done 을 선택합니다.

   참고

   자습서 뒷부분에서 에이전트를 구성할 예정이므로 이 시점에서는 추가적인 네트워크 구성이 필요하지 않습니다.

3. Start configuration 을 클릭합니다.

4. Configure Connector 화면에서 Configure 를 선택합니다. Verify Agent Connection 페이지가 표시됩니다.

5. Generate file 을 선택하여 에이전트 구성 파일을 생성합니다. 파일 이름은 snowflake.json 과 비슷해야 합니다. 나중에 에이전트 구성 섹션에서 사용할 수 있도록 이 파일을 저장합니다.

1. 원본 데이터베이스를 처음부터 만들고 채울 예정이므로 Mark all as done 을 선택합니다.

   참고

   자습서 뒷부분에서 에이전트를 구성할 예정이므로 이 시점에서는 추가적인 네트워크 구성이 필요하지 않습니다.

2. Start configuration 를 클릭합니다.

3. 커넥터 구성 화면에서 구성 을 선택합니다.

4. Verify Agent Connection 페이지에서 Generate file 을 선택하여 에이전트 구성 파일을 생성합니다. 파일 이름은 snowflake.json 과 비슷해야 합니다. 에이전트 구성 섹션에서 사용할 수 있도록 이 파일을 저장합니다.

1. 터미널에서 agent-mysql 디렉터리로 이동합니다.

2. 다음 내용으로 Docker Compose 파일 docker-compose.yaml 을 만듭니다.

   services:
     mysql-agent:
       container_name: mysql-agent
       image: snowflakedb/database-connector-agent:latest
       volumes:
         - ./agent-keys:/home/agent/.ssh
         - ./configuration/snowflake.json:/home/agent/snowflake.json
         - ./configuration/datasources.json:/home/agent/datasources.json
         - ./configuration/mariadb-java-client-3.4.1.jar:/home/agent/libs/mariadb-java-client-3.4.1.jar
       env_file:
         - configuration/mysql.conf
       mem_limit: 6g
   

   Copy

3. 이전에 다운로드한 snowflake.json 파일을 configuration 디렉터리로 이동합니다.

4. 이전에 다운로드한 mariadb-java-client-3.4.1.jar 파일을 configuration 디렉터리로 이동합니다.

5. configuration 디렉터리에서 다음 내용으로 datasources.json 을 생성합니다.

   {
     "MYSQLDS1": {
       "url": "jdbc:mariadb://host.docker.internal:3306/?allowPublicKeyRetrieval=true&useSSL=false",
       "username": "root",
       "password": "mysql",
       "ssl": false
     }
   }
   

   Copy

6. configuration 디렉터리에서 다음 내용으로 mysql.conf 를 생성합니다.

   JAVA_OPTS=-Xmx5g
   MYSQL_DATASOURCE_DRIVERPATH=/home/agent/libs/mariadb-java-client-3.4.1.jar
   

   Copy

7. 다음 명령을 사용하여 에이전트를 시작합니다. 오류 메시지가 나타나지 않아야 하며 에이전트는 Snowflake 인증을 위해 공개 키와 개인 키 페어를 생성해야 합니다.

   docker compose stop  # stops the previous container in case you've launched it before
   docker compose rm -f # removes the agent container to recreate it with the latest image in case you had one before
   docker compose pull  # refresh remote latest tag in case you have cached previous version
   docker compose up -d # run the agent
   

   Copy

8. 드라이버 jar 파일 이름은 docker-compose.yaml 및 mysql.conf 파일에서 다운로드하여 사용한 이름과 동일 해야 합니다.

1. 명령줄에서 agent-postgresql 디렉터리로 이동합니다.

2. 다음 내용으로 Docker Compose 파일 docker-compose.yaml 을 만듭니다.

   services:
     postgresql-agent:
       container_name: postgresql-agent
       image: snowflakedb/database-connector-agent:latest
       volumes:
         - ./agent-keys:/home/agent/.ssh
         - ./configuration/snowflake.json:/home/agent/snowflake.json
         - ./configuration/datasources.json:/home/agent/datasources.json
       env_file:
         - configuration/postgresql.conf
       mem_limit: 6g
   

   Copy

3. 이전에 다운로드한 snowflake.json 파일을 configuration 디렉터리로 이동합니다.

4. configuration 디렉터리에서 다음 내용으로 datasources.json 을 생성합니다.

   {
     "PSQLDS1": {
       "url": "jdbc:postgresql://host.docker.internal:5432/postgres",
       "username": "postgres",
       "password": "postgres",
       "publication": "agent_postgres_publication",
       "ssl": false
     }
   }
   

   Copy

5. configuration 디렉터리에서 다음 내용으로 postgresql.conf 를 만듭니다.

   JAVA_OPTS=-Xmx5g
   

   Copy

6. 다음 명령을 사용하여 에이전트를 시작합니다. 오류 메시지가 나타나지 않아야 하며 에이전트는 Snowflake 인증을 위해 공개 키와 개인 키 페어를 생성해야 합니다.

   docker compose up -d
   

   Copy