Como trabalhar com os conectores MySQL e PostgreSQL para o Snowflake¶

1. Abra a ferramenta de sua escolha para se conectar ao MySQL.

2. Clique no sinal de “+” ou similar para adicionar a fonte de dados.

3. Preencha os detalhes de conexão:

   • Usuário: root

   • Senha: mysql

   • URL: jdbc:mysql://localhost:3306

4. Teste a conexão e salve.

1. Abra a ferramenta de sua escolha para se conectar ao PostgreSQL.

2. Clique no sinal de “+” ou similar para adicionar a fonte de dados.

3. Preencha os detalhes de conexão:

   • Usuário: postgres

   • Senha: postgres

   • Banco de dados: postgres

   • URL: jdbc:postgresql://localhost:5432

4. Teste a conexão e salve.

Execute o script para gerar dados de amostra

CREATE DATABASE mysql_ingest_database;
USE mysql_ingest_database;

CREATE TABLE mysql_rows(
    id INT AUTO_INCREMENT PRIMARY KEY,
    random_string VARCHAR(255),
    random_number INT);

INSERT INTO mysql_rows (random_string, random_number) VALUES
    ('fukjxyiteb', 100),
    ('ndhbbipodi', 37),
    ('laebpztxzh', 83);

SELECT * FROM mysql_ingest_database.mysql_rows;

Execute o script para gerar dados de amostra

CREATE SCHEMA psql_rows_schema;
SET search_path TO psql_rows_schema;

CREATE TABLE psql_rows_schema.postgres_rows (
  id SERIAL PRIMARY KEY,
  a_text TEXT,
  a_boolean BOOLEAN,
  a_number INTEGER,
  a_decimal DOUBLE PRECISION);

INSERT INTO psql_rows_schema.postgres_rows (a_text, a_boolean, a_number, a_decimal) VALUES
  ('QfJhyWwFuC', True, 37, 15.46),
  ('GwmIFgwvFy', True, 14, 13.21),
  ('jYvqOSEtam', True, 25, 20.85);

-- The publication is required to start the replication progress as the Connector is based on PostgreSQL Logical Replication
CREATE PUBLICATION agent_postgres_publication FOR ALL TABLES;

SELECT * FROM psql_rows_schema.postgres_rows;

1. Selecione Download Driver ` e salve o arquivo. O nome do arquivo será semelhante a mariadb-java-client-3.4.1.jar ou a uma versão mais recente, se disponível. Salve este arquivo para uso durante a configuração do agente.

2. Selecione Mark all as done, pois criaremos e preencheremos bancos de dados de origem do zero.

   Nota

   Nenhuma configuração de rede adicional é necessária neste momento, pois configuraremos o agente mais adiante no tutorial.

3. Clique em Start configuration.

4. Na tela Configure Connector, selecione Configure. A página Verify Agent Connection será exibida.

5. Selecione Generate file para gerar um arquivo de configuração do agente. O nome de arquivo deve ser semelhante a snowflake.json. Salve este arquivo para uso posterior na seção Configuração do Agent.

1. Selecione Mark all as done, pois criaremos e preencheremos bancos de dados de origem do zero.

   Nota

   Nenhuma configuração de rede adicional é necessária neste momento, pois configuraremos o agente mais adiante no tutorial.

2. Clique em Start configuration

3. Na tela Configuração de conector, selecione Configurar.

4. Na página Verify Agent Connection, selecione Generate file para gerar o arquivo de configuração do agente. O nome de arquivo deve ser semelhante a snowflake.json. Salve este arquivo para uso durante a seção Configuração do Agent.

1. Em um terminal, navegue até o diretório agent-mysql.

2. Crie o arquivo Docker Compose docker-compose.yaml com o seguinte conteúdo:

   services:
     mysql-agent:
       container_name: mysql-agent
       image: snowflakedb/database-connector-agent:latest
       volumes:
         - ./agent-keys:/home/agent/.ssh
         - ./configuration/snowflake.json:/home/agent/snowflake.json
         - ./configuration/datasources.json:/home/agent/datasources.json
         - ./configuration/mariadb-java-client-3.4.1.jar:/home/agent/libs/mariadb-java-client-3.4.1.jar
       env_file:
         - configuration/mysql.conf
       mem_limit: 6g
   

   Copy

3. Mova o arquivo snowflake.json baixado anteriormente para o diretório configuration.

4. Mova o arquivo mariadb-java-client-3.4.1.jar baixado anteriormente para o diretório configuration.

5. No diretório configuration, crie datasources.json com conteúdo:

   {
     "MYSQLDS1": {
       "url": "jdbc:mariadb://host.docker.internal:3306/?allowPublicKeyRetrieval=true&useSSL=false",
       "username": "root",
       "password": "mysql",
       "ssl": false
     }
   }
   

   Copy

6. No diretório configuration, crie mysql.conf com conteúdo:

   JAVA_OPTS=-Xmx5g
   MYSQL_DATASOURCE_DRIVERPATH=/home/agent/libs/mariadb-java-client-3.4.1.jar
   

   Copy

7. Inicie o agente usando o seguinte comando. Não deve haver nenhuma mensagem de erro e o agente deve gerar um par de chaves privadas para autenticação no Snowflake.

   docker compose stop  # stops the previous container in case you've launched it before
   docker compose rm -f # removes the agent container to recreate it with the latest image in case you had one before
   docker compose pull  # refresh remote latest tag in case you have cached previous version
   docker compose up -d # run the agent
   

   Copy

8. Observe que o nome do arquivo jar do driver deve ser idêntico ao baixado e usado nos arquivos docker-compose.yaml e mysql.conf.

1. Na linha de comando, navegue até o diretório agent-postgresql.

2. Crie o arquivo Docker Compose docker-compose.yaml com o seguinte conteúdo:

   services:
     postgresql-agent:
       container_name: postgresql-agent
       image: snowflakedb/database-connector-agent:latest
       volumes:
         - ./agent-keys:/home/agent/.ssh
         - ./configuration/snowflake.json:/home/agent/snowflake.json
         - ./configuration/datasources.json:/home/agent/datasources.json
       env_file:
         - configuration/postgresql.conf
       mem_limit: 6g
   

   Copy

3. Mova o arquivo snowflake.json baixado anteriormente para o diretório configuration.

4. No diretório configuration, crie datasources.json com conteúdo:

   {
     "PSQLDS1": {
       "url": "jdbc:postgresql://host.docker.internal:5432/postgres",
       "username": "postgres",
       "password": "postgres",
       "publication": "agent_postgres_publication",
       "ssl": false
     }
   }
   

   Copy

5. No diretório configuration, crie postgresql.conf com o seguinte conteúdo:

   JAVA_OPTS=-Xmx5g
   

   Copy

6. Inicie o agente usando o seguinte comando. Não deve haver nenhuma mensagem de erro e o agente deve gerar um par de chaves privadas para autenticação no Snowflake.

   docker compose up -d
   

   Copy