Verwenden von MySQL- und PostgreSQL-Konnektoren für Snowflake¶

1. Öffnen Sie das Tool Ihrer Wahl für die Verbindung mit MySQL.

2. Klicken Sie auf das ‚+‘-Zeichen oder Ähnliches, um eine Datenquelle hinzuzufügen.

3. Geben Sie die Details der Verbindung ein:

   • Benutzer: root

   • Kennwort: mysql

   • URL: jdbc:mysql://localhost:3306

4. Testen Sie die Verbindung, und speichern Sie.

1. Öffnen Sie das Tool Ihrer Wahl für die Verbindung mit PostgreSQL.

2. Klicken Sie auf das ‚+‘-Zeichen oder Ähnliches, um eine Datenquelle hinzuzufügen.

3. Geben Sie die Details der Verbindung ein:

   • Benutzer: postgres

   • Kennwort: postgres

   • Datenbank: postgres

   • URL: jdbc:postgresql://localhost:5432

4. Testen Sie die Verbindung, und speichern Sie.

Führen Sie das Skript aus, um Beispieldaten zu erzeugen

CREATE DATABASE mysql_ingest_database;
USE mysql_ingest_database;

CREATE TABLE mysql_rows(
    id INT AUTO_INCREMENT PRIMARY KEY,
    random_string VARCHAR(255),
    random_number INT);

INSERT INTO mysql_rows (random_string, random_number) VALUES
    ('fukjxyiteb', 100),
    ('ndhbbipodi', 37),
    ('laebpztxzh', 83);

SELECT * FROM mysql_ingest_database.mysql_rows;

Führen Sie das Skript aus, um Beispieldaten zu erzeugen

CREATE SCHEMA psql_rows_schema;
SET search_path TO psql_rows_schema;

CREATE TABLE psql_rows_schema.postgres_rows (
  id SERIAL PRIMARY KEY,
  a_text TEXT,
  a_boolean BOOLEAN,
  a_number INTEGER,
  a_decimal DOUBLE PRECISION);

INSERT INTO psql_rows_schema.postgres_rows (a_text, a_boolean, a_number, a_decimal) VALUES
  ('QfJhyWwFuC', True, 37, 15.46),
  ('GwmIFgwvFy', True, 14, 13.21),
  ('jYvqOSEtam', True, 25, 20.85);

-- The publication is required to start the replication progress as the Connector is based on PostgreSQL Logical Replication
CREATE PUBLICATION agent_postgres_publication FOR ALL TABLES;

SELECT * FROM psql_rows_schema.postgres_rows;

1. Wählen Sie Download Driver , und speichern Sie die Datei. Der Name der Datei ähnelt :file:`mariadb-java-client-3.4.1.jar oder einer neueren Version, sofern verfügbar. Speichern Sie diese Datei zur Verwendung bei der Konfiguration des Agenten.

2. Wählen Sie Mark all as done, da wir die Quelldatenbanken von Grund auf neu erstellen und befüllen werden.

   Bemerkung

   An dieser Stelle ist keine zusätzliche Konfiguration des Netzwerks erforderlich, da wir den Agenten später im Tutorial konfigurieren werden.

3. Klicken Sie auf Start configuration.

4. Wählen Sie auf dem Bildschirm Configure Connector die Option Configure aus. Die Seite Verify Agent Connection wird angezeigt.

5. Wählen Sie Generate file, um eine Datei für die Konfiguration des Agenten zu erstellen. Der Name der Datei sollte snowflake.json ähneln. Speichern Sie diese Datei zur späteren Verwendung im Abschnitt zur Konfiguration der Agenten.

1. Wählen Sie Mark all as done, da wir die Quelldatenbanken von Grund auf neu erstellen und befüllen werden.

   Bemerkung

   An dieser Stelle ist keine zusätzliche Konfiguration des Netzwerks erforderlich, da wir den Agenten später im Tutorial konfigurieren werden.

2. Klicken Sie auf Start configuration.

3. Wählen Sie auf dem Bildschirm Konnektor konfigurieren die Option Konfigurieren.

4. Wählen Sie auf der Seite Verify Agent Connection die Option Generate file, um die Datei für die Konfiguration des Agenten zu erstellen. Der Name der Datei sollte snowflake.json ähneln. Speichern Sie diese Datei zur Verwendung im Abschnitt zur Konfiguration der Agenten.

1. Navigieren Sie in einem Terminal zum Verzeichnis agent-mysql.

2. Erstellen Sie die Docker Compose-Datei docker-compose.yaml mit dem folgenden Inhalt:

   services:
     mysql-agent:
       container_name: mysql-agent
       image: snowflakedb/database-connector-agent:latest
       volumes:
         - ./agent-keys:/home/agent/.ssh
         - ./configuration/snowflake.json:/home/agent/snowflake.json
         - ./configuration/datasources.json:/home/agent/datasources.json
         - ./configuration/mariadb-java-client-3.4.1.jar:/home/agent/libs/mariadb-java-client-3.4.1.jar
       env_file:
         - configuration/mysql.conf
       mem_limit: 6g
   

   Copy

3. Verschieben Sie die zuvor heruntergeladene snowflake.json-Datei in das Verzeichnis configuration.

4. Verschieben Sie die zuvor heruntergeladene mariadb-java-client-3.4.1.jar-Datei in das Verzeichnis configuration.

5. Erstellen Sie im Verzeichnis configuration datasources.json mit dem Inhalt:

   {
     "MYSQLDS1": {
       "url": "jdbc:mariadb://host.docker.internal:3306/?allowPublicKeyRetrieval=true&useSSL=false",
       "username": "root",
       "password": "mysql",
       "ssl": false
     }
   }
   

   Copy

6. Erstellen Sie im Verzeichnis configuration mysql.conf mit dem Inhalt:

   JAVA_OPTS=-Xmx5g
   MYSQL_DATASOURCE_DRIVERPATH=/home/agent/libs/mariadb-java-client-3.4.1.jar
   

   Copy

7. Starten Sie den Agenten mit folgendem Befehl. Es sollte zu keiner Fehlermeldung kommen, und der Agent sollte ein Schlüsselpaar aus öffentlichem und privatem Schlüssel für die Authentifizierung bei Snowflake erzeugen.

   docker compose stop  # stops the previous container in case you've launched it before
   docker compose rm -f # removes the agent container to recreate it with the latest image in case you had one before
   docker compose pull  # refresh remote latest tag in case you have cached previous version
   docker compose up -d # run the agent
   

   Copy

8. Bitte beachten Sie, dass der Name der Treiber jar-Datei identisch sein muss mit dem Namen, der in den Dateien docker-compose.yaml und mysql.conf verwendet wird.

1. Navigieren Sie in der Befehlszeile zum Verzeichnis agent-postgresql.

2. Erstellen Sie die Docker Compose-Datei docker-compose.yaml mit dem folgenden Inhalt:

   services:
     postgresql-agent:
       container_name: postgresql-agent
       image: snowflakedb/database-connector-agent:latest
       volumes:
         - ./agent-keys:/home/agent/.ssh
         - ./configuration/snowflake.json:/home/agent/snowflake.json
         - ./configuration/datasources.json:/home/agent/datasources.json
       env_file:
         - configuration/postgresql.conf
       mem_limit: 6g
   

   Copy

3. Verschieben Sie die zuvor heruntergeladene snowflake.json-Datei in das Verzeichnis configuration.

4. Erstellen Sie im Verzeichnis configuration datasources.json mit dem Inhalt:

   {
     "PSQLDS1": {
       "url": "jdbc:postgresql://host.docker.internal:5432/postgres",
       "username": "postgres",
       "password": "postgres",
       "publication": "agent_postgres_publication",
       "ssl": false
     }
   }
   

   Copy

5. Erstellen Sie im Verzeichnis configuration postgresql.conf mit dem folgenden Inhalt:

   JAVA_OPTS=-Xmx5g
   

   Copy

6. Starten Sie den Agenten mit folgendem Befehl. Es sollte zu keiner Fehlermeldung kommen, und der Agent sollte ein Schlüsselpaar aus öffentlichem und privatem Schlüssel für die Authentifizierung bei Snowflake erzeugen.

   docker compose up -d
   

   Copy