Utilisation de MySQL et PostgreSQL Connectors pour Snowflake¶

1. Ouvrez l’outil de votre choix pour vous connecter à MySQL.

2. Cliquez sur le signe « + » ou similaire pour ajouter une source de données.

3. Fournissez les informations de connexion :

   • Utilisateur : root

   • Mot de passe : mysql

   • URL : jdbc:mysql://localhost:3306

4. Testez la connexion et enregistrez.

1. Ouvrez l’outil de votre choix pour vous connecter à PostgreSQL.

2. Cliquez sur le signe « + » ou similaire pour ajouter une source de données.

3. Fournissez les informations de connexion :

   • Utilisateur : postgres

   • Mot de passe : postgres

   • Base de données : postgres

   • URL : jdbc:postgresql://localhost:5432

4. Testez la connexion et enregistrez.

Exécuter le script pour générer les échantillons de données

CREATE DATABASE mysql_ingest_database;
USE mysql_ingest_database;

CREATE TABLE mysql_rows(
    id INT AUTO_INCREMENT PRIMARY KEY,
    random_string VARCHAR(255),
    random_number INT);

INSERT INTO mysql_rows (random_string, random_number) VALUES
    ('fukjxyiteb', 100),
    ('ndhbbipodi', 37),
    ('laebpztxzh', 83);

SELECT * FROM mysql_ingest_database.mysql_rows;

Exécuter le script pour générer les échantillons de données

CREATE SCHEMA psql_rows_schema;
SET search_path TO psql_rows_schema;

CREATE TABLE psql_rows_schema.postgres_rows (
  id SERIAL PRIMARY KEY,
  a_text TEXT,
  a_boolean BOOLEAN,
  a_number INTEGER,
  a_decimal DOUBLE PRECISION);

INSERT INTO psql_rows_schema.postgres_rows (a_text, a_boolean, a_number, a_decimal) VALUES
  ('QfJhyWwFuC', True, 37, 15.46),
  ('GwmIFgwvFy', True, 14, 13.21),
  ('jYvqOSEtam', True, 25, 20.85);

-- The publication is required to start the replication progress as the Connector is based on PostgreSQL Logical Replication
CREATE PUBLICATION agent_postgres_publication FOR ALL TABLES;

SELECT * FROM psql_rows_schema.postgres_rows;

1. Sélectionnez Download Driver ` et enregistrez le fichier. Le nom de fichier ressemblera à mariadb-java-client-3.4.1.jar ou à une version plus récente si elle est disponible. Enregistrez ce fichier pour pouvoir l’utiliser lors de la configuration de l’agent.

2. Sélectionnez Mark all as done, car nous allons créer et renseigner des bases de données sources à partir de rien.

   Note

   Aucune configuration réseau supplémentaire n’est requise à ce stade, car nous configurerons l’agent ultérieurement dans le didacticiel.

3. Cliquez sur Start configuration.

4. Sur l’écran Configure Connector, sélectionnez Configure. La page Verify Agent Connection s’affiche.

5. Sélectionnez Generate file pour générer un fichier de configuration d’agent. Le nom de fichier doit ressembler à snowflake.json. Enregistrez ce fichier à des fins d’utilisation ultérieure à la section Configuration de l’Agent.

1. Sélectionnez Mark all as done, car nous allons créer et renseigner des bases de données sources à partir de rien.

   Note

   Aucune configuration réseau supplémentaire n’est requise à ce stade, car nous configurerons l’agent ultérieurement dans le didacticiel.

2. Cliquez sur Start configuration.

3. Sur l’écran Configurer le connecteur, sélectionnez Configurer.

4. Sur la page Verify Agent Connection, sélectionnez Generate file pour générer le fichier de configuration de l’agent. Le nom de fichier doit ressembler à snowflake.json. Enregistrez ce fichier pour pouvoir l’utiliser à la section Configuration de l’Agent.

1. Sur un terminal, accédez au répertoire agent-mysql.

2. Créez le fichier Docker Compose docker-compose.yaml avec le contenu suivant :

   services:
     mysql-agent:
       container_name: mysql-agent
       image: snowflakedb/database-connector-agent:latest
       volumes:
         - ./agent-keys:/home/agent/.ssh
         - ./configuration/snowflake.json:/home/agent/snowflake.json
         - ./configuration/datasources.json:/home/agent/datasources.json
         - ./configuration/mariadb-java-client-3.4.1.jar:/home/agent/libs/mariadb-java-client-3.4.1.jar
       env_file:
         - configuration/mysql.conf
       mem_limit: 6g
   

   Copy

3. Déplacez le fichier snowflake.json précédemment téléchargé dans le répertoire configuration.

4. Déplacez le fichier mariadb-java-client-3.4.1.jar précédemment téléchargé dans le répertoire configuration.

5. Dans le répertoire configuration, créez datasources.json avec le contenu :

   {
     "MYSQLDS1": {
       "url": "jdbc:mariadb://host.docker.internal:3306/?allowPublicKeyRetrieval=true&useSSL=false",
       "username": "root",
       "password": "mysql",
       "ssl": false
     }
   }
   

   Copy

6. Dans le répertoire configuration, créez mysql.conf avec le contenu :

   JAVA_OPTS=-Xmx5g
   MYSQL_DATASOURCE_DRIVERPATH=/home/agent/libs/mariadb-java-client-3.4.1.jar
   

   Copy

7. Démarrez l’agent à l’aide de la commande suivante. Il ne devrait y avoir aucun message d’erreur et l’agent devrait générer une paire de clés publique et privée pour l’authentification auprès de Snowflake.

   docker compose stop  # stops the previous container in case you've launched it before
   docker compose rm -f # removes the agent container to recreate it with the latest image in case you had one before
   docker compose pull  # refresh remote latest tag in case you have cached previous version
   docker compose up -d # run the agent
   

   Copy

8. Notez que le nom du fichier jar du pilote doit être identique à celui téléchargé et utilisé dans les fichiers docker-compose.yaml et mysql.conf.

1. Via la ligne de commande, accédez au répertoire agent-postgresql.

2. Créez le fichier Docker Compose docker-compose.yaml avec le contenu suivant :

   services:
     postgresql-agent:
       container_name: postgresql-agent
       image: snowflakedb/database-connector-agent:latest
       volumes:
         - ./agent-keys:/home/agent/.ssh
         - ./configuration/snowflake.json:/home/agent/snowflake.json
         - ./configuration/datasources.json:/home/agent/datasources.json
       env_file:
         - configuration/postgresql.conf
       mem_limit: 6g
   

   Copy

3. Déplacez le fichier snowflake.json précédemment téléchargé dans le répertoire configuration.

4. Dans le répertoire configuration, créez datasources.json avec le contenu :

   {
     "PSQLDS1": {
       "url": "jdbc:postgresql://host.docker.internal:5432/postgres",
       "username": "postgres",
       "password": "postgres",
       "publication": "agent_postgres_publication",
       "ssl": false
     }
   }
   

   Copy

5. Dans le répertoire configuration, créez postgresql.conf avec le contenu suivant :

   JAVA_OPTS=-Xmx5g
   

   Copy

6. Démarrez l’agent à l’aide de la commande suivante. Il ne devrait y avoir aucun message d’erreur et l’agent devrait générer une paire de clés publique et privée pour l’authentification auprès de Snowflake.

   docker compose up -d
   

   Copy