Surveillance du Snowflake Connector for MySQL

Note

Le Snowflake Connector for MySQL est soumis aux Conditions du connecteur.

Les sections suivantes expliquent comment surveiller le connecteur en interrogeant les vues et en examinant les fichiers journaux :

Affichage d’informations générales sur le connecteur

Pour afficher des informations générales sur le connecteur, exécutez la commande DESCRIBE APPLICATION :

DESCRIBE APPLICATION <app_db_name>;
Copy

Où :

app_db_name

Spécifie le nom de la base de données du connecteur.

Pour afficher des informations plus spécifiques sur le connecteur, interrogez la vue PUBLIC.CONNECTOR_CONFIGURATION :

SELECT * FROM PUBLIC.CONNECTOR_CONFIGURATION;
Copy

La vue PUBLIC.CONNECTOR_CONFIGURATION affiche une ligne pour chaque paramètre configuré pour le connecteur.

Le tableau suivant décrit ces paramètres :

Paramètre

Description

alertingLogsView

Si vous avez activé les notifications par e-mail, cela spécifie le nom de la vue qui donne accès à la table d’événements.

alertingNotificationIntegration

Si vous avez activé les notifications par e-mail, cela spécifie le nom de l’objet d’intégration de notification utilisé pour les notifications par e-mail.

alertingRecipients

Si vous avez activé les notifications par e-mail, cela spécifie la liste des adresses e-mail (séparées par des virgules) qui peuvent recevoir des notifications par e-mail du connecteur.

alertingSchedule

Si vous avez activé les notifications par e-mail, cela spécifie la planification ou la fréquence selon laquelle le connecteur doit vérifier les erreurs et envoyer une notification.

entrepôt_opérationnel

Nom de l’entrepôt opérationnel utilisé par le connecteur.

entrepôt

Nom de l’entrepôt de calcul pour la fusion de données.

Affichage des sources de données

Pour afficher des informations sur les sources de données, interrogez la vue PUBLIC.DATA_SOURCES :

SELECT * FROM PUBLIC.DATA_SOURCES;
Copy

La vue PUBLIC.DATA_SOURCES affiche une ligne pour chaque source de données configurée pour le connecteur. La vue se compose des colonnes suivantes :

Nom de la colonne

Type de données

Description

NAME

VARCHAR

Nom de la source de données.

SCHEDULE

VARCHAR

Planification d’exécution de la réplication. Affiche NULL si la réplication planifiée de cette source de données est désactivée.

DESTINATION_DB_NAME

VARCHAR

Nom de la base de données de destination.

Affichage de l’état de réplication des sources de données

Pour afficher l’état de réplication actuel des sources de données, interrogez la vue PUBLIC.DATA_SOURCE_REPLICATION_STATE :

SELECT * FROM PUBLIC.DATA_SOURCE_REPLICATION_STATE;
Copy

La vue PUBLIC.DATA_SOURCE_REPLICATION_STATE affiche une ligne pour chaque source de données configurée dans le connecteur. La vue se compose des colonnes suivantes :

Nom de la colonne

Type de données

Description

NAME

VARCHAR

Nom de la source de données.

TABLES_ADDED_COUNT

NUMBER

Nombre de tables activement répliquées dans cette source de données. Ce nombre n’inclut pas les tables pour lesquelles la réplication a définitivement échoué.

CONNECTED_AGENT_ID

VARCHAR

ID de l’application d’agent affectée à la source de données.

SCHEDULE

VARCHAR

Planification d’exécution de la réplication. Affiche NULL si la réplication planifiée de cette source de données est désactivée.

REPLICATION_STATUS

VARCHAR

Statut de réplication de la source de données. Valeurs possibles :

  • WAITING

  • ONGOING

PREVIOUS_SCHEDULED_RUN_STATUS

VARCHAR

Statut de la précédente réplication planifiée. Affiche NULL si la réplication planifiée de cette source de données est désactivée. Valeurs possibles :

  • DONE

  • WARNING

PREVIOUS_RUN_FINISHED_AT

TIMESTAMP_NTZ

Horodatage de la fin de la dernière réplication planifiée. Affiche NULL si la réplication planifiée de cette source de données est désactivée.

Affichage de l’état de réplication des tables sources

Pour afficher l’état de réplication actuel de chaque table source, interrogez la vue PUBLIC.REPLICATION_STATE :

SELECT * FROM PUBLIC.REPLICATION_STATE;
Copy

La vue PUBLIC.REPLICATION_STATE affiche une ligne pour chaque table source. La vue se compose des colonnes suivantes :

Nom de la colonne

Type de données

Description

DATA_SOURCE_NAME

VARCHAR

Nom de la source de données qui contient la table source

SCHEMA_NAME

VARCHAR

Nom du schéma de la table source

TABLE_NAME

VARCHAR

Nom de la table source

REPLICATION_PHASE

VARCHAR

Phase de réplication en cours. Valeurs possibles :

  • SCHEMA_INTROSPECTION

  • INITIAL_LOAD

  • INCREMENTAL_LOAD

Pour une description de chaque statut, voir Comprendre les phases de réplication.

SCHEMA_INTROSPECTION_STATUS

VARCHAR

Statut d’introspection de schéma actuel. Valeurs possibles :

  • WAITING

  • IN_PROGRESS

  • DONE

  • RETRYING

  • FAILED

SNAPSHOT_REPLICATION_STATUS

VARCHAR

Statut de réplication instantanée actuel. Valeurs possibles :

  • WAITING

  • IN_PROGRESS

  • DONE

  • RETRYING

  • FAILED

INCREMENTAL_REPLICATION_STATUS

VARCHAR

Statut de réplication incrémentielle actuel. Valeurs possibles :

  • WAITING

  • IN_PROGRESS

  • DONE

  • RETRYING

  • FAILED

Comprendre les phases de réplication

La réplication de chacune des tables sources peut comporter les phases de réplication suivantes :

Phase de réplication

Description

SCHEMA_INTROSPECTION

Schéma de la table source en cours de vérification. Une fois cette phase terminée, la table de destination est créée.

INITIAL_LOAD

Le connecteur traite le chargement instantané de la table source.

INCREMENTAL_LOAD

Le chargement initial est effectué et les données sont répliquées à l’aide du processus de capture des données modifiées (Change Data Capture ou CDC).

Note

Vous pouvez démarrer les réplications à l’état FAILED depuis le début en retirant la table de la réplication et en la rajoutant comme décrit à la section Configuration de la réplication pour Snowflake Connector for MySQL.

Affichage de l’historique des versions du schéma de table

Pour afficher l’historique des modifications du schéma de table, interrogez la vue PUBLIC.SCHEMA_CHANGE_HISTORY via une commande similaire à :

SELECT * FROM PUBLIC.SCHEMA_CHANGE_HISTORY;
Copy

La vue PUBLIC.SCHEMA_CHANGE_HISTORY affiche une ou deux lignes pour la version de schéma valide de chaque table.

La vue se compose des colonnes suivantes :

Nom de la colonne

Type de données

Description

DATA_SOURCE_NAME

VARCHAR

Nom de source de données de la table source.

SCHEMA_NAME

VARCHAR

Nom de schéma de la table source.

TABLE_NAME

VARCHAR

Nom de la table source.

VERSION

INTEGER

Identificateur de la version du schéma, initialement 0, puis incrémenté de 1 à chaque modification du schéma. La numérotation redémarre à zéro si la table est retirée, puis rajoutée ultérieurement.

STATE

VARCHAR

Une des options suivantes :

  • ACCEPTED : la modification du schéma est valide, mais n’a pas encore été appliquée à la table de destination.

  • APPLIED : la modification du schéma a déjà été appliqué à la table de destination.

Initialement, au début de la réplication, ne contient qu’une seule ligne avec la valeur APPLIED. Après les modifications de schéma valides ultérieures, deux lignes seront incluses - une avec state=ACCEPTED et une avec state=APPLIED.

SOURCE_SCHEMA

VARIANT

JSON décrivant le schéma de la table source.

DESTINATION_TABLE_SCHEMA

VARIANT

JSON décrivant le schéma de la table de destination après l’application de cette version de schéma.

INSERTED_AT

TIMESTAMP_NTZ

Horodatage UTC de l’insertion de cet enregistrement.

Affichage des métriques du connecteur

Pour afficher les métriques de réplication du connecteur, interrogez la vue PUBLIC.CONNECTOR_STATS :

SELECT * FROM PUBLIC.CONNECTOR_STATS;
Copy

La vue PUBLIC.CONNECTOR_STATS affiche une ligne pour chaque fusion périodique de données dans la table de destination lors de la phase de réplication de chargement incrémentiel.

Note

La première exécution d’une table donnée dans cette vue sera plus longue et plus volumineuse qu’une exécution ultérieure type. Cela est dû au fait que le connecteur collecte les mises à jour incrémentielles des tables lors de la phase de chargement initial, mais les traite uniquement après la réplication de la table toute entière.

La vue se compose des colonnes suivantes :

Nom de la colonne

Type de données

Description

RESOURCE_INGESTION_DEFINITION_ID

VARCHAR

Identificateur d’une table répliquée créé à partir du nom de la source de données, du nom du schéma et du nom de la table.

INGESTION_CONFIGURATION_ID

VARCHAR

Colonne interne pour intégrations futures.

INGESTION_PROCESS_ID

VARCHAR

ID du processus de fusion.

INGESTION_DEFINITION_NAME

VARCHAR

Colonne interne pour intégrations futures.

DATA_SOURCE_NAME

VARCHAR

Nom de la source de données à laquelle appartient la table.

SCHEMA_NAME

VARCHAR

Nom du schéma de la table.

RESOURCE_NAME

VARCHAR

Nom de la table.

STARTED_AT

TIMESTAMP_NTZ

Heure à laquelle le premier enregistrement du lot d’enregistrements fusionnés dans la table de destination a été lu à partir de la base de données source.

STATUS

VARCHAR

Statut du processus de fusion. Valeurs possibles :

  • FINISHED

  • FAILED

INGESTED_ROWS

NUMBER

Nombre de lignes fusionnées dans le lot

INGESTION_DURATION_S

NUMBER

Temps de traitement par lots en secondes calculé comme la différence entre le premier enregistrement observé et le lot d’enregistrements fusionnés dans la table de destination.

NATIVE_APP_PROCESSING_DURATION_S

NUMBER

Durée en secondes du traitement des données côté Snowflake.

AGENT_PROCESSING_DURATION_S

NUMBER

Durée en secondes du traitement des données côté agent.

THROUGHPUT_RPS

NUMBER

Débit du connecteur en nombre d’enregistrements par seconde (RPS). Prend en compte le temps de traitement global.

NATIVE_APP_THROUGHPUT_RPS

NUMBER

Débit du traitement des données côté Snowflake en nombre d’enregistrements par seconde (RPS).

Affichage des métriques agrégées du connecteur

Pour afficher les métriques de réplication du connecteur, interrogez la vue PUBLIC.AGGREGATED_CONNECTOR_STATS :

SELECT * FROM PUBLIC.AGGREGATED_CONNECTOR_STATS;
Copy

La vue PUBLIC.AGGREGATED_CONNECTOR_STATS affiche les métriques du connecteur agrégées toutes les heures. Des colonnes supplémentaires avec le nom de la source de données, le nom du schéma et le nom de la table sont fournies à des fins d’agrégations et d’analyses ultérieures.

La vue se compose des colonnes suivantes :

Nom de la colonne

Type de données

Description

DATE

DATE

Date de l’agrégation, toutes les heures.

PROCESSED_ROWS_COUNT

NUMBER

Somme des lignes ingérées de la table lors de la période d’agrégation.

THROUGHPUT_RPS

NUMBER

Débit de la table pour la période d’agrégation en nombre d’enregistrements par seconde (RPS).

DATA_SOURCE_NAME

VARCHAR

Nom de la source de données à laquelle appartient la table.

SCHEMA_NAME

VARCHAR

Nom du schéma de la table.

SOURCE_TABLE_NAME

VARCHAR

Nom de la table.

Affichage des vues expérimentales

Le connecteur propose plusieurs vues supplémentaires contenant des informations de bas niveau sur l’état du connecteur et prend en charge le suivi de l’historique des changements d’état. Vous trouverez ces vues dans le schéma PUBLIC, leurs noms commençant par le préfixe EXPERIMENTAL.

Le tableau suivant résume les vues expérimentales actuellement disponibles :

Nom de la vue

Description

EXPERIMENTAL_TABLE_REPLICATION_HISTORY

Historique des changements d’état de toutes les tables sources activées dans le connecteur.

EXPERIMENTAL_DATA_SOURCE_REPLICATION_HISTORY

Historique des changements d’état de toutes les sources de données configurées dans le connecteur.

EXPERIMENTAL_EVENTS_HISTORY

Historique de tous les événements survenus dans le connecteur.

Note

Les vues expérimentales sont susceptibles de changer et peuvent être modifiées ou retirées dans les futures versions du connecteur.

Affichage de la vue du journal d’audit du connecteur

Pour afficher le journal d’audit des actions des utilisateurs dans le connecteur, interrogez la vue PUBLIC.AUDIT_LOG :

SELECT * FROM PUBLIC.AUDIT_LOG;
Copy

La vue PUBLIC.AUDIT_LOG affiche une ligne pour chaque action initiée par l’utilisateur enregistrée par le connecteur.

La vue se compose des colonnes suivantes :

Nom de la colonne

Type de données

Description

ACTION_TIME

TIMESTAMP_NTZ

Moment où l’action s’est produite.

ACTION_TYPE

VARCHAR

Type d’action.

PARAMETERS

VARIANT

Paramètres supplémentaires de l’action.

Les actions enregistrées dans cette vue sont :

  • Source de données ajoutée

  • Réplication de table activée

  • Réplication de table désactivée

  • Réplication planifiée activée pour la source de données

  • Réplication planifiée désactivée pour la source de données

Affichage de la vue du journal d’audit de l’agent

Pour afficher le journal d’audit des actions de l’agent dans le connecteur, interrogez la vue PUBLIC.AGENT_AUDIT_LOG :

SELECT * FROM PUBLIC.AGENT_AUDIT_LOG;
Copy

La vue PUBLIC.AGENT_AUDIT_LOG affiche une ligne pour chaque action signalée par l’agent enregistrée par le connecteur.

La vue se compose des colonnes suivantes :

Nom de la colonne

Type de données

Description

ACTION_TIME

TIMESTAMP_NTZ

Moment où l’action s’est produite.

ACTION_TYPE

VARCHAR

Type d’action.

PARAMETERS

VARIANT

Paramètres supplémentaires de l’action.

Les actions affichées dans cette vue sont :

  • Agent affecté à la source de données

  • Annulation de l’affectation de l’Agent de la source de données

  • Agent enregistré

  • Annulation de l’enregistrement de l’Agent

  • Chargement instantané démarré

  • Chargement instantané terminé

  • Échec de chargement instantané

  • Chargement instantané résilié

  • Introspection de schéma correctement effectuée

  • Échec d’introspection de schéma

  • Chargement incrémentiel démarré

  • Chargement incrémentiel arrêté

  • Échec de chargement incrémentiel

  • Chargement incrémentiel résilié

  • Changement de schéma signalé

Affichage des journaux du connecteur

Pour afficher les journaux du connecteur, interrogez la table d’événements que vous avez créée lors de la configuration de la vue du journal du connecteur.

Pour afficher le journal d’audit des actions de l’agent dans le connecteur, interrogez la vue PUBLIC.AGENT_AUDIT_LOG :

SELECT * FROM PUBLIC.AGENT_AUDIT_LOG;
Copy

La vue PUBLIC.AGENT_AUDIT_LOG affiche une ligne pour chaque action signalée par l’agent enregistrée par le connecteur.

La vue se compose des colonnes suivantes :

Nom de la colonne

Type de données

Description

ACTION_TIME

TIMESTAMP_NTZ

Moment où l’action s’est produite.

ACTION_TYPE

VARCHAR

Type d’action.

PARAMETERS

VARIANT

Paramètres supplémentaires de l’action.

Les actions affichées dans cette vue sont :

  • Agent affecté à la source de données

  • Annulation de l’affectation de l’Agent de la source de données

  • Agent enregistré

  • Annulation de l’enregistrement de l’Agent

  • Chargement instantané démarré

  • Chargement instantané terminé

  • Échec de chargement instantané

  • Chargement instantané résilié

  • Introspection de schéma correctement effectuée

  • Échec d’introspection de schéma

  • Chargement incrémentiel démarré

  • Chargement incrémentiel arrêté

  • Échec de chargement incrémentiel

  • Chargement incrémentiel résilié

  • Changement de schéma signalé

Affichage des journaux de l’agent

Lorsque l’agent est en cours d’exécution, il envoie périodiquement des journaux à Snowflake. Ces journaux sont disponibles dans la vue AGENT_LOGS et peuvent être récupérés à l’aide de la requête suivante :

SELECT * FROM PUBLIC.AGENT_LOGS;
Copy

Prochaines étapes

Si nécessaire, et après avoir terminé ces procédures, passez en revue les étapes à la section Résolution des problèmes du Snowflake Connector for MySQL.

Langage: Français