Überwachen des Snowflake Connector for MySQL¶

Bemerkung

Der Snowflake Connector for MySQL unterliegt den Nutzungsbedingungen für Konnektoren.

In den folgenden Abschnitten wird beschrieben, wie Sie den Konnektor überwachen können, indem Sie Ansichten abfragen und Protokolldateien untersuchen:

Allgemeine Informationen über den Konnektor anzeigen
Anzeigen von Datenquellen
Ansicht des Replikationsstatus von Datenquellen
Anzeige des Replikationsstatus von Quelltabellen
Versionsverlauf des Tabellenschemas anzeigen
Anzeigen von Konnektor-Kennzahlen
Anzeigen von aggregierten Konnektor-Kennzahlen
Experimentelle Ansichten anzeigen
Ansicht des Überwachungsprotokolls des Konnektors
Ansicht des Überwachungsprotokolls des Agenten anzeigen
Anzeigen der Konnektor-Protokolle
Anzeige der Agentenprotokolle

Allgemeine Informationen über den Konnektor anzeigen¶

Um allgemeine Informationen über den Konnektor anzuzeigen, führen Sie den Befehl DESCRIBE APPLICATION aus:

DESCRIBE APPLICATION <app_db_name>;
Copy
Wobei:

app_db_name
Gibt den Namen der Datenbank des Konnektors an.

Um genauere Informationen über den Konnektor anzuzeigen, fragen Sie die Ansicht PUBLIC.CONNECTOR_CONFIGURATION ab:

SELECT * FROM PUBLIC.CONNECTOR_CONFIGURATION;

Copy

Die Ansicht PUBLIC.CONNECTOR_CONFIGURATION zeigt eine Zeile für jeden für den Konnektor konfigurierten Parameter an.

Die folgende Tabelle beschreibt diese Parameter:

Parameter	Beschreibung
alertingLogsView	Wenn Sie E-Mail-Benachrichtigungen aktiviert haben, wird hier der Name der Ansicht angegeben, die den Zugriff auf die Ereignistabelle ermöglicht.
alertingNotificationIntegration	Wenn Sie E-Mail-Benachrichtigungen aktiviert haben, wird hier der Name des Benachrichtigungsintegrationsobjekts angegeben, das für E-Mail-Benachrichtigungen verwendet wird.
alertingRecipients	Wenn Sie E-Mail-Benachrichtigungen aktiviert haben, wird hier die Liste der E-Mail-Adressen (durch Kommas getrennt) angegeben, die E-Mail-Benachrichtigungen vom Konnektor erhalten können.
alertingSchedule	Wenn Sie E-Mail-Benachrichtigungen aktiviert haben, geben Sie hier den Zeitplan oder die Häufigkeit an, mit der der Konnektor auf Fehler prüfen und eine Benachrichtigung senden soll.
operational_warehouse	Name des operativen Warehouse, das vom Konnektor verwendet wird.
warehouse	Name des Compute-Warehouse für die Zusammenführung von Daten.

Anzeigen von Datenquellen¶

Um Informationen über Datenquellen anzuzeigen, fragen Sie die Ansicht PUBLIC.DATA_SOURCES ab:

SELECT * FROM PUBLIC.DATA_SOURCES;

Copy

Die Ansicht PUBLIC.DATA_SOURCES zeigt eine Zeile für jede für den Konnektor konfigurierte Datenquelle an. Die Ansicht besteht aus den folgenden Spalten:

Spaltenname	Datentyp	Beschreibung
NAME	VARCHAR	Name der Datenquelle.
SCHEDULE	VARCHAR	Zeitplan für die Ausführung der Replikation. Zeigt NULL an, wenn die geplante Replikation dieser Datenquelle deaktiviert ist.
DESTINATION_DB_NAME	VARCHAR	Name der Zieldatenbank.

Ansicht des Replikationsstatus von Datenquellen¶

Um den aktuellen Stand der Replikation von Datenquellen anzuzeigen, fragen Sie die Ansicht PUBLIC.DATA_SOURCE_REPLICATION_STATE ab:

SELECT * FROM PUBLIC.DATA_SOURCE_REPLICATION_STATE;

Copy

Die Ansicht PUBLIC.DATA_SOURCE_REPLICATION_STATE zeigt eine Zeile für jede im Konnektor konfigurierte Datenquelle an. Die Ansicht besteht aus den folgenden Spalten:

Spaltenname	Datentyp	Beschreibung
NAME	VARCHAR	Name der Datenquelle.
TABLES_ADDED_COUNT	NUMBER	Anzahl der aktiv replizierten Tabellen in dieser Datenquelle. Diese Zahl enthält keine Tabellen, bei denen die Replikation dauerhaft fehlgeschlagen ist.
CONNECTED_AGENT_ID	VARCHAR	ID der Agentenanwendung, die der Datenquelle zugewiesen ist.
SCHEDULE	VARCHAR	Zeitplan für die Ausführung der Replikation. Zeigt NULL an, wenn die geplante Replikation dieser Datenquelle deaktiviert ist.
REPLICATION_STATUS	VARCHAR	Status der Replikation der Datenquelle. Mögliche Werte: `WAITING` `ONGOING`
PREVIOUS_SCHEDULED_RUN_STATUS	VARCHAR	Status der letzten geplanten Replikation. Zeigt NULL an, wenn die geplante Replikation dieser Datenquelle deaktiviert ist. Mögliche Werte: `DONE` `WARNING`
PREVIOUS_RUN_FINISHED_AT	TIMESTAMP_NTZ	Zeitstempel für das Ende der letzten geplanten Replikation. Zeigt NULL an, wenn die geplante Replikation dieser Datenquelle deaktiviert ist.

Anzeige des Replikationsstatus von Quelltabellen¶

Um den aktuellen Replikationsstatus der einzelnen Quelltabellen anzuzeigen, fragen Sie die Ansicht PUBLIC.REPLICATION_STATE ab:

SELECT * FROM PUBLIC.REPLICATION_STATE;

Copy

In der Ansicht PUBLIC.REPLICATION_STATE wird für jede Quelltabelle eine Zeile angezeigt. Die Ansicht besteht aus den folgenden Spalten:

Spaltenname	Datentyp	Beschreibung
DATA_SOURCE_NAME	VARCHAR	Name der Datenquelle, die die Quelltabelle enthält
SCHEMA_NAME	VARCHAR	Name des Schemas der Quelltabelle
TABLE_NAME	VARCHAR	Name der Quelltabelle
REPLICATION_PHASE	VARCHAR	Aktuelle Replikationsphase. Mögliche Werte: `SCHEMA_INTROSPECTION` `INITIAL_LOAD` `INCREMENTAL_LOAD` Eine Beschreibung der einzelnen Status finden Sie unter Die Phasen der Replikation verstehen.
SCHEMA_INTROSPECTION_STATUS	VARCHAR	Aktueller Status der Schema-Introspektion. Mögliche Werte: `WAITING` `IN_PROGRESS` `DONE` `RETRYING` `FAILED`
SNAPSHOT_REPLICATION_STATUS	VARCHAR	Aktueller Replikationsstatus des Snapshots. Mögliche Werte: `WAITING` `IN_PROGRESS` `DONE` `RETRYING` `FAILED`
INCREMENTAL_REPLICATION_STATUS	VARCHAR	Aktueller Status der inkrementellen Replikation. Mögliche Werte: `WAITING` `IN_PROGRESS` `DONE` `RETRYING` `FAILED`

Die Phasen der Replikation verstehen¶

Die Replikation der einzelnen Quelltabellen kann in den folgenden Replikationsphasen erfolgen:

Phase der Replikation	Beschreibung
`SCHEMA_INTROSPECTION`	Das Schema der Quelltabelle wird überprüft. Sobald diese Phase abgeschlossen ist, wird die Zieltabelle erstellt.
`INITIAL_LOAD`	Der Konnektor verarbeitet den Snapshot Load für die Quelltabelle.
`INCREMENTAL_LOAD`	Das erste Laden ist erfolgt, die Daten werden mithilfe der Änderungsdatenerfassung repliziert.

Bemerkung

Sie können FAILED Replikationen von Anfang an starten, indem Sie die Tabelle aus der Replikation entfernen und erneut hinzufügen, wie unter Konfigurieren der Replikation für Snowflake Connector for MySQL beschrieben.

Versionsverlauf des Tabellenschemas anzeigen¶

Um den Änderungsverlauf des Tabellenschemas anzuzeigen, fragen Sie die Ansicht PUBLIC.SCHEMA_CHANGE_HISTORY mit einem Befehl ähnlich dem folgenden ab:

SELECT * FROM PUBLIC.SCHEMA_CHANGE_HISTORY;

Copy

Die Ansicht PUBLIC.SCHEMA_CHANGE_HISTORY zeigt eine oder zwei Zeilen für jede gültige Version des Tabellenschemas an.

Die Ansicht besteht aus den folgenden Spalten:

Spaltenname	Datentyp	Beschreibung
DATA_SOURCE_NAME	VARCHAR	Name der Datenquelle für die Quelltabelle.
SCHEMA_NAME	VARCHAR	Name des Schemas der Quelltabelle.
TABLE_NAME	VARCHAR	Name der Quelltabelle.
VERSION	INTEGER	Bezeichner der Schemaversion, der anfänglich 0 ist und bei jeder Änderung des Schemas um 1 erhöht wird. Die Nummerierung beginnt wieder bei Null, wenn die Tabelle entfernt und später wieder hinzugefügt wird.
STATE	VARCHAR	eine der folgenden Optionen: ACCEPTED: Schemaänderung ist gültig, muss aber noch auf die Zieltabelle angewendet werden. APPLIED: Schemaänderung wurde bereits auf die Zieltabelle angewendet. Zu Beginn der Replikation ist nur eine einzige Zeile mit dem Wert APPLIED enthalten. Nach den nachfolgenden gültigen Schemaänderungen wird es zwei Zeilen geben – eine mit state=ACCEPTED und eine mit state=APPLIED.
SOURCE_SCHEMA	VARIANT	JSON beschreibt das Schema der Quelltabelle.
DESTINATION_TABLE_SCHEMA	VARIANT	JSON beschreibt das Schema der Zieltabelle, nachdem diese Schemaversion angewendet wurde.
INSERTED_AT	TIMESTAMP_NTZ	UTC-Zeitstempel, wann dieser Datensatz eingefügt wurde.

Anzeigen von Konnektor-Kennzahlen¶

Um die Kennzahlen für die Replikation des Konnektors anzuzeigen, fragen Sie die Ansicht PUBLIC.CONNECTOR_STATS ab:

SELECT * FROM PUBLIC.CONNECTOR_STATS;

Copy

Die Ansicht PUBLIC.CONNECTOR_STATS zeigt eine Zeile für jede periodische Zusammenführung von Daten in die Zieltabelle während der Phase der inkrementellen Replikation an.

Bemerkung

Der erste Durchlauf für eine bestimmte Tabelle in dieser Ansicht wird länger und größer sein als ein typischer späterer Durchlauf. Das liegt daran, dass der Konnektor inkrementelle Aktualisierungen von Tabellen während der anfänglichen Ladephase sammelt, sie aber erst verarbeitet, nachdem die gesamte Tabelle repliziert wurde.

Die Ansicht besteht aus den folgenden Spalten:

Spaltenname	Datentyp	Beschreibung
RESOURCE_INGESTION_DEFINITION_ID	VARCHAR	Bezeichner einer replizierten Tabelle, der aus dem Namen der Datenquelle, dem Namen des Schemas und dem Tabellennamen gebildet wird.
INGESTION_CONFIGURATION_ID	VARCHAR	Interne Spalte für zukünftige Integrationen.
INGESTION_PROCESS_ID	VARCHAR	ID des Zusammenführungsprozesses.
INGESTION_DEFINITION_NAME	VARCHAR	Interne Spalte für zukünftige Integrationen.
DATA_SOURCE_NAME	VARCHAR	Name der Datenquelle, zu der die Tabelle gehört.
SCHEMA_NAME	VARCHAR	Name des Tabellenschemas.
RESOURCE_NAME	VARCHAR	Tabellenname.
STARTED_AT	TIMESTAMP_NTZ	Zeitpunkt, zu dem der erste Datensatz des Batches von Datensätzen, die in der Zieltabelle zusammengeführt wurden, aus der Quelldatenbank gelesen wurde.
STATUS	VARCHAR	Status des Zusammenführungsprozesses. Mögliche Werte: `FINISHED` `FAILED`
INGESTED_ROWS	NUMBER	Anzahl der zusammengeführten Zeilen im Batch
INGESTION_DURATION_S	NUMBER	Batch-Verarbeitungszeit in Sekunden, berechnet als Differenz zwischen dem ersten beobachteten Datensatz und dem Batch von Datensätzen, die in der Zieltabelle zusammengeführt werden.
NATIVE_APP_PROCESSING_DURATION_S	NUMBER	Dauer der Datenverarbeitung auf Snowflake-Seite in Sekunden.
AGENT_PROCESSING_DURATION_S	NUMBER	Dauer der Datenverarbeitung auf Agentenseite in Sekunden.
THROUGHPUT_RPS	NUMBER	Durchsatz des Konnektors in Datensätzen pro Sekunde (RPS). Berücksichtigt die gesamte Bearbeitungszeit.
NATIVE_APP_THROUGHPUT_RPS	NUMBER	Durchsatz der Datenverarbeitung auf Snowflake-Seite in Datensätzen pro Sekunde (RPS).

Anzeigen von aggregierten Konnektor-Kennzahlen¶

Um die Kennzahlen für die Replikation des Konnektors anzuzeigen, fragen Sie die Ansicht PUBLIC.AGGREGATED_CONNECTOR_STATS ab:

SELECT * FROM PUBLIC.AGGREGATED_CONNECTOR_STATS;

Copy

Die Ansicht PUBLIC.AGGREGATED_CONNECTOR_STATS zeigt die Kennzahlen des Konnektors stündlich aggregiert an. Zusätzliche Spalten mit dem Namen der Datenquelle, dem Schemanamen und dem Tabellennamen stehen für weitere Aggregationen und Analysen zur Verfügung.

Die Ansicht besteht aus den folgenden Spalten:

Spaltenname	Datentyp	Beschreibung
DATE	DATE	Datum des Aggregats, stündlich.
PROCESSED_ROWS_COUNT	NUMBER	Summe der Zeilen, die für die Tabelle während der Aggregationszeit aufgenommen wurden.
THROUGHPUT_RPS	NUMBER	Durchsatz für die Tabelle für die Gesamtzeit in Datensätzen pro Sekunde (RPS).
DATA_SOURCE_NAME	VARCHAR	Name der Datenquelle, zu der die Tabelle gehört.
SCHEMA_NAME	VARCHAR	Name des Tabellenschemas.
SOURCE_TABLE_NAME	VARCHAR	Tabellenname.

Experimentelle Ansichten anzeigen¶

Der Konnektor wird mit mehreren zusätzlichen Ansichten geliefert, die Informationen über den Zustand des Konnektors enthalten und den Verlauf von Zustandsänderungen unterstützen. Diese Ansichten sind im Schema PUBLIC mit Namen zu finden, die mit dem Präfix EXPERIMENTAL beginnen.

In der folgenden Tabelle finden Sie eine Zusammenfassung der derzeit verfügbaren experimentellen Ansichten:

Name der Ansicht	Beschreibung
EXPERIMENTAL_TABLE_REPLICATION_HISTORY	Ein Verlauf der Statusänderungen für alle aktivierten Quelltabellen im Konnektor.
EXPERIMENTAL_DATA_SOURCE_REPLICATION_HISTORY	Ein Verlauf der Statusänderungen für alle konfigurierten Datenquellen im Konnektor.
EXPERIMENTAL_EVENTS_HISTORY	Ein Verlauf aller Ereignisse, die im Konnektor aufgetreten sind.

Bemerkung

Experimentelle Ansichten können sich ändern und in zukünftigen Releases des Konnektors geändert oder entfernt werden.

Ansicht des Überwachungsprotokolls des Konnektors¶

Um das Überwachungsprotokoll der Aktionen von Benutzern im Konnektor anzuzeigen, fragen Sie die Ansicht PUBLIC.AUDIT_LOG ab:

SELECT * FROM PUBLIC.AUDIT_LOG;

Copy

Die Ansicht PUBLIC.AUDIT_LOG zeigt eine Zeile für jede vom Benutzer initiierte Aktion, die vom Konnektor aufgezeichnet wurde.

Die Ansicht besteht aus den folgenden Spalten:

Spaltenname	Datentyp	Beschreibung
ACTION_TIME	TIMESTAMP_NTZ	Zeitpunkt, an dem die Aktion stattgefunden hat.
ACTION_TYPE	VARCHAR	Art der Aktion.
PARAMETERS	VARIANT	Zusätzliche Parameter der Aktion.

Die in dieser Ansicht aufgezeichneten Aktionen sind:

Datenquelle hinzugefügt

Tabellenreplikation aktiviert

Tabellenreplikation deaktiviert

Geplante Replikation für die Datenquelle aktiviert

Geplante Replikation für Datenquelle deaktiviert

Ansicht des Überwachungsprotokolls des Agenten anzeigen¶

Um das Überwachungsprotokoll der Agentenaktionen im Konnektor anzuzeigen, fragen Sie die Ansicht PUBLIC.AGENT_AUDIT_LOG ab:

SELECT * FROM PUBLIC.AGENT_AUDIT_LOG;

Copy

Die Ansicht PUBLIC.AGENT_AUDIT_LOG zeigt eine Zeile für jede vom Konnektor registrierte Aktion, die von einem Agenten gemeldet wird.

Die Ansicht besteht aus den folgenden Spalten:

Spaltenname	Datentyp	Beschreibung
ACTION_TIME	TIMESTAMP_NTZ	Zeitpunkt, an dem die Aktion stattgefunden hat.
ACTION_TYPE	VARCHAR	Art der Aktion.
PARAMETERS	VARIANT	Zusätzliche Parameter der Aktion.

In dieser Ansicht werden die folgenden Aktionen angezeigt:

Der Datenquelle zugewiesener Agent

Agent, dessen Zuweisung zur Datenquelle aufgehoben wurde

Registrierter Agent

Unregistrierter Agent

Laden des Schnappschusses gestartet

Laden des Snapshots beendet

Laden eines Snapshots fehlgeschlagen

Laden des Schnappschusses beendet

Schema-Introspektion erfolgreich

Schema-Introspektion fehlgeschlagen

Inkrementelle Belastung gestartet

Inkrementelle Belastung gestoppt

Inkrementelles Laden fehlgeschlagen

Inkrementelle Belastung beendet

Schemaänderung gemeldet

Anzeigen der Konnektor-Protokolle¶

Um die Protokolle des Konnektors anzuzeigen, fragen Sie die Ereignistabelle ab, die Sie bei der Einstellung der Protokollansicht des Konnektors erstellt haben.

Um das Überwachungsprotokoll der Agentenaktionen im Konnektor anzuzeigen, fragen Sie die Ansicht PUBLIC.AGENT_AUDIT_LOG ab:

SELECT * FROM PUBLIC.AGENT_AUDIT_LOG;

Copy

Die Ansicht PUBLIC.AGENT_AUDIT_LOG zeigt eine Zeile für jede vom Konnektor registrierte Aktion, die von einem Agenten gemeldet wird.

Die Ansicht besteht aus den folgenden Spalten:

Spaltenname	Datentyp	Beschreibung
ACTION_TIME	TIMESTAMP_NTZ	Zeitpunkt, an dem die Aktion stattgefunden hat.
ACTION_TYPE	VARCHAR	Art der Aktion.
PARAMETERS	VARIANT	Zusätzliche Parameter der Aktion.

In dieser Ansicht werden die folgenden Aktionen angezeigt:

Der Datenquelle zugewiesener Agent

Agent, dessen Zuweisung zur Datenquelle aufgehoben wurde

Registrierter Agent

Unregistrierter Agent

Laden des Schnappschusses gestartet

Laden des Snapshots beendet

Laden eines Snapshots fehlgeschlagen

Laden des Schnappschusses beendet

Schema-Introspektion erfolgreich

Schema-Introspektion fehlgeschlagen

Inkrementelle Belastung gestartet

Inkrementelle Belastung gestoppt

Inkrementelles Laden fehlgeschlagen

Inkrementelle Belastung beendet

Schemaänderung gemeldet

Anzeige der Agentenprotokolle¶

Wenn der Agent ausgeführt wird, sendet er in regelmäßigen Abständen Protokolle an Snowflake. Diese Protokolle sind in der Ansicht AGENT_LOGS verfügbar und können mit der folgenden Abfrage abgerufen werden:
SELECT * FROM PUBLIC.AGENT_LOGS;
Copy

Nächste Schritte¶

Lesen Sie bei Bedarf und nach Abschluss dieser Prozeduren die Schritte unter Problembehandlung beim Snowflake Connector for MySQL.