Monitoramento do Snowflake Connector for MySQL¶

Nota

O Snowflake Connector for MySQL está sujeito aos Termos do conector.

As seções a seguir descrevem como monitorar o conector consultando exibições e examinando arquivos de log:

Visualização de informações gerais sobre o conector
Exibição de fontes de dados
Exibição do estado de replicação de fontes de dados
Exibição do estado de replicação das tabelas de origem
Exibição do histórico de versão do esquema da tabela
Exibição de métricas do conector
Exibição das métricas agregadas do conector
Visualização de exibições experimentais
Visualização da exibição do log de auditoria do conector
Visualização da exibição do log de auditoria do agente
Visualização dos logs do conector
Visualização dos logs do agente

Visualização de informações gerais sobre o conector¶

Para exibir informações gerais sobre o conector, execute o comando DESCRIBE APPLICATION:

DESCRIBE APPLICATION <app_db_name>;
Copy
Onde:

app_db_name
Especifica o nome do banco de dados do conector.

Para exibir informações mais específicas sobre o conector, consulte a exibição PUBLIC.CONNECTOR_CONFIGURATION:

SELECT * FROM PUBLIC.CONNECTOR_CONFIGURATION;

Copy

Para PUBLIC.CONNECTOR_CONFIGURATION exibir uma linha para cada parâmetro configurado para o conector.

A tabela a seguir descreve esses parâmetros:

Parâmetro	Descrição
alertingLogsView	Se você habilitou notificações por e-mail, isso especifica o nome da exibição que fornece acesso à tabela de evento.
alertingNotificationIntegration	Se você habilitou notificações por e-mail, isso especifica o nome do objeto de integração de notificação usado para notificações por e-mail.
alertingRecipients	Se você habilitou notificações por e-mail, isso especifica a lista de endereços de e-mail (separados por vírgulas) que podem receber notificações por e-mail do conector.
alertingSchedule	Se você habilitou notificações por e-mail, isso especifica o cronograma ou a frequência na qual o conector deve verificar se há erros e enviar uma notificação.
operational_warehouse	Nome do warehouse operacional usado pelo conector.
warehouse	Nome do warehouse de computação para mesclagem de dados.

Exibição de fontes de dados¶

Para exibir informações sobre fontes de dados, consulte a exibição PUBLIC.DATA_SOURCES:

SELECT * FROM PUBLIC.DATA_SOURCES;

Copy

A exibição PUBLIC.DATA_SOURCES mostra uma linha para cada fonte de dados configurada para o conector. A exibição consiste nas seguintes colunas:

Nome da coluna	Tipo de dados	Descrição
NAME	VARCHAR	Nome da fonte de dados.
SCHEDULE	VARCHAR	Cronograma para execução da replicação. Exibe NULL se a replicação agendada dessa fonte de dados estiver desabilitada.
DESTINATION_DB_NAME	VARCHAR	Nome do banco de dados de destino.

Exibição do estado de replicação de fontes de dados¶

Para exibir o estado atual de replicação das fontes de dados, consulte a exibição PUBLIC.DATA_SOURCE_REPLICATION_STATE:

SELECT * FROM PUBLIC.DATA_SOURCE_REPLICATION_STATE;

Copy

A exibição PUBLIC.DATA_SOURCE_REPLICATION_STATE mostra uma linha para cada fonte de dados configurada no conector. A exibição consiste nas seguintes colunas:

Nome da coluna	Tipo de dados	Descrição
NAME	VARCHAR	Nome da fonte de dados.
TABLES_ADDED_COUNT	NUMBER	Número de tabelas replicadas ativamente nesta fonte de dados. Este número não inclui tabelas para as quais a replicação falhou permanentemente.
CONNECTED_AGENT_ID	VARCHAR	ID do aplicativo do agente atribuído à fonte de dados.
SCHEDULE	VARCHAR	Cronograma para execução da replicação. Exibe NULL se a replicação agendada dessa fonte de dados estiver desabilitada.
REPLICATION_STATUS	VARCHAR	Status de replicação da fonte de dados. Possíveis valores: `WAITING` `ONGOING`
PREVIOUS_SCHEDULED_RUN_STATUS	VARCHAR	Status da replicação agendada anterior. Exibe NULL se a replicação agendada dessa fonte de dados estiver desabilitada. Possíveis valores: `DONE` `WARNING`
PREVIOUS_RUN_FINISHED_AT	TIMESTAMP_NTZ	Carimbo de data/hora do fim da última replicação agendada. Exibe NULL se a replicação agendada dessa fonte de dados estiver desabilitada.

Exibição do estado de replicação das tabelas de origem¶

Para exibir o estado atual de replicação de cada tabela de origem, consulte a exibição PUBLIC.REPLICATION_STATE:

SELECT * FROM PUBLIC.REPLICATION_STATE;

Copy

A exibição PUBLIC.REPLICATION_STATE mostra uma linha para cada tabela de origem. A exibição consiste nas seguintes colunas:

Nome da coluna	Tipo de dados	Descrição
DATA_SOURCE_NAME	VARCHAR	Nome da fonte de dados com a tabela de origem
SCHEMA_NAME	VARCHAR	Nome do esquema da tabela de origem
TABLE_NAME	VARCHAR	Nome da tabela de origem
REPLICATION_PHASE	VARCHAR	Fase de replicação atual. Possíveis valores: `SCHEMA_INTROSPECTION` `INITIAL_LOAD` `INCREMENTAL_LOAD` Para descrições de cada status, consulte Fases de replicação.
SCHEMA_INTROSPECTION_STATUS	VARCHAR	Status atual da introspecção de esquema. Possíveis valores: `WAITING` `IN_PROGRESS` `DONE` `RETRYING` `FAILED`
SNAPSHOT_REPLICATION_STATUS	VARCHAR	Status atual da replicação de instantâneo. Possíveis valores: `WAITING` `IN_PROGRESS` `DONE` `RETRYING` `FAILED`
INCREMENTAL_REPLICATION_STATUS	VARCHAR	Status atual da replicação incremental. Possíveis valores: `WAITING` `IN_PROGRESS` `DONE` `RETRYING` `FAILED`

Fases de replicação¶

A replicação de cada uma das tabelas de origem pode ocorrer nas seguintes fases de replicação:

Fase de replicação	Descrição
`SCHEMA_INTROSPECTION`	O esquema da tabela de origem está sendo verificado. Uma vez concluída esta fase, a tabela de destino é criada.
`INITIAL_LOAD`	O conector está processando o carregamento de instantâneo para a tabela de origem.
`INCREMENTAL_LOAD`	O carregamento inicial foi concluído e os dados estão sendo replicados usando o processo de captura de dados de alteração.

Nota

É possível iniciar as replicações de FAILED do início removendo a tabela da replicação e adicionando-a novamente, conforme descrito em Configuração de replicação para o Snowflake Connector for MySQL.

Exibição do histórico de versão do esquema da tabela¶

Para exibir o histórico de alterações no esquema da tabela PUBLIC.SCHEMA_CHANGE_HISTORY, consulte a exibição usando um comando semelhante a:

SELECT * FROM PUBLIC.SCHEMA_CHANGE_HISTORY;

Copy

A exibição PUBLIC.SCHEMA_CHANGE_HISTORY mostra uma ou duas linhas para cada versão de esquema válida da tabela.

A exibição consiste nas seguintes colunas:

Nome da coluna	Tipo de dados	Descrição
DATA_SOURCE_NAME	VARCHAR	Nome da fonte de dados da tabela de origem.
SCHEMA_NAME	VARCHAR	Nome do esquema da tabela de origem.
TABLE_NAME	VARCHAR	Nome da tabela de origem.
VERSION	INTEGER	Identificador da versão do esquema, inicialmente 0, e incrementado em 1 a cada alteração do esquema. A numeração reinicia do zero se a tabela for removida e adicionada novamente posteriormente.
STATE	VARCHAR	Uma das opções: ACCEPTED: a alteração do esquema é válida, mas ainda não foi aplicada à tabela de destino. APPLIED: a alteração do esquema já foi aplicada à tabela de destino. Inicialmente, no início da replicação, contém apenas uma única linha com o valor APPLIED. Após as alterações de esquema válidas subsequentes, serão incluídas duas linhas: uma com state=ACCEPTED e outra com state=APPLIED.
SOURCE_SCHEMA	VARIANT	JSON descrevendo o esquema da tabela de origem.
DESTINATION_TABLE_SCHEMA	VARIANT	JSON descrevendo o esquema da tabela de destino após esta versão do esquema ser aplicada.
INSERTED_AT	TIMESTAMP_NTZ	Carimbo de data/hora UTC de quando este registro foi inserido.

Exibição de métricas do conector¶

Para exibir as métricas de replicação do conector, consulte a exibição PUBLIC.CONNECTOR_STATS:

SELECT * FROM PUBLIC.CONNECTOR_STATS;

Copy

A exibição PUBLIC.CONNECTOR_STATS mostra uma linha para cada fusão periódica de dados na tabela de destino durante a fase de replicação de carregamento incremental.

Nota

A primeira execução de uma determinada tabela nesta exibição será mais longa e maior do que uma execução posterior típica. Isso ocorre porque o conector reúne atualizações incrementais nas tabelas durante a fase de carregamento inicial, mas as processa somente depois que toda a tabela foi replicada.

A exibição consiste nas seguintes colunas:

Nome da coluna	Tipo de dados	Descrição
RESOURCE_INGESTION_DEFINITION_ID	VARCHAR	Identificador de uma tabela replicada construída a partir do nome da fonte de dados, nome do esquema e nome da tabela.
INGESTION_CONFIGURATION_ID	VARCHAR	Coluna interna para futuras integrações.
INGESTION_PROCESS_ID	VARCHAR	ID do processo de fusão.
INGESTION_DEFINITION_NAME	VARCHAR	Coluna interna para futuras integrações.
DATA_SOURCE_NAME	VARCHAR	Nome da fonte de dados à qual a tabela pertence.
SCHEMA_NAME	VARCHAR	Nome do esquema da tabela.
RESOURCE_NAME	VARCHAR	Nome da tabela.
STARTED_AT	TIMESTAMP_NTZ	Hora em que o primeiro registro do lote de registros fundidos na tabela de destino foi lido do banco de dados de origem.
STATUS	VARCHAR	Status do processo de fusão. Possíveis valores: `FINISHED` `FAILED`
INGESTED_ROWS	NUMBER	Número de linhas fundidas no lote
INGESTION_DURATION_S	NUMBER	Tempo de processamento em lote em segundos calculado como diferença entre o primeiro registro observado e o lote de registros mesclados na tabela de destino.
NATIVE_APP_PROCESSING_DURATION_S	NUMBER	Duração em segundos do processamento de dados no lado do Snowflake.
AGENT_PROCESSING_DURATION_S	NUMBER	Duração em segundos do processamento de dados no lado do agente.
THROUGHPUT_RPS	NUMBER	Taxa de transferência do conector em registros por segundo (RPS). Leva em conta o tempo total de processamento.
NATIVE_APP_THROUGHPUT_RPS	NUMBER	Taxa de transferência do processamento de dados no lado do Snowflake em registros por segundo (RPS).

Exibição das métricas agregadas do conector¶

Para exibir as métricas de replicação do conector, consulte a exibição PUBLIC.AGGREGATED_CONNECTOR_STATS:

SELECT * FROM PUBLIC.AGGREGATED_CONNECTOR_STATS;

Copy

A exibição PUBLIC.AGGREGATED_CONNECTOR_STATS mostra as métricas do conector agregadas por hora. Colunas adicionais com nome da fonte de dados, nome do esquema e nome da tabela são fornecidas para agregações e análises adicionais.

A exibição consiste nas seguintes colunas:

Nome da coluna	Tipo de dados	Descrição
DATE	DATE	Data da agregação, por hora.
PROCESSED_ROWS_COUNT	NUMBER	Soma de linhas ingeridas para a tabela durante o tempo de agregação.
THROUGHPUT_RPS	NUMBER	Taxa de transferência da tabela para o tempo agregado em registros por segundo (RPS).
DATA_SOURCE_NAME	VARCHAR	Nome da fonte de dados à qual a tabela pertence.
SCHEMA_NAME	VARCHAR	Nome do esquema da tabela.
SOURCE_TABLE_NAME	VARCHAR	Nome da tabela.

Visualização de exibições experimentais¶

O conector vem com várias visualizações adicionais com informações de baixo nível sobre o estado do conector e oferece suporte ao rastreamento do histórico de alterações de estado. Essas visualizações são encontradas no esquema PUBLIC com nomes que começam com o prefixo EXPERIMENTAL.

A tabela a seguir resume as exibições experimentais disponíveis atualmente:

Nome da exibição	Descrição
EXPERIMENTAL_TABLE_REPLICATION_HISTORY	Um histórico de alterações de estado para todas as tabelas de origem habilitadas no conector.
EXPERIMENTAL_DATA_SOURCE_REPLICATION_HISTORY	Um histórico de alterações de estado para todas as fontes de dados configuradas no conector.
EXPERIMENTAL_EVENTS_HISTORY	Um histórico de todos os eventos que ocorreram no conector.

Nota

As exibições experimentais estão sujeitas a alterações e podem ser modificadas ou removidas em versões futuras do conector.

Visualização da exibição do log de auditoria do conector¶

Para exibir o log de auditoria das ações do usuário no conector, consulte a exibição PUBLIC.AUDIT_LOG:

SELECT * FROM PUBLIC.AUDIT_LOG;

Copy

A exibição PUBLIC.AUDIT_LOG mostra uma linha para cada ação iniciada pelo usuário registrada pelo conector.

A exibição consiste nas seguintes colunas:

Nome da coluna	Tipo de dados	Descrição
ACTION_TIME	TIMESTAMP_NTZ	Hora em que a ação aconteceu.
ACTION_TYPE	VARCHAR	Tipo de ação.
PARAMETERS	VARIANT	Parâmetros adicionais da ação.

As ações registradas nesta exibição são:

Fonte de dados adicionada

Replicação de tabela habilitada

Replicação de tabela desabilitada

Replicação agendada habilitada para fonte de dados

Replicação agendada desabilitada para fonte de dados

Visualização da exibição do log de auditoria do agente¶

Para exibir o log de auditoria das ações do agente no conector, consulte a exibição PUBLIC.AGENT_AUDIT_LOG:

SELECT * FROM PUBLIC.AGENT_AUDIT_LOG;

Copy

A exibição PUBLIC.AGENT_AUDIT_LOG mostra uma linha para cada ação relatada pelo agente registrada pelo conector.

A exibição consiste nas seguintes colunas:

Nome da coluna	Tipo de dados	Descrição
ACTION_TIME	TIMESTAMP_NTZ	Hora em que a ação aconteceu.
ACTION_TYPE	VARCHAR	Tipo de ação.
PARAMETERS	VARIANT	Parâmetros adicionais da ação.

As ações mostradas nesta exibição são:

Agente atribuído à fonte de dados

Agente não atribuído da fonte de dados

Agente registrado

Agente não registrado

Carregamento de instantâneo iniciado

Carregamento de instantâneo concluído

Falha no carregamento de instantâneo

Carregamento de instantâneo encerrado

Introspecção de esquema bem-sucedida

Falha na introspecção de esquema

Carregamento incremental iniciado

Carregamento incremental interrompido

Falha no carregamento incremental

Carregamento incremental encerrado

Alteração de esquema relatada

Visualização dos logs do conector¶

Para exibir os logs do conector, consulte a tabela de evento que você criou ao configurar a exibição de log do conector.

Para exibir o log de auditoria das ações do agente no conector, consulte a exibição PUBLIC.AGENT_AUDIT_LOG:

SELECT * FROM PUBLIC.AGENT_AUDIT_LOG;

Copy

A exibição PUBLIC.AGENT_AUDIT_LOG mostra uma linha para cada ação relatada pelo agente registrada pelo conector.

A exibição consiste nas seguintes colunas:

Nome da coluna	Tipo de dados	Descrição
ACTION_TIME	TIMESTAMP_NTZ	Hora em que a ação aconteceu.
ACTION_TYPE	VARCHAR	Tipo de ação.
PARAMETERS	VARIANT	Parâmetros adicionais da ação.

As ações mostradas nesta exibição são:

Agente atribuído à fonte de dados

Agente não atribuído da fonte de dados

Agente registrado

Agente não registrado

Carregamento de instantâneo iniciado

Carregamento de instantâneo concluído

Falha no carregamento de instantâneo

Carregamento de instantâneo encerrado

Introspecção de esquema bem-sucedida

Falha na introspecção de esquema

Carregamento incremental iniciado

Carregamento incremental interrompido

Falha no carregamento incremental

Carregamento incremental encerrado

Alteração de esquema relatada

Visualização dos logs do agente¶

Quando o agente está em execução, ele envia logs periodicamente para o Snowflake. Esses logs estão disponíveis na exibição AGENT_LOGS e podem ser recuperados usando a seguinte consulta:
SELECT * FROM PUBLIC.AGENT_LOGS;
Copy

Próximos passos¶

Se necessário, e após concluir esses procedimentos, revise as etapas em Solução de problemas do Snowflake Connector for MySQL.