Modelo de ingestão de dados para o Snowflake Connector for Google Analytics Raw Data¶

Google Analytics para exportação de BigQuery¶

O Google Analytics oferece suporte a dois tipos de exportações BigQuery:

• Diariamente: o Google Analytics exporta dados para tabelas denominadas events_XXXXXX. As tabelas são criadas uma vez por dia, após o fim do dia, uma vez coletados todos os eventos de um determinado dia.

• Streaming: o Google Analytics exporta dados continuamente ao longo do dia e os armazena em uma tabela chamada events_intraday_XXXXXX.

O conector oferece suporte a ambos os tipos de exportação e baixa automaticamente todas as tabelas encontradas em BigQuery, independentemente de serem diárias ou intradiárias. Nenhuma configuração adicional é necessária.

Tabelas do coletor¶

Para cada propriedade, o conector salva os eventos em tabelas específicas da propriedade, que são criadas em um banco de dados e em um esquema fornecido na configuração do conector. Para cada uma das propriedades são criadas duas tabelas: uma para exportação diária e outra para exportação intradiária, denominadas ANALYTICS_XXXXXXXXX e ANALYTICS_INTRADAY_XXXXXXXXX respectivamente. Quando os dois tipos de exportação são configurados no Google Analytics, o conector ingere ambas as tabelas: primeiro a tabela intradiária e depois a tabela diária.

Ingestão diária da tabela¶

O conector baixa a tabela inteira em uma única execução quando reconhece que a tabela está presente em BigQuery. Depois que a tabela for baixada, ela nunca será reconsiderada para processamento futuro. O Google alerta que as tabelas diárias podem ser atualizadas até 72 horas após a criação da tabela. A versão atual do conector não oferece suporte à reflexão desse tipo de atualização nas tabelas de coletores.

Ingestão intradiária¶

O conector oferece suporte ao download de tabelas intradiárias históricas (se estiverem presentes em BigQuery) e a ingestão contínua de tabelas intradiárias que ainda recebem atualizações.

Nos últimos dias, o conector baixa tabelas intradiárias da mesma forma que faz com as diárias – cada tabela é baixada inteira, uma tabela por vez, até que o processo chegue aos dados do dia atual.

Quando o conector reconhece que uma tabela intradiária é a última em BigQuery, ele começa a processar a tabela de forma incremental. Isso significa que ele baixa lotes de dados recebidos da tabela ao longo do dia, em um intervalo constante, que é de 8 horas por padrão.

Quando qualquer uma das seguintes condições for atendida:

• Uma tabela do dia seguinte apareceu no conjunto de dados BigQuery

• 24 horas se passaram desde o primeiro carregamento da tabela fornecida

o conector faz uma ingestão final para a tabela intradiária fornecida e alterna para a próxima.

Use CONFIGURE_INGESTION_INTERVAL para alterar o valor do intervalo padrão se precisar de atualizações mais frequentes.