Configuração da ingestão de dados para seu Snowflake Connector for Google Analytics Raw Data¶
O Snowflake Conector para o Google Analytics Raw Data está sujeito aos Termos do conector.
Esta tópico descreve como acessar o Snowflake Connector for Google Analytics Raw Data em sua conta Snowflake.
Nota
Qualquer propriedade única só pode ser ingerida de um projeto do GCP de cada vez. Alterar o projeto de uma propriedade configurada anteriormente requer atualmente a reinstalação do conector. Essa limitação será removida no futuro.
Se você alterar as configurações de exportação de uma propriedade e começar a exportá-la para um local diferente do projeto do GCP, você também deverá mover manualmente os dados da instância BigQuery anterior e consolidá-la na recém-configurada.
Configuração da inserção de dados usando o Snowsight¶
Para configurar a ingestão de dados usando Snowsight, faça o seguinte:
Entre em Snowsight como um usuário com a função ACCOUNTADMIN.
No menu de navegação, selecione Data Products » Apps.
Procure o Snowflake Connector for Google Analytics Raw Data, depois selecione o bloco para o conector.
Na página do Snowflake Connector for Google Analytics Raw Data, navegue até a seção Data Sync.
Isto exibirá uma lista de todas as propriedades do Google Analytics.
Selecione as propriedades que você deseja ingerir:
Procure a propriedade que você deseja ingerir.
Selecione a caixa de seleção na coluna Status ao lado da propriedade que você deseja selecionar.
Repita essas etapas para cada propriedade você deseja ingerir no Snowflake.
Selecione o título da coluna Status para ver as propriedades que você selecionou no momento.
Selecione Start sync para começar a ingerir dados em sua conta Snowflake.
As propriedades selecionadas aparecem na lista de propriedades.
O status Data Ingestion será exibido no canto superior direito da seção Manage data synchronization.
A sincronização de dados de cada propriedade começará com um carregamento inicial, que ingere todos os dados históricos de uma propriedade e depois prossegue para a sincronização atual. Se desejar sincronizar apenas os dados atuais, você pode fazê-lo por meio de uma planilha.
Nota
Depois que uma propriedade com um carregamento inicial for habilitado, o carregamento inicial pode ser desabilitado. Por outro lado, quando a propriedade for habilitada sem um carregamento inicial, o carregamento inicial não poderá ser habilitado posteriormente.
Modificação da ingestão de dados usando o Snowsight¶
Para modificar as tabelas do Google Analytics a serem ingeridas ou o cronograma de sincronização para as tabelas, faça o seguinte:
Entre em Snowsight como um usuário com a função ACCOUNTADMIN.
No menu de navegação, selecione Data Products » Apps.
Procure o Snowflake Connector for Google Analytics Raw Data, depois selecione o bloco para o conector.
Na página do Snowflake Connector for Google Analytics Raw Data, navegue até a seção Data Sync.
Selecione Edit properties.
Modifique as tabelas que você deseja ingerir:
Procure a tabela que você deseja ingerir.
Selecione a caixa de seleção na coluna Status ao lado da tabela que você deseja selecionar ou desmarcar.
Selecione Update data sync.
Configuração da ingestão de dados usando instruções SQL¶
Para configurar a ingestão de dados usando instruções SQL, faça o seguinte:
Nota
Para definir estas configurações, use os procedimentos armazenados que são definidos no esquema PUBLIC do banco de dados que serve como instância do banco de dados da instalação do conector.
Antes de chamar esses procedimentos armazenados, selecione esse banco de dados como o banco de dados a ser utilizado para a sessão.
Por exemplo, se esse banco de dados for nomeado snowflake_connector_for_google_analytics_raw_data
, execute o seguinte comando:
USE DATABASE snowflake_connector_for_google_analytics_raw_data;
Listagem das propriedades disponíveis para ingestão¶
Para listar todas as propriedades disponíveis em um determinado projeto GCP, chame o seguinte procedimento armazenado:
CALL LIST_GA_PROPERTIES();
O resultado exibe todos os projetos e propriedades disponíveis para ingestão por uma conta autorizada. Se nenhum resultado for retornado, verifique:
Se a exportação de dados do Google Analytics para BigQuery está configurada.
Se os dados exportados estão visíveis no BigQuery.
Se as funções adequadas forem atribuídas à conta de serviço/usuário autenticado usado.
Informamos que pode levar até 24 horas entre a configuração da exportação de dados e o armazenamento dos dados no BigQuery. Esse atraso pode ser a causa do procedimento LIST_GA_PROPERTIES
não produzir resultados.
Desativar a exportação do Google Analytics não significa que a propriedade foi omitida por LIST_GA_PROPERTIES
. Mesmo que a exportação tenha sido desativada, os dados ainda podem persistir no BigQuery e podem ser sincronizados pelo conector.
Preparação do banco de dados de destino¶
Antes de ativar a ingestão, é necessário conceder ao conector acesso para criar tabelas e exibições dentro do banco de dados e do esquema de destino.
GRANT USAGE ON DATABASE <destination database> TO APPLICATION <application name>; GRANT USAGE ON SCHEMA <destination database>.<destination schema> TO APPLICATION <application name>; GRANT CREATE TABLE ON SCHEMA <destination database>.<destination schema> TO APPLICATION <application name>; GRANT CREATE VIEW ON SCHEMA <destination database>.<destination schema> TO APPLICATION <application name>;
Ativação ou desativação da ingestão de uma propriedade¶
Para ativar ou desativar a sincronização de dados para uma propriedade específica no Google Analytics, chame o procedimento armazenado ENABLE_PROPERTIES
com os seguintes argumentos:
CALL ENABLE_PROPERTIES('<gcp_project>', ['<properties_to_configure>'], <enable_initial_load>, <exclude_nulls>, <disable_auto_reloads>);
Onde:
gcp_project
Especifica o projeto GCP das propriedades ativadas.
properties_to_configure
Especifica uma lista delimitada por vírgulas de nomes de propriedades do Google Analytics entre aspas simples.
Use o nome da propriedade sem o prefixo
analytics_
.enable_initial_load
Um booleano que indica se o carregamento de dados inicial deve ser habilitado ou desabilitado, que ingere todos os dados históricos de uma propriedade e depois prossegue para a sincronização atual.
Este é um argumento opcional e o valor padrão é
true
.Se uma propriedade tiver sido habilitada anteriormente, esse sinalizador será ignorado e a ingestão continuará do ponto em que parou quando a propriedade foi desabilitada.
exclude_nulls
Booliano opcional que indica se campos com valores nulos devem ser excluídos dos dados ingeridos. Definir esse parâmetro como
true
pode melhorar a taxa de transferência da ingestão de dados. O valor padrão éfalse
.disable_auto_reloads
Um booliano opcional que indica se as recargas automáticas devem ser desabilitadas. Para mais detalhes sobre recarga automática, consulte Modelo de ingestão de dados para o Snowflake Connector for Google Analytics Raw Data. Definir esse valor como
true
pode reduzir o consumo de crédito, mas dados atrasados não serão ingeridos no Snowflake. O valor padrão éfalse
.
Por exemplo, para permitir a sincronização das propriedades chamadas property1
, property2
e property3
no projeto gcp_example_project
, execute o seguinte comando:
CALL ENABLE_PROPERTIES('gcp_example_project', ['property1','property2','property3']);
Para habilitar propriedades sem o carregamento inicial de dados, use uma consulta ENABLE_PROPERITES semelhante a:
CALL ENABLE_PROPERTIES('gcp_example_project', ['property1','property2','property3'], false);
É possível usar argumentos nomeados para especificar argumentos específicos e deixar o restante inalterado. Por exemplo, para habilitar as propriedades com o carregamento inicial e excluir campos que contenham valores nulo, execute a seguinte consulta:
CALL ENABLE_PROPERTIES( PROJECT_ID => 'gcp_example_project', PROPERTY_IDS => ['property1', 'property2', 'property3'], INITIAL_LOAD => TRUE, EXCLUDE_NULLS => TRUE );
Para evitar que essas propriedades sejam ingeridas, execute o seguinte comando:
CALL DISABLE_PROPERTIES('gcp_example_project', ['property1','property2','property3']);
Desativar a propriedade interrompe sua sincronização. Quando a sincronização de propriedades é desabilitada, toda a ingestão iniciada, mas ainda não concluída, é removida do banco de dados de destino.
O procedimento ENABLE_PROPERTIES
adiciona os nomes das propriedades especificadas à exibição ENABLED_PROPERTIES
.
Carregamento inicial¶
Depois de habilitar uma nova propriedade, o conector entra no modo de carregamento inicial. Isso significa que todos os dados históricos encontrados no BigQuery serão ingeridos antes da coleta de novos eventos.
Recarregamento de dados já ingeridos¶
Para recarregar dados já ingeridos ou para carregar dados que não foram ingeridos (por exemplo, porque você habilitou a propriedade sem carregamento inicial ou os dados estavam ausentes em BigQuery e agora estão disponíveis), é possível chamar um dos seguintes procedimentos:
CALL RELOAD_PROPERTY('<property id>');Este procedimento aciona o recarregamento de todos os dados (
DAILY
,INTRADAY
,USERS
ePSEUDONYMOUS_USERS
) de uma determinada propriedade, entre a tabela mais antiga que ele pode encontrar em BigQuery e a última data da tabela ingerida (ou marcada terminalmente comoDATA_NOT_FOUND
) entre o conector.CALL RELOAD_PROPERTY('<property id>', <first date>, <last date>);Aciona o recarregamento de todos os dados (
DAILY
,INTRADAY
,USERS
ePSEUDONYMOUS_USERS
) de uma determinada propriedade, entre as datas fornecidas.CALL RELOAD_PROPERTY('<property id>', '<export type>', <first date>, <last date>);Aciona o recarregamento de dados
DAILY
,INTRADAY
,USERS
ouPSEUDONYMOUS_USERS
de uma determinada propriedade, entre as datas fornecidas.
Nota
O recarregamento é processado em paralelo ao carregamento principal.
É possível acionar quantas recarregamentos de uma propriedade quiser, desde que intervalos de datas longos não se sobreponham.
Os dados são trocados após o download de cada tabela de BigQuery.
O recarregamento troca dados somente se houver dados em BigQuery para um dia específico.
Os recarregamentos em andamento podem ser observados por meio da exibição dedicada:
SELECT * FROM PUBLIC.ONOGOING_RELOADS;
Para cancelar o recarregamento em andamento, execute a seguinte consulta:
CALL CANCEL_RELOAD_PROPERTY('<load id>');