Datenerfassungsmodell des Snowflake Connector for Google Analytics Raw Data¶

Export von Google Analytics nach BigQuery¶

Google Analytics unterstützt zwei Typen von BigQuery-Exporten:

• Täglich – Google Analytics exportiert Daten in Tabellen namens events_XXXXXX. Die Tabellen werden einmal täglich, nach Ende des Tages, erstellt, sobald alle Ereignisse des jeweiligen Tages erfasst sind.

• Streaming – Google Analytics exportiert den ganzen Tag über kontinuierlich Daten und speichert sie in einer Tabelle namens events_intraday_XXXXXX.

Der Konnektor unterstützt beide Exporttypen und lädt automatisch alle Tabellen herunter, die er in BigQuery findet, unabhängig davon, ob es sich um tägliche oder Intraday-Tabellen handelt. Eine zusätzliche Konfiguration ist nicht erforderlich.

Senkentabelle¶

Für jede Eigenschaft speichert der Konnektor die Ereignisse in eigenschaftsspezifischen Tabellen, die in der Datenbank und dem Schema erstellt werden, die in der in der Konnektorkonfiguration angegeben sind. Für jede der Eigenschaften werden zwei Tabellen erstellt: eine für den täglichen Export und eine für den Intraday-Export mit den Namen ANALYTICS_XXXXXXXXX bzw. ANALYTICS_INTRADAY_XXXXXXXXX. Wenn beide Exporttypen in Google Analytics konfiguriert sind, erfasst der Konnektor beide Tabellen – zuerst die Intraday-Tabelle und danach die Tagestabelle.

Erfassung der Tagestabelle¶

Wenn der Konnektor erkennt, dass die Tagestabelle in BigQuery vorhanden ist, lädt er die gesamte Tabelle in einem einzigen Ausführungslauf herunter. Sobald die Tabelle heruntergeladen ist, wird sie nie wieder für eine künftige Verarbeitung berücksichtigt. Google weist darauf hin, dass die Tagestabellen bis zu 72 Stunden nach dem Erstellen aktualisiert werden können. Die aktuelle Version des Konnektors unterstützt diese Art der Aktualisierung in Senkentabellen nicht.

Intraday-Erfassung¶

Der Konnektor unterstützt das Herunterladen von historischen Intraday-Tabellen (wenn sie in BigQuery vorhanden sind) und die laufende Erfassung von Intraday-Tabellen, die noch Aktualisierungen erhalten.

Für die vergangenen Tage lädt der Konnektor die Intraday-Tabellen auf die gleiche Weise herunter wie die Tagestabellen: Jede Tabelle wird komplett heruntergeladen, eine Tabelle nach der anderen, bis der Prozess die Daten des aktuellen Tages erreicht.

Wenn der Konnektor erkennt, dass eine Intraday-Tabelle die letzte in BigQuery ist, beginnt er mit der schrittweisen Verarbeitung der Tabelle. Das bedeutet, dass die eingehenden Daten-Batches den ganzen Tag über in einem konstanten Intervall, das standardmäßig 8 Stunden beträgt, aus der Tabelle heruntergeladen werden.

Die Situation ändert sich, wenn eine der folgenden Bedingungen erfüllt ist:

• Im BigQuery-Datenset ist eine Tabelle vom nächsten Tag erschienen.

• Seit dem ersten Laden der angegebenen Tabelle sind 24 Stunden vergangen.

Nun führt der Konnektor eine abschließende Erfassung der angegebenen Intraday-Tabelle durch und wechselt zur nächsten Tabelle.

Verwenden Sie CONFIGURE_INGESTION_INTERVAL, um den Wert für das Standardintervall zu ändern, wenn Sie häufigere Aktualisierungen benötigen.