Einrichten der Datenaufnahme (Data Ingestion) für Ihre ServiceNow®-Daten¶

Archivierte Datensätze¶

Der Konnektor spiegelt nicht aktiv die in ServiceNow auf Snowflake-Seite für die aufgenommenen Tabellen archivierten Datensätze wider. Unter der Annahme, dass Sie inaktive Datensätze, die älter als ein bestimmtes Datum sind, archivieren, gilt Folgendes:

• Jeder Datensatz, der archiviert wurde, bevor der Konnektor ihn aufgenommen hat (z. B. vor dem erstmaligen Laden der Tabelle), ist in der Tabelle auf Snowflake-Seite nicht vorhanden.

• Jeder Datensatz, der archiviert wird, nachdem er bereits vom Konnektor aufgenommen wurde, verbleibt auf der Snowflake-Seite, ohne dass ein Hinweis auf eine Archivierungsaktion erfolgt.

• Jeder archivierte Datensatz, der für eine Tabelle wiederhergestellt wird, die sich bereits im Modus inkrementelle Aktualisierungen befindet, wird auf Snowflake-Seite nicht übernommen, es sei denn, dieser Datensatz wird anschließend ebenfalls geändert (wobei der Wert sys_updated_on auf die aktuelle Zeit aktualisiert wird).

• Ein archivierter Datensatz, der während des erstmaligen Ladens der Tabelle wiederhergestellt wurde, kann auf Snowflake-Seite abhängig von seiner ID in die Spalte sys_id aufgenommen werden.

Wenn Sie die Tabelle mit einer aktiven Archivierungsregel auf den neuesten Stand bringen möchten, können Sie die gesamte Tabelle neu laden, aber jeder Datensatz, der nach dem Neuladen archiviert oder wiederhergestellt wird, unterliegt denselben oben genannten Prinzipien.

ServiceNow-Archivtabellen ar_[table_name] können für die Synchronisierung aktiviert werden. Die erste inkrementelle Aktualisierung, die auf das erstmalige Laden einer solchen Tabelle folgt, wird jedoch nach Datensätzen durchsucht, die nach dem Datum des erstmaligen Ladens der Archivtabelle erstellt/aktualisiert wurden. Da weder sys_updated_on noch sys_created_on geändert werden, wenn der Datensatz archiviert wird, fehlen Datensätze auf Snowflake-Seite, die nach dem erstmaligen Laden der Archivtabelle bis zu einem bestimmten Zeitpunkt archiviert wurden. Wenn Sie beispielsweise Datensätze archivieren, die älter als ein Jahr sind, wird jeder Datensatz, der ein Jahr nach dem erstmaligen Laden der Archivtabelle archiviert wurde, nicht in die Archivtabelle auf Snowflake-Seite aufgenommen. Die archivierten Datensätze, die durch eine Zerstörungsregel nach dem erstmaligen Laden einer Archivtabelle wiederhergestellt oder gelöscht wurden, werden auf Snowflake-Seite nie aus der Tabelle entfernt.

Ändern der Datenerfassung mit Snowsight¶

Um die aufzunehmenden ServiceNow®-Tabellen oder den Synchronisierungszeitplan für die Tabellen zu ändern, gehen Sie wie folgt vor:

1. Melden Sie sich bei Snowsight als Benutzer mit der Rolle ACCOUNTADMIN an.

2. Wählen Sie im Navigationsmenü die Option Data Products » Apps aus.

3. Suchen Sie nach der Snowflake Connector für ServiceNow®V2-App, und wählen Sie dann die Kachel für den Konnektor aus.

4. Wählen Sie auf der Seite für den Snowflake Connector for ServiceNow®V2 die Option Data Sync aus.

5. Wählen Sie die Schaltfläche Edit tables aus, um in den Bearbeitungsmodus zu wechseln.

6. Ändern Sie die Tabellen, die Sie erfassen möchten:

   1. Suchen Sie nach der Tabelle, die Sie erfassen möchten.

   2. Aktivieren oder deaktivieren Sie neben der Tabelle, die Sie auswählen bzw. abwählen möchten, das Kontrollkästchen in der Spalte Status.

   3. Wählen Sie unter Sync Schedule aus, wie häufig Sie die Tabelle zwischen Snowflake und ServiceNow® synchronisieren möchten.

7. Wählen Sie Update data sync aus.

Aktivieren oder Deaktivieren der Tabellensynchronisation¶

Dieser Abschnitt beschreibt, wie Sie die Synchronisierung einer Tabelle in ServiceNow® aktivieren oder deaktivieren. Die Synchronisierung kann sowohl mit der Standardkonfiguration als auch mit der benutzerdefinierten Konfiguration aktiviert werden.

CALL ENABLE_TABLES(<tables_to_enable>);

CALL ENABLE_TABLES(['table1', 'table2', 'table3']);

CALL DISABLE_TABLES(<tables_to_disable>);

CALL DISABLE_TABLES(['table1', 'table2']);

CALL ENABLE_TABLE('<table_to_enable>', <table_config>);

CALL ENABLE_TABLE('<table_to_enable>', <table_config>);

CALL ENABLE_TABLE('u_table', { 'include_columns': ['sys_id', 'sys_updated_on'] });

CALL ENABLE_TABLE('u_table', { 'exclude_columns': ['col_1'] });

CALL ENABLE_TABLE('<table_to_enable>', <table_config>);

CALL ENABLE_TABLE('sys_audit', {
  'row_filter': 'tablename = "incident" AND fieldname = "cause" AND newvalue LIKE "privacy"'
});

CALL ENABLE_TABLE('incident', {
  'row_filter': 'active = "true" AND sys_created_by STARTSWITH "support" OR sys_created_by ENDSWITH "admin" AND category IN ("Network", "Cloud Management")'
});

CALL ENABLE_TABLE('incident', {
  'row_filter': 'incident_state IN ("1", "2", "3")', -- "New", "In Progress", "On Hold"
  'include_columns': ['incident_state', 'description']
});

Festlegen des Synchronisierungszeitplans¶

Der Snowflake Connector for ServiceNow®V2 synchronisiert Daten aus allen ServiceNow®-Tabellen mit Snowflake nach einem festgelegten Zeitplan. Standardmäßig werden alle Tabellen einmal pro Stunde (1 h) synchronisiert.

Um den Standard-Synchronisierungszeitplan für alle Tabellen zu ändern, rufen Sie die gespeicherte Prozedur CONFIGURE_DATA_INGESTION_SCHEDULE mit den folgenden Argumenten auf:

CALL CONFIGURE_DATA_INGESTION_SCHEDULE(<schedule>);

Wobei:

schedule

Gibt die Häufigkeit der Synchronisierung an. Sie können einen der folgenden JSON-Werte angeben:

• { 'type': 'interval', 'value': '<interval_value>' }, wobei interval_value einer der folgenden Zeichenfolgenwerte ist:

  • '30m'

  • '1h'

  • '3h'

  • '6h'

  • '12h'

  • '1d'

• { 'type': 'custom', 'value': { 'hour': <hour>, 'day_of_week': '<day_of_week>' } }, wobei hour die Stunde in der UTC-Zeitzone angibt, zu der die Datenaufnahme beginnen soll, und day_of_week den Wochentag, an dem die Datenaufnahme ausgeführt werden soll. Es ist möglich, spezielle Ausdrücke für den Wochentag zu verwenden:

  • '*', um die Erfassung täglich auszuführen.

  • '1-3', um die Erfassung von Montag bis Mittwoch auszuführen.

  • '0,5,6', um die Erfassung am Freitag, Samstag und Sonntag auszuführen.

  Folgende Werte können in dem Ausdruck für die day_of_week-Konfiguration verwendet werden:

  • '0' - Sonntag

  • '1' - Montag

  • '2' - Dienstag

  • '3' - Mittwoch

  • '4' - Donnerstag

  • '5' - Freitag

  • '6' - Samstag

  Andere nicht-zifferige Werte wie '5L', der den letzten Freitag eines Monats angibt, oder 'FRI-SUN', der den Bereich von Freitag bis Sonntag angibt, werden nicht unterstützt.

Es ist möglich, den Datenaufnahme-Zeitplan eine bestimmten Tabelle zu konfigurieren, während diese aktiviert wird. Um eine einzelne Tabelle zu aktivieren und ihren Zeitplan für die Datenaufnahme festzulegen, rufen Sie die gespeicherte Prozedur ENABLE_TABLE mit den folgenden Argumenten auf:

CALL ENABLE_TABLE('<table_name>', <table_config>);

Wobei:

table_name

Gibt einen ServiceNow®-Tabellennamen an, der aktiviert werden soll.

table_config

Objekt mit der Eigenschaft schedule, die die Konfiguration der Tabellensynchronisierung angibt. Weitere Informationen dazu finden Sie unter schedule der gespeicherten Prozedur CONFIGURE_DATA_INGESTION_SCHEDULE.

Um zum Beispiel die Datenaufnahme der Tabelle table_1 zu aktivieren und die Daten alle 3 Stunden zu synchronisieren, rufen Sie die folgende gespeicherte Prozedur auf:

CALL ENABLE_TABLE('table_1', { 'schedule': { 'type': 'interval', 'value': '3h' } });

Der Konnektor ermöglicht es Ihnen auch, für jede Tabelle, die für die Synchronisierung aktiviert ist, einen anderen Zeitplan anzugeben. Um den Synchronisierungszeitplan für eine ausgewählte Gruppe von Tabellen zu ändern, rufen Sie die gespeicherte Prozedur CONFIGURE_TABLES_SCHEDULE mit den folgenden Argumenten auf:

CALL CONFIGURE_TABLES_SCHEDULE(<table_names>, <schedule>);

Wobei:

table_names

Gibt ein Array mit den Namen der Tabellen an, für die Sie den Synchronisierungszeitplan konfigurieren möchten.

schedule

Gibt die Häufigkeit der Synchronisierung an. Weitere Informationen dazu finden Sie unter schedule der gespeicherten Prozedur CONFIGURE_DATA_INGESTION_SCHEDULE.

Um beispielsweise die Tabellen table_1 und table_2 jeden Samstag und Sonntag um 23:00 Uhr UTC zu erfassen, rufen Sie die folgende gespeicherte Prozedur auf:

CALL CONFIGURE_TABLES_SCHEDULE(['table_1', 'table_2'], { 'type': 'custom', 'value': { 'hour': 23, 'day_of_week': '0,6' } });

Standardmäßig versucht der Konnektor, die Datenaufnahme in einem Zeitfenster von 3 Stunden ab der geplanten Startzeit zu beginnen. Wenn es nicht möglich ist, die Datenaufnahme innerhalb dieses Zeitfensters zu starten, weil der Konnektor z. B. gerade andere Tabellen erfasst, wird der aktuell geplante Lauf nicht ausgeführt. Der Konnektor versucht, die Datenerfassung im nächsten geplanten Zeitfenster auszuführen. Sie können die Dauer des Zeitrahmens ändern, indem Sie die gespeicherte Prozedur CONFIGURE_CUSTOM_SCHEDULE_START_INGESTION_WINDOW aufrufen:

CALL CONFIGURE_CUSTOM_SCHEDULE_START_INGESTION_WINDOW(<window_length>);

wobei window_length die Fensterlänge im Format ISO 8601 für die Zeitdauer angibt. Die Dauer muss auf die nächste ganze Stunde aufgerundet werden und mindestens 1 Stunde betragen. Der Wert 'PT12H' gibt zum Beispiel ein Zeitfenster an, das 12 Stunden dauert, und 'P2D' gibt ein Zeitfenster an, das 2 Tage dauert.

Wenn Sie nur Tabellen mit kundenspezifischen Zeitplänen aktivieren, wirkt sich diese Konfiguration nur auf die Zeit aus, die für das Erstellen und Aktualisieren von vereinfachten (flatten) Ansichten der konfigurierten Tabellen benötigt wird. Die vereinfachten Ansichten werden im ersten Erfassungszyklus erstellt, wenn die folgenden Bedingungen erfüllt sind:

• Die Erfassung der Metadaten-Tabellen ist abgeschlossen.

• Die Erfassung der konfigurierten Tabelle hat begonnen.

Wenn E-Mail-Alerts aktiviert sind, empfiehlt Snowflake, bei Verwendung der kundenspezifischen Zeitplanung die Häufigkeit der Alerts auf Once per day zu ändern.

Festlegen der Startzeit des Datenbereichs¶

Standardmäßig synchronisiert der Snowflake Connector for ServiceNow®V2 alle Datensätze in den entsprechenden ServiceNow®-Tabellen. Bei Tabellen, die über eine Spalte sys_updated_on oder sys_created_on (im Folgenden Zeitspalten genannt) verfügen, kann der Bereich der synchronisierten Daten eingeschränkt werden, indem eine Startzeit des Datenbereichs festgelegt wird, d. h. es wird eine untere Grenze für den entsprechenden Wert der Zeitspalte der Datensätze festgelegt.

Bei einer solchen Konfiguration werden die Datensätze, deren entsprechender Wert der Zeitspalte älter ist als der Zeitstempel für die Startzeit des Datenbereichs, nicht aufgenommen. Die entsprechende Zeitspalte, die bei diesem Verfahren verwendet wird, wird auf die gleiche Weise bestimmt wie bei der inkrementellen Aktualisierung.

Um den Wert für die Startzeit des Datenbereichs zu ändern, rufen Sie die gespeicherte Prozedur CONFIGURE_TABLES_RANGE_START mit den folgenden Argumenten auf:

CALL CONFIGURE_TABLES_RANGE_START(<table_names>, <range_start>);

Copy

Wobei:

table_names

Gibt ein Array mit den Namen der Tabellen an, für die Sie die Startzeit des Datenbereichs konfigurieren möchten.

range_start

Zeitstempel mit Angabe der Startzeit des Datenbereichs im Format TIMESTAMP_TZ oder mit NULL, um den aktuellen Wert zu löschen.

• Wenn die Erfassung der Tabelle noch nicht begonnen wurde, wird der Wert für die Startzeit des Datenbereichs bei der erstmaligen Erfassung berücksichtigt.

• Wenn die Datenaufnahme der Tabelle bereits begonnen hat (z. B. wenn ein Neuladen im Gange ist), wird die Startzeit des Datenbereichs ignoriert. Dann ist ein (weiteres) Neuladen der Tabelle(n) erforderlich, um die Datensätze, deren entsprechende Zeitspaltenwerte zu alt sind, herauszufiltern.

Es wird daher empfohlen, die Startzeit des Datenbereichs vor der erstmaligen Erfassung einer Tabelle (also auch vor der Aktivierung) festzulegen.

Wenn zum Beispiel die Tabellen table1 und table2 die erforderlichen Zeitspalten haben, führen Sie den folgenden Befehl aus, um die Startzeit des Datenbereichs für diese beiden Tabellen auf „2022-11-23 07:00:00 UTC“ festzulegen:

CALL CONFIGURE_TABLES_RANGE_START(['table1', 'table2'], TO_TIMESTAMP_TZ('2022-11-23 07:00:00 +00:00'));

Copy

Dann gilt Folgendes:

• Bei Beispieltabelle table1: Wenn deren Erfassung noch nicht gestartet wurde, werden alle Datensätze, deren entsprechender Wert der Zeitspalte vor „2022-11-23 07:00:00“ liegt, nicht erfasst.

• Bei Beispieltabelle table2: Wenn deren Erfassung bereits gestartet wurde, wird der Wert für Startzeit des Datenbereichs bei allen Datensynchronisierungen bis zum Neuladen dieser Tabelle ignoriert. Beim Neuladen werden alle Datensätze, deren entsprechender Wert in der Zeitspalte vor „2022-11-23 07:00:00“ liegt, nicht erfasst.

Es ist auch möglich, die Startzeit des Datenbereichs zu deaktivieren. Um beispielsweise die Startzeit für Tabelle table1 zu deaktivieren, führen Sie den folgenden Befehl aus:

CALL CONFIGURE_TABLES_RANGE_START(['table1'], NULL);

Copy

Wenn also bereits eine Datenaufnahme der Tabelle table1 begonnen wurde, ist ein Neuladen dieser Tabelle erforderlich, um die Datenaufnahme aller Datensätze aus ServiceNow® zurückzunehmen.

Erneutes Laden von Daten in eine Tabelle¶

Um Daten erneut in eine bestimmte Tabelle zu laden, rufen Sie die gespeicherte Prozedur RELOAD_TABLE auf:

CALL RELOAD_TABLE('<table_name>');

Wobei:

table_name

Gibt den Namen der Tabelle an, in die die Daten erneut geladen werde sollen.

Wenn Sie die gespeicherte Prozedur RELOAD_TABLE aufrufen, führt der Konnektor Folgendes aus:

1. Der Konnektor hält die ursprüngliche Tabelle vorübergehend für die Erfassung an.

   Bemerkung

   Während die Tabelle neu geladen wird, können Sie die Tabelle nicht wieder für die Erfassung aktivieren.

2. Der Konnektor erstellt eine separate temporäre Tabelle für die Erfassung.

3. Der Konnektor nimmt die Daten in diese neue temporäre Tabelle auf. Diese Tabelle wird in der Ansicht CONNECTOR_STATS als eine Tabelle mit dem Suffix __tmp angezeigt.

   Bemerkung

   Bei jedem Neuladen wird der Wert für die Startzeit des Datenbereichs berücksichtigt, wodurch eingeschränkt werden kann, welche Datensätze aufgenommen werden.

4. Nach dem Erfassen der Daten ersetzt der Konnektor die Daten in der Originaltabelle durch die Daten in der temporären Tabelle.

5. Der Konnektor löscht die temporäre Tabelle.

6. Der Konnektor aktiviert die ursprüngliche Tabelle wieder für die Erfassung.

Während dieses Prozesses können Sie weiterhin die vorhandenen Daten in der Originaltabelle abfragen. Änderungen an den Daten in der ServiceNow®-Tabelle werden jedoch erst dann in der Snowflake-Tabelle berücksichtigt, wenn der Datenaufnahmeprozess abgeschlossen ist.

Um eine Überladung Ihrer ServiceNow®-Instanz zu vermeiden, laden Sie immer nur eine Tabelle neu.

Abbrechen des Neuladens der Tabelle¶

Um den Prozess des Neuladens der Daten in eine Tabelle abzubrechen, verwenden Sie die gespeicherte Prozedur CANCEL_RELOAD_TABLE, wie im folgenden Beispiel gezeigt:

CALL CANCEL_RELOAD_TABLE('<table_name>');

Wobei:

table_name

Gibt den Namen der Tabelle an, deren Neuladen Sie abbrechen möchten.

Wenn Sie das Neuladen abbrechen, löscht der Konnektor alle temporären Objekte, die während des Neuladens bisher erstellt wurden. Die Tabelle steht dann im Rahmen des normalen Synchronisierungzeitplans für die Erfassung zur Verfügung.

Konfigurieren der Größe eines Einzelseitenabrufs für eine Tabelle¶

Der Konnektor ruft Daten aus einer Tabelle ab, indem er die Daten in kleinere Blöcke, Seiten genannt, unterteilt. Jede API-Anforderung an ServiceNow® führt zum Abruf einer einzelnen Seite.

Um dies zu berücksichtigen, begrenzt der Konnektor die Anzahl der Zeilen, die innerhalb einer einzelnen API-Anforderung abgerufen werden. Diese Beschränkung ist die Seitengröße.

Der Konnektor verwendet den folgenden Prozess, um die Seitengröße zu bestimmen:

1. Anfänglich ist die Standardseitengröße auf 10.000 Zeilen eingestellt.

2. Schlägt die Abrufanforderung während des Erfassens fehl, weil die Antwortgröße überschritten wird, wird die Seitengröße schrittweise um 1.000, 100, 10 und 1 verringert, bis die Anforderung erfolgreich ist oder die endgültige Seitengröße auf 1 gesetzt wird.

3. Die erfolgreiche Seitengröße wird im Konnektor-Status gespeichert und bei nachfolgenden Anforderungen verwendet.

Die aktuelle Seitengröße für eine Tabelle ist in der Ansicht TABLES_STATE verfügbar. Um die Seitengröße anzuzeigen, führen Sie folgenden Befehl aus:

SELECT PAGE_SIZE FROM TABLES_STATE WHERE TABLE_NAME = '<table_name>';

Wobei:

table_name

Gibt den Namen der ServiceNow®-Tabelle an, die aufgenommen wird.

Der Prozess, den der Konnektor zum Ermitteln der Seitengröße verwendet, kann zu Ineffizienz führen. Durch diesen Prozess wird lediglich die Seitengröße verringert. Die Seite wird dadurch nicht größer. Dies kann in Situationen vorkommen, in denen eine Tabelle aus einer einzigen großen Zeile besteht, was dazu führt, dass die Seitengröße auf einen niedrigeren Wert gesetzt wird.

Um diese Situation zu vermeiden, können Sie die Seitengröße manuell festlegen, indem Sie die gespeicherte Prozedur RESET_PAGE_SIZE aufrufen, wie im folgenden Beispiel gezeigt:

CALL RESET_PAGE_SIZE('<table_name>');

Wobei:

table_name

Gibt den Namen der ServiceNow®-Tabelle an, die aufgenommen wird.

Datenerfassungslauf¶

Das Auslösen der Datenerfassungsläufe für eine bestimmte Tabelle erfolgt nach einem konfigurierten Zeitplan. Bei einem Ausführungslauf werden in einer Schleife alle relevanten Zeilen, unterteilt in die im vorigen Abschnitt erläuterten Seiten, aus der Quelltabelle heruntergeladen.

Erstmaliges Laden und Aktualisieren

Sobald eine Seite mit Daten abgerufen wird, wird sie in die entsprechende Ereignisprotokolltabelle eingefügt. In dieser Phase sind die neu abgerufenen Änderungen noch nicht in der Sync-Tabelle oder über vereinfachte Ansichten (Flattening) verfügbar. Wenn dies geschehen ist, wird die nächste Anforderung mit aktualisierten Kriterien ausgegeben, solange Daten zurückgegeben werden. Wenn der Datenerfassungslauf abgeschlossen ist und in der Quelltabelle keine abrufbereiten Daten mehr vorliegen, wird eine asynchrone Zusammenführungsaufgabe (Merge) ausgelöst, die alle seit der letzten Zusammenführung eingefügten Änderungen aus dem Ereignisprotokoll in die Sync-Tabelle übernimmt. Wenn dies abgeschlossen ist, stehen die Daten in synchronisierten Tabellen und vereinfachten Ansichten zur Verfügung.

Abschneiden und Laden

Im Modus „Abschneiden und Laden“ wird für jeden Datenerfassungslauf eine temporäre Tabelle erstellt. Jede abgerufene Seite mit Zeile wird zunächst in diese temporäre Tabelle eingefügt (diese Tabelle existiert im internen Konnektor-Schema und ist für die Benutzer des Konnektors nicht verfügbar). In dieser Phase sind die neu abgerufenen Änderungen noch nicht in der Sync-Tabelle oder über vereinfachte Ansichten (Flattening) verfügbar, sondern es werden immer noch die im vorherigen Lauf abgerufenen Daten angezeigt. Wenn der Datenerfassungslauf abgeschlossen ist und keine Daten mehr in der Quelltabelle vorhanden sind, werden die in der Sync-Tabelle vorliegenden Daten durch die Daten aus der temporären Tabelle ersetzt. Alle abgerufenen Zeilen werden ebenfalls dem Ereignisprotokoll hinzugefügt. Am Ende wird die temporäre Tabelle gelöscht.

Überwachen des Fortschritts

Um den Status eines aktuellen oder vergangenen Datenerfassungslaufs zu überprüfen, können Sie die Ansicht CONNECTOR_STATS abfragen. Der Status wird in der Spalte STATUS angezeigt. Er wird nur dann auf DONE gesetzt, wenn die Daten erfolgreich abgerufen und sämtliche Änderungen in die Sync-Tabelle übernommen wurden. Wenn der Datenerfassungsprozess ausgeführt wird oder die Zusammenführung mit der Sync-Tabelle bzw. das Ersetzen von Zeilen in der Sync-Tabelle noch nicht abgeschlossen ist, lautet der Status RUNNING.