Configuration de l’ingestion de données pour vos données ServiceNow®

Snowflake Connector pour ServiceNow® V2 est soumis aux Conditions de Snowflake Connector.

Ce chapitre explique comment configurer l’ingestion de données pour le Snowflake Connector for ServiceNow®V2.

Note

Snowflake Connector for ServiceNow®V2 ingère les données de tables ServiceNow® dans Snowflake. L’ingestion de données dépend de v2 de l”API de table ServiceNow®.

Dans ce chapitre :

Stratégies d’ingestion de tables ServiceNow®

Note

  • Le connecteur ne peut uniquement ingérer que des tables comportant des colonnes sys_id.

  • Les vues ServiceNow ne sont pas prises en charge. Au lieu d’ingérer ces vues, vous devriez synchroniser toutes les tables pour la vue sous-jacente et joindre les tables synchronisées dans Snowflake.

Le connecteur utilise différentes stratégies d’ingestion, en fonction du schéma de la table. Le connecteur utilise trois modes d’ingestion :

  • Le chargement initial des données se produit pour chaque table lorsque la table est activée pour la synchronisation.

    Dans ce mode, la table est ingérée en parcourant les enregistrements identifiés par les IDs de la colonne sys_id. Une fois que tous les enregistrements ont été ingérés, la phase de chargement initial est terminée. Pour certaines tables, vous pouvez également définir la valeur correspondant aux heures de début des plages de données qui peut restreindre les enregistrements à ingérer.

  • Les mises à jour incrémentielles ne se produisent que pour les tables comportant des colonnes sys_updated_on ou sys_created_on.

    Les mises à jour incrémentielles commencent après le chargement initial et se déroulent selon un calendrier régulier que vous pouvez configurer. Dans ce mode, le connecteur n’ingère que les enregistrements qui ont été ajoutés, mis à jour ou supprimés depuis la dernière synchronisation.

Note

Les informations sur les suppressions proviennent de la table de journal fournie lors de la configuration du connecteur.

  • Pour les tables qui n’ont pas de colonnes sys_updated_on ou sys_created_on , le connecteur utilise le mode tronquer et charger.

    Dans ce mode, la table est toujours ingérée en utilisant l’approche du chargement initial, et les nouvelles données ingérées remplacent les anciennes. Le connecteur remplace les données en exécutant la commande INSERT OVERWRITE.

Note

  • En mode « mises à jour incrémentielles », le connecteur utilise la colonne sys_updated_on si celle-ci est présente.

    Si la colonne n’est pas présente, le connecteur utilise la colonne sys_created_on à la place.

  • Pour les tables pivotées, le connecteur utilise toujours la colonne sys_created_on. Si la table est pivotée en utilisant une colonne différente de sys_created_on, l’ingestion de cette table peut entraîner des problèmes de performance.

Note

  • Si les champs sys_updated_on ou sys_created_on ne sont pas mis à jour lorsque l’enregistrement est modifié dans ServiceNow, ces modifications ne seront pas transmises à Snowflake, ce qui entraîne une incohérence des données. Snowflake vous recommande d’éviter de désactiver la mise à jour des champs du système.

  • Si la suppression d’un enregistrement n’est pas auditée, les informations sur les enregistrements supprimés ne seront pas transmises à Snowflake, ce qui entraînera une incohérence des données.

Note

En raison des restrictions imposées aux APIs REST Snowflake et ServiceNow®, le connecteur ne peut pas ingérer une table si une seule ligne dépasse 16 MB de données. Dans ce cas, le connecteur tente d’ingérer des données à la fréquence définie dans la planification. Si une ligne dépasse la limite, le connecteur génère un message d’erreur et poursuit l’ingestion d’une autre table. Pour surmonter cette limitation, vous pouvez configurer le filtrage de colonnes de sorte à exclure les colonnes volumineuses de l’ingestion.

Enregistrements archivés

Le connecteur ne reflète pas activement les enregistrements archivés dans ServiceNow côté Snowflake pour les tables ingérées. Si vous archivez des enregistrements inactifs antérieurs à une certaine date, les règles suivantes s’appliquent :

  • Aucun enregistrement archivé avant son ingestion par le connecteur (par exemple, avant le chargement initial de la table) ne sera présent dans la table côté Snowflake.

  • Tout enregistrement archivé après avoir été ingéré par le connecteur reste côté Snowflake sans aucune indication de l’action d’archivage.

  • Aucun enregistrement archivé restauré pour une table qui fonctionne déjà en mode de mises à jour incrémentielles ne sera ingéré côté Snowflake, sauf si cet enregistrement est également modifié par la suite (avec sa valeur sys_updated_on mise à jour à l’heure actuelle).

  • Un enregistrement archivé restauré lors du chargement initial de la table peut être ingéré côté Snowflake suivant son ID dans la colonne sys_id.

Si vous souhaitez mettre à jour la table avec une règle d’archivage active, vous pouvez recharger la table entière, mais tout enregistrement archivé ou restauré après le rechargement suivra les mêmes principes que ceux énumérés ci-dessus.

Les tables d’archivage ServiceNow ar_[table_name] peuvent être activées à des fins de synchronisation. Toutefois, la première mise à jour incrémentielle qui suit le chargement initial de cette table fait l’objet de recherches pour trouver les enregistrements créés/mis à jour après la date de début du chargement initial de la table d’archivage. Comme ni sys_updated_on, ni sys_created_on ne sont modifiés lorsque l’enregistrement est archivé, les enregistrements archivés après le chargement initial de la table d’archivage jusqu’à un moment donné n’y figurent pas côté Snowflake. Par exemple, si vous archivez des enregistrements datant de plus d’un an, aucun enregistrement archivé pendant un an après le chargement initial de la table d’archivage n’est ingéré dans la table d’archivage côté Snowflake. Les enregistrements archivés qui ont été restaurés ou supprimés par une règle de destruction à la suite du chargement initial d’une table d’archivage ne sont jamais supprimés de celle-ci côté Snowflake.

Ingestion parallèle de tables ServiceNow®

Le connecteur ingère quelques tables en parallèle, mais l’ingestion de chaque table individuelle est un processus synchrone. Cela signifie que l’ingestion de tables volumineuses peut empêcher le connecteur de mettre à jour d’autres tables. Ce problème est plus susceptible de se produire pendant la phase de chargement initial que pendant les autres phases. Par défaut, le connecteur utilise 10 threads de travail, ce qui est considéré comme une valeur optimale pour ne pas surcharger l’instance ServiceNow®. Si vous êtes sûr(e) que votre instance peut prendre en charge une concurrence supplémentaire, vous pouvez augmenter cette valeur jusqu’à un maximum de 30 en appelant la procédure CONFIGURE_CONCURRENCY.

Configuration de l’ingestion de données à l’aide de Snowsight

Pour configurer l’ingestion de données via Snowsight, procédez comme suit :

  1. Connectez-vous à Snowsight en tant qu’utilisateur ayant le rôle ACCOUNTADMIN.

  2. Dans le menu de navigation, sélectionnez Data Products » Apps.

  3. Recherchez l’application Snowflake Connector for ServiceNow® V2, puis sélectionnez la vignette du connecteur.

  4. Sur la page de Snowflake Connector for ServiceNow®V2, sélectionnez l’onglet Data Sync.

    Une liste de toutes les tables ServiceNow® apparaît.

    Note

    Le connecteur ne peut uniquement ingérer que des tables comportant des colonnes sys_id.

  5. Sélectionnez les tables que vous souhaitez ingérer :

    1. Recherchez la table que vous souhaitez ingérer.

    2. Cochez la case de la colonne Status à gauche de la table que vous souhaitez sélectionner.

    3. Sous Sync Schedule, sélectionnez la fréquence de synchronisation de la table entre Snowflake et ServiceNow®.

    4. Répétez ces étapes pour chaque table que vous souhaitez ingérer dans Snowflake.

  6. Sélectionnez l’en-tête de la colonne Status pour voir les tables que vous avez actuellement sélectionnées.

  7. Sélectionnez Start sync pour commencer à ingérer des données dans votre compte Snowflake.

Le statut du connecteur passe à Syncing data. Lorsqu’au moins une des tables est ingérée avec succès, le statut du connecteur devient Last Sync: just now.

Reportez-vous à Surveillance du Snowflake Connector for ServiceNow®V2 pour savoir comment visualiser le contenu des tables dans Snowflake.

Modification de l’ingestion de données à l’aide de Snowsight

Pour modifier les tables ServiceNow® à ingérer ou la planification de synchronisation des tables, procédez comme suit :

  1. Connectez-vous à Snowsight en tant qu’utilisateur ayant le rôle ACCOUNTADMIN.

  2. Dans le menu de navigation, sélectionnez Data Products » Apps.

  3. Recherchez l’application Snowflake Connector for ServiceNow® V2, puis sélectionnez la vignette du connecteur.

  4. Dans la page Snowflake Connector for ServiceNow®V2, sélectionnez Data Sync.

  5. Sélectionnez le bouton Edit tables pour passer en mode d’édition.

  6. Modifiez les tables que vous souhaitez ingérer :

    1. Recherchez la table que vous souhaitez ingérer.

    2. Cochez la case de la colonne Status à gauche de la table que vous souhaitez sélectionner ou désélectionner.

    3. Sous Sync Schedule, sélectionnez la fréquence de synchronisation de la table entre Snowflake et ServiceNow®.

  7. Sélectionnez Update data sync.

Configuration de l’ingestion de données à l’aide d’instructions SQL

Pour configurer l’ingestion de données à l’aide d’instructions SQL, procédez comme suit :

Note

Pour configurer ces paramètres, vous utilisez des procédures stockées définies dans le schéma PUBLIC de la base de données qui sert d’instance au connecteur.

Avant d’appeler ces procédures stockées, sélectionnez cette base de données comme base de données à utiliser pour la session.

Par exemple, si la base de données s’appelle my_connector_servicenow, exécutez la commande suivante :

USE DATABASE my_connector_servicenow;
Copy

Activation ou désactivation de la synchronisation des tables

Cette section explique comment activer ou désactiver la synchronisation d’une table dans ServiceNow®. L’activation de la synchronisation peut être effectuée avec une configuration par défaut et une configuration personnalisée.

Activation de plusieurs tables à l’aide de la configuration par défaut

Pour activer la synchronisation des données d’au moins une table dans ServiceNow®, appelez la procédure stockée ENABLE_TABLES avec les arguments suivants :

CALL ENABLE_TABLES(<tables_to_enable>);
Copy

Où :

tables_to_enable

Spécifie un tableau de noms de table ServiceNow®.

Utilisez le nom de table et non l’étiquette affichée dans l’UI ServiceNow®. Vous pouvez trouver le nom de la table dans les tables du dictionnaire de données dans ServiceNow. Dans l’UI ServiceNow®, accédez à System Definition » Tables. La colonne Name affiche le nom de la table.

Par exemple, pour activer la synchronisation des tables nommées table1, table2, et table3, exécutez la commande suivante :

CALL ENABLE_TABLES(['table1', 'table2', 'table3']);
Copy

Désactivation de plusieurs tables

Pour désactiver la synchronisation des données de table d’une table spécifique dans ServiceNow®, appelez la procédure stockée DISABLE_TABLES avec les arguments suivants :

CALL DISABLE_TABLES(<tables_to_disable>);
Copy

Où :

tables_to_disable

Spécifie un tableau de noms de table ServiceNow®.

Utilisez le nom de table et non l’étiquette affichée dans l’UI ServiceNow®. Vous pouvez trouver le nom de la table dans les tables du dictionnaire de données dans ServiceNow. Dans l’UI ServiceNow®, accédez à System Definition » Tables. La colonne Name affiche le nom de la table.

Par exemple, pour désactiver la synchronisation des tables nommées table1 et table2, exécutez la commande suivante :

CALL DISABLE_TABLES(['table1', 'table2']);
Copy

La désactivation de la table arrête la synchronisation en douceur, dès que possible. Lorsque la synchronisation des tables est réactivée, l’ingestion reprend là où elle avait été interrompue.

Note

La désactivation de la synchronisation de toutes les tables ne signifie pas que Snowflake Connector for ServiceNow®V2 cessera d’engendrer des coûts. Les tâches en arrière-plan telles que celles associées aux notifications peuvent continuer à s’exécuter.

Les procédures ENABLE_TABLES et DISABLE_TABLES ajoutent les noms de tables spécifiés à la vue CONFIGURED_TABLES.

Note

Le connecteur ne prend pas en charge les retours en arrière ou les récupérations de suppression dans ServiceNow®.

L’utilisation des fonctions de retour en arrière et de suppression de la restauration peut entraîner une incohérence des données. Les enregistrements récupérés dans ServiceNow® peuvent encore être marqués comme supprimés dans Snowflake. Pour résoudre ce problème, vous pouvez recharger la table.

Activation d’une seule table à l’aide d’une configuration personnalisée

Pour activer la synchronisation des données d’une table spécifique avec une configuration personnalisée dans ServiceNow®, appelez la procédure stockée ENABLE_TABLE avec les arguments suivants :

CALL ENABLE_TABLE('<table_to_enable>', <table_config>);
Copy

Où :

table_to_enable

Spécifie un nom de table ServiceNow®.

table_config

En option, spécifie un objet avec une configuration d’ingestion de table. Si aucune table n’est spécifiée, l’ingestion utilise la configuration par défaut.

Les configurations actuellement prises en charge sont les suivantes :

  • filtrage de colonnes, où vous pouvez fournir la propriété include_columns ou exclude_columns avec une liste de noms de colonne,

  • filtrage de lignes, où vous pouvez fournir la propriété filter avec une expression de filtre,

  • planification de synchronisation, où vous pouvez fournir la propriété schedule avec une planification d’ingestion personnalisée.

Note

Toutes les configurations personnalisées peuvent être combinées en un seul objet et utilisées simultanément pour une seule ingestion de table, par exemple pour permettre l’ingestion d’une table sys_audit avec la configuration ci-dessous :

  • la table doit être synchronisée tous les samedis à 10h00 AM UTC,

  • seules les colonnes newvalue et reason doivent être ingérées,

  • seules les lignes dont la colonne newvalue commence par la chaîne privacy doivent être ingérées,

exécutez la commande suivante :

CALL ENABLE_TABLE('sys_audit', {
  'schedule': { 'type': 'custom', 'value': { 'hour': 10, 'day_of_week': '6' } },
  'include_columns': ['newvalue', 'reason'],
  'row_filter': 'newvalue STARTSWITH "privacy"'
});
Copy

Activation d’une seule table à l’aide du filtrage de colonnes

Si vous n’avez pas besoin de toutes les colonnes d’une table ServiceNow® dans Snowflake, le connecteur peut les ignorer. Par exemple, ignorez des colonnes si une seule ligne dépasse la taille de ligne maximale de 16 MB.

Pour activer l’ingestion de tables avec les colonnes spécifiées, exécutez la commande suivante :

CALL ENABLE_TABLE('<table_to_enable>', <table_config>);
Copy

Où :

table_to_enable

Spécifie un nom de table ServiceNow®.

table_config

Objet comprenant la propriété include_columns ou exclude_columns avec une liste de noms de colonne. Si sys_id, sys_created_on et sys_updated_on existent, ils sont toujours inclus. Vous n’avez pas besoin de les ajouter au tableau included_columns et vous ne pouvez pas les exclure via excluded_columns, car le connecteur les utilise dans le processus d’ingestion.

Note

Étant donné que les colonnes de ServiceNow® sont écrites en minuscules et que l’API que le connecteur utilise est sensible à la casse, les valeurs fournies pour les colonnes spécifiées doivent également être en minuscules.

Note

Vous ne devez pas fournir à la fois include_columns et exclude_columns. Si vous voulez dresser la liste de include_columns, vous devez ignorer la propriété exclude_columns, et inversement. Si les deux tableaux ne sont pas vides et qu’il n’y a pas de colonnes contradictoires, include_columns a la priorité sur exclude_columns.

Si include_columns et exclude_columns sont tous deux des tableaux vides, toutes les colonnes disponibles seront ingérées.

Par exemple, avec une table ServiceNow® nommée u_table avec les colonnes sys_id, sys_updated_on, col_1 et col_2 et exécutant :

CALL ENABLE_TABLE('u_table', { 'include_columns': ['sys_id', 'sys_updated_on'] });
Copy

n’ingérera que les colonnes sys_id et sys_updated_on pour la table donnée, mais l’appel à :

CALL ENABLE_TABLE('u_table', { 'exclude_columns': ['col_1'] });
Copy

ingérera sys_id, sys_updated_on et aussi col_2.

Le connecteur valide les colonnes fournies et rejette la demande d’activation si l’une des colonnes n’est pas disponible dans ServiceNow®. L’API ServiceNow® prend uniquement en charge le mode d’inclusion. En conséquence, le connecteur transforme les tableaux de colonnes fournis en liste de colonnes incluses et les envoie avec chaque requête auprès de ServiceNow®. Il se peut que l’URL avec les colonnes incluses soit trop longue pour être traitée par ServiceNow®. Le connecteur valide cette limitation lorsque ENABLE_TABLE est invoqué.

La configuration des colonnes pour chaque table se trouve dans la colonne INCLUDED_COLUMNS de la vue CONFIGURED_TABLES. Pour modifier la liste des colonnes ingérées, vous devez d’abord désactiver la table concernée. Si le filtrage des colonnes est configuré pour une table, vous pouvez activer la table uniquement à l’aide de la procédure ENABLE_TABLE. Vous ne pouvez pas utiliser ENABLE_TABLES, qui accepte une liste de tables comme argument.

Les vues aplaties ne comprennent que les colonnes spécifiées lors de l’activation de la table. Elles sont mises à jour chaque fois que la liste des colonnes incluses est modifiée. Si le filtrage de colonnes n’est pas configuré, les vues contiennent toutes les colonnes disponibles.

Note

Le changement de configuration n’affecte pas les données précédemment ingérées. Le filtrage des colonnes ne s’applique qu’aux enregistrements nouvellement ingérés. Pour appliquer le filtre aux données précédemment ingérées, il faut que la table soit rechargée.

Activation d’une seule table à l’aide du filtrage de lignes

Vous pouvez exclure l’ingestion de données pour certaines lignes d’une table ServiceNow® en spécifiant une condition de filtre. Par exemple, pour exclure les lignes qui incluent des données sensibles que vous ne souhaitez pas dans Snowflake ou pour exclure les lignes qui incluent des données inutiles afin de réduire les coûts.

Pour activer l’ingestion de tables avec le filtre de lignes spécifié, exécutez la commande suivante :

CALL ENABLE_TABLE('<table_to_enable>', <table_config>);
Copy

Où :

table_to_enable

Spécifie un nom de table ServiceNow®.

table_config

Objet comprenant la propriété row_filter avec une expression de filtre, qui est une chaîne valide.

Les opérateurs de filtre actuellement pris en charge sont les suivants :

Opérateur

Description

Exemple

AND

Opérateur logique permettant de joindre des conditions, où les deux conditions doivent être remplies.

active = "true" AND impact = "2"

OR

Opérateur logique permettant de joindre des conditions, où au moins l’une des conditions doit être remplie.

Important

A priorité sur l’opérateur AND. Voir les exemples ci-dessous.

tablename = "incident" OR tablename = "problem"

=

Vérifie si les valeurs sont égales.

priority = "1"

!=

Vérifie si les valeurs ne sont pas égales.

state != "7"

LIKE

Vérifie si la valeur contient la séquence de caractères spécifiée.*

newvalue LIKE "privacy"

STARTSWITH

Vérifie si la valeur commence par la séquence de caractères spécifiée.*

description STARTSWITH "important"

ENDSWITH

Vérifie si la valeur se termine par la séquence de caractères spécifiée.*

description ENDSWITH "important"

IN

Vérifie si la valeur est égale à l’une des valeurs de la liste.**

tablename IN ("incident", "task", "cmdb_ci")

(*) - le type de données des champs doit être string. (**) - les champs de choix doivent contenir des chaînes.

Règles et limitations des expressions de filtre :

  • deux expressions de filtre, quelles qu’elles soient, doivent être jointes à l’aide de l’opérateur AND ou OR.

  • Les opérateurs doivent être séparés par un espace et en majuscules.

  • Les expressions de valeur doivent être placées entre guillemets doubles.

  • Les expressions sont sensibles à la casse.

  • L’expression ne peut pas fonctionner sur une colonne sys_id, sys_updated_on ou sys_created_on.

Note

Les modifications de configuration n’affectent pas les données précédemment ingérées. Le filtrage de lignes ne s’applique qu’aux nouveaux enregistrements ingérés. Pour appliquer le filtre aux données déjà ingérées, il faut que la table soit rechargée.

Exemples
  • Pour activer l’ingestion de la table sys_audit, mais synchroniser uniquement les lignes associées aux incidents de confidentialité dans la table INCIDENT, exécutez :

CALL ENABLE_TABLE('sys_audit', {
  'row_filter': 'tablename = "incident" AND fieldname = "cause" AND newvalue LIKE "privacy"'
});
Copy
  • Pour activer l’ingestion de la table incident, mais synchroniser uniquement les lignes dans des conditions telles que :

    • le champ active est égal à true,

    • le champ sys_created_by commence par support ou se termine par admin,

    • le champ category est Network ou Cloud Management,

    exécutez :

CALL ENABLE_TABLE('incident', {
  'row_filter': 'active = "true" AND sys_created_by STARTSWITH "support" OR sys_created_by ENDSWITH "admin" AND category IN ("Network", "Cloud Management")'
});
Copy
  • Pour activer l’ingestion de la table incident, mais ingérer uniquement les lignes à l’état d’incident spécifié et uniquement les colonnes données, exécutez :

CALL ENABLE_TABLE('incident', {
  'row_filter': 'incident_state IN ("1", "2", "3")', -- "New", "In Progress", "On Hold"
  'include_columns': ['incident_state', 'description']
});
Copy

Spécification du calendrier de synchronisation

Snowflake Connector for ServiceNow®V2 synchronise les données de toutes les tables ServiceNow® avec Snowflake selon une planification spécifiée. Par défaut, toutes les tables sont synchronisées une fois par heure (1h).

Pour modifier le calendrier de synchronisation par défaut pour toutes les tables, appelez la procédure stockée CONFIGURE_DATA_INGESTION_SCHEDULE avec les arguments suivants :

CALL CONFIGURE_DATA_INGESTION_SCHEDULE(<schedule>);
Copy

Où :

schedule

Spécifie la fréquence de la synchronisation. Vous pouvez spécifier l’une des valeurs JSON suivantes :

  • { 'type': 'interval', 'value': '<valeur_intervalle>' }, où interval_value est l’une des valeurs de chaîne suivantes :

    • '30m'

    • '1h'

    • '3h'

    • '6h'

    • '12h'

    • '1d'

  • { 'type': 'custom', 'value': { 'hour': <heure>, 'day_of_week': '<jour_de_la_semaine>' } }, où hour spécifie l’heure dans le fuseau horaire UTC à laquelle l’ingestion doit commencer, et day_of_week spécifie le jour de la semaine où l’ingestion doit être effectuée. Il est possible d’utiliser des expressions spéciales comme jours de la semaine :

    • '*' pour exécuter l’intégration tous les jours.

    • '1-3' pour exécuter l’intégration du lundi au mercredi.

    • '0,5,6' pour exécuter l’intégration le vendredi, le samedi et le dimanche.

    Les valeurs possibles pouvant être utilisées dans l’expression pour la configuration day_of_week sont :

    • '0' - Dimanche

    • '1' - Lundi

    • '2' - Mardi

    • '3' - Mercredi

    • '4' - Jeudi

    • '5' - Vendredi

    • '6' - Samedi

    Les autres valeurs non numériques telles que '5L' indiquant le dernier vendredi d’un mois ou 'FRI-SUN' indiquant la plage du vendredi au dimanche ne sont pas prises en charge.

Il est possible de configurer la planification d’ingestion d’une table spécifique lors de son activation. Pour activer une seule table et définir sa planification d’ingestion, appelez la procédure stockée ENABLE_TABLE avec les arguments suivants :

CALL ENABLE_TABLE('<table_name>', <table_config>);
Copy

Où :

table_name

Spécifie un nom de table ServiceNow® à activer.

table_config

Objet incluant la propriété schedule, qui spécifie la configuration de la synchronisation de la table. Pour des informations détaillées, voir schedule de la procédure stockée CONFIGURE_DATA_INGESTION_SCHEDULE.

Par exemple, pour activer l’ingestion de la table table_1 et synchroniser les données toutes les 3 heures, appelez la procédure stockée suivante :

CALL ENABLE_TABLE('table_1', { 'schedule': { 'type': 'interval', 'value': '3h' } });
Copy

Le connecteur vous permet également de spécifier un calendrier différent pour chaque table dont la synchronisation est activée. Pour modifier le calendrier de synchronisation pour un ensemble sélectionné de tables, appelez la procédure stockée CONFIGURE_TABLES_SCHEDULE avec les arguments suivants :

CALL CONFIGURE_TABLES_SCHEDULE(<table_names>, <schedule>);
Copy

Où :

table_names

Spécifie un tableau de noms de tables pour lesquelles vous souhaitez configurer le calendrier de synchronisation.

schedule

Spécifie la fréquence de la synchronisation. Pour des informations détaillées, voir schedule de la procédure stockée CONFIGURE_DATA_INGESTION_SCHEDULE.

Par exemple, pour ingérer les tables table_1 et table_2 chaque samedi et dimanche à 11:00 PM UTC, appelez la procédure stockée suivante :

CALL CONFIGURE_TABLES_SCHEDULE(['table_1', 'table_2'], { 'type': 'custom', 'value': { 'hour': 23, 'day_of_week': '0,6' } });
Copy

Par défaut, le connecteur tente de démarrer l’ingestion dans une fenêtre temporelle de trois heures à partir de l’heure de démarrage planifiée. S’il n’est pas possible de démarrer l’ingestion dans ce délai, par exemple lorsque le connecteur ingère d’autres tables, l’exécution planifiée actuelle n’est pas exécutée. Le connecteur tente d’exécuter l’ingestion à la prochaine période planifiée. Il est possible de modifier la durée de la période en appelant la procédure stockée CONFIGURE_CUSTOM_SCHEDULE_START_INGESTION_WINDOW :

CALL CONFIGURE_CUSTOM_SCHEDULE_START_INGESTION_WINDOW(<window_length>);
Copy

window_length est la durée de la fenêtre au format de durée ISO 8601. La durée doit être arrondie à l’heure entière suivante et doit être d’au moins une heure. Par exemple, la valeur 'PT12H' indique une fenêtre qui dure 12 heures, et 'P2D' indique une fenêtre qui dure deux jours.

Si vous n’activez que des tables avec des planifications personnalisées, cette configuration n’affecte que le temps nécessaire à la création et à l’actualisation des vues aplaties pour les tables configurées. Les vues aplaties sont créées lors du premier cycle d’ingestion lorsque les conditions suivantes sont remplies :

  • L’ingestion des tables de métadonnées est terminée

  • L’ingestion de la table configurée a commencé.

Si les alertes par e-mail sont activées, Snowflake recommande de remplacer la fréquence des alertes par Once per day lors de l’utilisation de la planification personnalisée.

Spécification des heures de début des plages de données

Par défaut, Snowflake Connector for ServiceNow®V2 synchronise tous les enregistrements des tables ServiceNow® correspondantes. Pour les tables comportant des colonnes sys_updated_on ou sys_created_on (désormais appelées colonnes de temps), il est possible de restreindre la plage de données synchronisées en définissant une heure de début de la plage de données, c’est-à-dire une limite inférieure pour la valeur de la colonne de temps correspondante des enregistrements.

Avec une telle configuration, les enregistrements dont la valeur de la colonne d’heure correspondante est antérieure à l”horodatage de début de la plage de données ne sont pas ingérés. La colonne de temps correspondante utilisée par cette procédure est déterminée de la même manière que pour les mises à jour incrémentales.

Pour modifier la valeur de l’heure de début de la plage de données, appelez la procédure stockée CONFIGURE_TABLES_RANGE_START avec les arguments suivants :

CALL CONFIGURE_TABLES_RANGE_START(<table_names>, <range_start>);
Copy

Où :

table_names

Spécifie un tableau de noms de tables pour lesquelles vous souhaitez configurer l’heure de début de la plage de données.

range_start

Horodatage spécifiant l”heure de début de la plage de données au format TIMESTAMP_TZ ou NULL pour annuler la valeur actuelle.

Note

Vous ne pouvez pas définir l’heure de début de la plage de données pour les tables ne comportant ni la colonne sys_updated_on ni la colonne sys_created_on.

  • Si l’ingestion de la table n’a pas encore commencé, la valeur de l’heure de début de la plage de données est prise en compte lors de la première ingestion.

  • Si l’ingestion de la table a déjà commencé (par exemple, un rechargement est en cours), la valeur de l’heure de début de la plage de données est ignorée et un (autre) rechargement de la (des) table(s) est nécessaire pour filtrer les enregistrements dont la valeur de la colonne de temps correspondante est trop ancienne.

Il est donc recommandé de définir l’heure de début de la plage de données avant de commencer la première ingestion d’une table (et donc aussi avant de l’activer).

Par exemple, si les tables table1 et table2 ont les colonnes d’heure requises, pour définir l”heure de début de la plage de données à 2022-11-23 07:00:00 UTC pour ces deux tables, exécutez la commande suivante :

CALL CONFIGURE_TABLES_RANGE_START(['table1', 'table2'], TO_TIMESTAMP_TZ('2022-11-23 07:00:00 +00:00'));
Copy

Ensuite :

  • Pour la table table1, par exemple, si son ingestion n’a pas encore été lancée, tous les enregistrements dont la valeur de la colonne de temps est antérieure à 2022-11-23 07:00:00 ne sont pas ingérés.

  • Pour la table table2, par exemple, si son ingestion a déjà commencé, la valeur de l”heure de début de la plage de données est ignorée dans toutes les synchronisations de données jusqu’au rechargement de cette table. Lors du rechargement, tous les enregistrements dont la valeur de la colonne de temps est antérieure à 2022-11-23 07:00:00 ne sont pas ingérés.

Il est également possible de désactiver l”heure de début de la plage de données. Par exemple, pour la désactiver pour la table table1, exécutez la commande suivante :

CALL CONFIGURE_TABLES_RANGE_START(['table1'], NULL);
Copy

Là encore, si une ingestion de la table table1 a déjà été lancée, le rechargement de cette table est nécessaire pour ingérer tous les enregistrements provenant de ServiceNow®.

Note

Le chargement des données en respectant l”heure de début de la plage de données peut prendre plus de temps que le chargement de toutes les données historiques en raison des performances moindres de la mise à jour incrémentale.

Rechargement de données dans une table

Pour recharger les données d’une table particulière, appelez la procédure stockée RELOAD_TABLE :

CALL RELOAD_TABLE('<table_name>');
Copy

Où :

table_name

Spécifie le nom de la table à recharger.

Lorsque vous appelez la procédure stockée RELOAD_TABLE, le connecteur exécute l’exemple suivant :

  1. Le connecteur suspend temporairement la table d’origine pour l’ingestion.

    Note

    Pendant que la table est rechargée, vous ne pouvez pas réactiver la table pour l’ingestion.

  2. Le connecteur crée une table temporaire distincte pour l’ingestion.

  3. Le connecteur ingère les données dans cette nouvelle table temporaire. Cette table est visible dans la vue CONNECTOR_STATS sous la forme d’une table nommée avec un suffixe __tmp.

    Note

    Chaque rechargement prend en compte la valeur de l’heure de début de la plage de données , ce qui peut restreindre les enregistrements ingérés.

  4. Une fois les données ingérées, le connecteur remplace les données de la table d’origine par les données de la table temporaire.

  5. Le connecteur supprime la table temporaire.

  6. Le connecteur réactive la table d’origine pour l’ingestion.

Pendant ce processus, vous pouvez continuer à interroger les données existantes dans la table d’origine. Cependant, les modifications apportées aux données de la table ServiceNow® ne seront pas répercutées dans la table Snowflake tant que le processus d’ingestion ne sera pas terminé.

Pour éviter de surcharger votre instance ServiceNow®, ne rechargez qu’une seule table à la fois.

Annulation du rechargement de la table

Pour annuler le processus de rechargement des données d’une table, utilisez la procédure stockée CANCEL_RELOAD_TABLE comme indiqué dans l’exemple suivant :

CALL CANCEL_RELOAD_TABLE('<table_name>');
Copy

Où :

table_name

Spécifie le nom de la table dont vous souhaitez annuler le rechargement.

Lorsque vous annulez le rechargement, le connecteur supprime tous les objets temporaires créés pendant le rechargement. La table est alors disponible pour l’ingestion dans le cadre du programme de synchronisation normal.

Configuration de la taille d’une recherche de page unique pour une table

Le connecteur récupère les données d’une table en les divisant en morceaux plus petits appelés pages. Chaque requête d’API auprès de ServiceNow® permet de récupérer une page.

Pour en tenir compte, le connecteur limite le nombre de lignes extraites au cours d’une seule requête API. Cette limite correspond à la taille de la page.

Le connecteur utilise le processus suivant pour déterminer la taille de la page :

  1. Initialement, la taille de page par défaut est fixée à 10 000 lignes.

  2. Si la demande d’extraction échoue pendant l’ingestion parce que la taille de la réponse est dépassée, la taille de la page est progressivement réduite de 1 000, 100, 10 et 1 jusqu’à ce que la demande aboutisse ou que la taille finale de la page soit définie sur 1.

  3. La taille de page obtenue est enregistrée dans l’état du connecteur et cette valeur est utilisée par les demandes suivantes.

La taille de page actuelle d’une table est disponible dans la vue TABLES_STATE. Pour connaître la taille de la page, exécutez la commande suivante :

SELECT PAGE_SIZE FROM TABLES_STATE WHERE TABLE_NAME = '<table_name>';
Copy

Où :

table_name

Spécifie le nom de la table ServiceNow® en cours d’ingestion.

Le processus utilisé par le connecteur pour déterminer la taille de la page peut être source d’inefficacité. Ce processus ne fait que réduire la taille de la page. Il n’augmente pas la taille de la page. Cela peut se produire lorsqu’une table comporte une seule ligne importante qui entraîne la définition d’une valeur inférieure pour la taille de la page.

Pour éviter cette situation, vous pouvez définir manuellement la taille de la page en appelant la procédure stockée RESET_PAGE_SIZE comme le montre l’exemple suivant :

CALL RESET_PAGE_SIZE('<table_name>');
Copy

Où :

table_name

Spécifie le nom de la table ServiceNow® en cours d’ingestion.

Cycle d’ingestion

Les cycles d’ingestion pour une table donnée sont déclenchés selon le calendrier configuré. Un cycle télécharge en boucle toutes les lignes pertinentes divisées en pages mentionnées dans le paragraphe précédent à partir de la table source.

Chargement initial et mises à jour

Dès qu’une page de données est récupérée, elle est insérée dans la table correspondante du journal des événements. À ce stade, les modifications récemment récupérées ne sont pas encore disponibles dans la table de synchronisation ou dans les vues aplaties. Lorsque c’est fait, la demande suivante avec des critères mis à jour est émise tant que des données sont renvoyées. Lorsque le cycle d’ingestion est terminé et qu’il n’y a plus de données à récupérer dans la table source, une tâche de fusion asynchrone est déclenchée, qui prend toutes les modifications du journal des événements insérées depuis la dernière fusion et les applique à la table de synchronisation. Une fois terminé, les données sont disponibles sous forme de tables de synchronisation et de vues aplaties.

Tronquer et charger

En mode Tronquer et charger, une table temporaire est créée pour chaque cycle d’ingestion. Chaque page de lignes récupérée est d’abord insérée dans cette table temporaire (cette table existe dans le schéma interne du connecteur et n’est pas accessible aux utilisateurs du connecteur). À ce stade, les modifications récemment récupérées ne sont pas encore disponibles dans la table de synchronisation ou dans les vues aplaties ; elles affichent toujours les données récupérées lors de l’exécution précédente. Lorsque le cycle d’ingestion est terminé et qu’il n’y a plus de données disponibles dans la table source, les données de la table temporaire remplacent les données existantes dans la table de synchronisation. Toutes les lignes extraites sont également ajoutées au journal des événements. À la fin, la table temporaire est supprimée.

Suivi des progrès

Pour vérifier le statut d’un cycle d’ingestion en cours ou passé, vous pouvez effectuer une requête dans la vue CONNECTOR_STATS. Elle est visible dans la colonne STATUS. La valeur DONE n’est attribuée que si les données ont été récupérées avec succès et que toutes les modifications ont été appliquées à la table de synchronisation. Lorsque l’ingestion est en cours ou que la fusion vers la table de synchronisation/le remplacement des lignes dans la table de synchronisation n’est pas encore terminé, le statut est RUNNING.

Prochaines étapes

Après avoir configuré l’ingestion, exécutez les étapes décrites à la section Accès aux données ServiceNow® dans Snowflake pour afficher les données ServiceNow® et y accéder.