Configuration de l’ingestion de données pour vos données ServiceNow®¶
Snowflake Connector pour ServiceNow® V2 est soumis aux Conditions de Snowflake Connector.
Ce chapitre explique comment configurer l’ingestion de données pour le Snowflake Connector for ServiceNow®V2.
Note
Snowflake Connector for ServiceNow®V2 ingère les données de tables ServiceNow® dans Snowflake. L’ingestion de données dépend de v2
de l”API de table ServiceNow®.
Dans ce chapitre :
Stratégies d’ingestion de tables ServiceNow®¶
Note
Le connecteur ne peut uniquement ingérer que des tables comportant des colonnes
sys_id
.Les vues ServiceNow ne sont pas prises en charge. Au lieu d’ingérer ces vues, vous devriez synchroniser toutes les tables pour la vue sous-jacente et joindre les tables synchronisées dans Snowflake.
Le connecteur utilise différentes stratégies d’ingestion, en fonction du schéma de la table. Le connecteur utilise trois modes d’ingestion :
Le chargement initial des données se produit pour chaque table lorsque la table est activée pour la synchronisation.
Dans ce mode, la table est ingérée en parcourant les enregistrements identifiés par les IDs de la colonne
sys_id
. Une fois que tous les enregistrements ont été ingérés, la phase de chargement initial est terminée. Pour certaines tables, vous pouvez également définir la valeur correspondant aux heures de début des plages de données qui peut restreindre les enregistrements à ingérer.Les mises à jour incrémentielles ne se produisent que pour les tables comportant des colonnes
sys_updated_on
ousys_created_on
.Les mises à jour incrémentielles commencent après le chargement initial et se déroulent selon un calendrier régulier que vous pouvez configurer. Dans ce mode, le connecteur n’ingère que les enregistrements qui ont été ajoutés, mis à jour ou supprimés depuis la dernière synchronisation.
Note
Les informations sur les suppressions proviennent de la table de journal fournie lors de la configuration du connecteur.
Pour les tables qui n’ont pas de colonnes
sys_updated_on
ousys_created_on
, le connecteur utilise le mode tronquer et charger.Dans ce mode, la table est toujours ingérée en utilisant l’approche du chargement initial, et les nouvelles données ingérées remplacent les anciennes. Le connecteur remplace les données en exécutant la commande
INSERT OVERWRITE
.
Note
En mode « mises à jour incrémentielles », le connecteur utilise la colonne
sys_updated_on
si celle-ci est présente.Si la colonne n’est pas présente, le connecteur utilise la colonne
sys_created_on
à la place.Pour les tables pivotées, le connecteur utilise toujours la colonne
sys_created_on
. Si la table est pivotée en utilisant une colonne différente desys_created_on
, l’ingestion de cette table peut entraîner des problèmes de performance.
Note
Si les champs
sys_updated_on
ousys_created_on
ne sont pas mis à jour lorsque l’enregistrement est modifié dans ServiceNow, ces modifications ne seront pas transmises à Snowflake, ce qui entraîne une incohérence des données. Snowflake vous recommande d’éviter de désactiver la mise à jour des champs du système.Si la suppression d’un enregistrement n’est pas auditée, les informations sur les enregistrements supprimés ne seront pas transmises à Snowflake, ce qui entraînera une incohérence des données.
Note
En raison des restrictions imposées aux APIs REST Snowflake et ServiceNow®, le connecteur ne peut pas ingérer une table si une seule ligne dépasse 16 MB de données. Dans ce cas, le connecteur tente d’ingérer des données à la fréquence définie dans la planification. Si une ligne dépasse la limite, le connecteur génère un message d’erreur et poursuit l’ingestion d’une autre table. Pour surmonter cette limitation, vous pouvez configurer le filtrage de colonnes de sorte à exclure les colonnes volumineuses de l’ingestion.
Enregistrements archivés¶
Le connecteur ne reflète pas activement les enregistrements archivés dans ServiceNow côté Snowflake pour les tables ingérées. Si vous archivez des enregistrements inactifs antérieurs à une certaine date, les règles suivantes s’appliquent :
Aucun enregistrement archivé avant son ingestion par le connecteur (par exemple, avant le chargement initial de la table) ne sera présent dans la table côté Snowflake.
Tout enregistrement archivé après avoir été ingéré par le connecteur reste côté Snowflake sans aucune indication de l’action d’archivage.
Aucun enregistrement archivé restauré pour une table qui fonctionne déjà en mode de mises à jour incrémentielles ne sera ingéré côté Snowflake, sauf si cet enregistrement est également modifié par la suite (avec sa valeur
sys_updated_on
mise à jour à l’heure actuelle).Un enregistrement archivé restauré lors du chargement initial de la table peut être ingéré côté Snowflake suivant son ID dans la colonne
sys_id
.
Si vous souhaitez mettre à jour la table avec une règle d’archivage active, vous pouvez recharger la table entière, mais tout enregistrement archivé ou restauré après le rechargement suivra les mêmes principes que ceux énumérés ci-dessus.
Les tables d’archivage ServiceNow ar_[table_name]
peuvent être activées à des fins de synchronisation. Toutefois, la première mise à jour incrémentielle qui suit le chargement initial de cette table fait l’objet de recherches pour trouver les enregistrements créés/mis à jour après la date de début du chargement initial de la table d’archivage. Comme ni sys_updated_on
, ni sys_created_on
ne sont modifiés lorsque l’enregistrement est archivé, les enregistrements archivés après le chargement initial de la table d’archivage jusqu’à un moment donné n’y figurent pas côté Snowflake. Par exemple, si vous archivez des enregistrements datant de plus d’un an, aucun enregistrement archivé pendant un an après le chargement initial de la table d’archivage n’est ingéré dans la table d’archivage côté Snowflake. Les enregistrements archivés qui ont été restaurés ou supprimés par une règle de destruction à la suite du chargement initial d’une table d’archivage ne sont jamais supprimés de celle-ci côté Snowflake.
Ingestion parallèle de tables ServiceNow®¶
Le connecteur ingère quelques tables en parallèle, mais l’ingestion de chaque table individuelle est un processus synchrone. Cela signifie que l’ingestion de tables volumineuses peut empêcher le connecteur de mettre à jour d’autres tables. Ce problème est plus susceptible de se produire pendant la phase de chargement initial que pendant les autres phases. Par défaut, le connecteur utilise 10 threads de travail, ce qui est considéré comme une valeur optimale pour ne pas surcharger l’instance ServiceNow®. Si vous êtes sûr(e) que votre instance peut prendre en charge une concurrence supplémentaire, vous pouvez augmenter cette valeur jusqu’à un maximum de 30 en appelant la procédure CONFIGURE_CONCURRENCY.
Configuration de l’ingestion de données à l’aide de Snowsight¶
Pour configurer l’ingestion de données via Snowsight, procédez comme suit :
Connectez-vous à Snowsight en tant qu’utilisateur ayant le rôle ACCOUNTADMIN.
Dans le menu de navigation, sélectionnez Data Products » Apps.
Recherchez l’application Snowflake Connector for ServiceNow® V2, puis sélectionnez la vignette du connecteur.
Sur la page de Snowflake Connector for ServiceNow®V2, sélectionnez l’onglet Data Sync.
Une liste de toutes les tables ServiceNow® apparaît.
Note
Le connecteur ne peut uniquement ingérer que des tables comportant des colonnes
sys_id
.Sélectionnez les tables que vous souhaitez ingérer :
Recherchez la table que vous souhaitez ingérer.
Cochez la case de la colonne Status à gauche de la table que vous souhaitez sélectionner.
Sous Sync Schedule, sélectionnez la fréquence de synchronisation de la table entre Snowflake et ServiceNow®.
Répétez ces étapes pour chaque table que vous souhaitez ingérer dans Snowflake.
Sélectionnez l’en-tête de la colonne Status pour voir les tables que vous avez actuellement sélectionnées.
Sélectionnez Start sync pour commencer à ingérer des données dans votre compte Snowflake.
Le statut du connecteur passe à Syncing data. Lorsqu’au moins une des tables est ingérée avec succès, le statut du connecteur devient Last Sync: just now.
Reportez-vous à Surveillance du Snowflake Connector for ServiceNow®V2 pour savoir comment visualiser le contenu des tables dans Snowflake.
Modification de l’ingestion de données à l’aide de Snowsight¶
Pour modifier les tables ServiceNow® à ingérer ou la planification de synchronisation des tables, procédez comme suit :
Connectez-vous à Snowsight en tant qu’utilisateur ayant le rôle ACCOUNTADMIN.
Dans le menu de navigation, sélectionnez Data Products » Apps.
Recherchez l’application Snowflake Connector for ServiceNow® V2, puis sélectionnez la vignette du connecteur.
Dans la page Snowflake Connector for ServiceNow®V2, sélectionnez Data Sync.
Sélectionnez le bouton Edit tables pour passer en mode d’édition.
Modifiez les tables que vous souhaitez ingérer :
Recherchez la table que vous souhaitez ingérer.
Cochez la case de la colonne Status à gauche de la table que vous souhaitez sélectionner ou désélectionner.
Sous Sync Schedule, sélectionnez la fréquence de synchronisation de la table entre Snowflake et ServiceNow®.
Sélectionnez Update data sync.
Configuration de l’ingestion de données à l’aide d’instructions SQL¶
Pour configurer l’ingestion de données à l’aide d’instructions SQL, procédez comme suit :
Note
Pour configurer ces paramètres, vous utilisez des procédures stockées définies dans le schéma PUBLIC de la base de données qui sert d’instance au connecteur.
Avant d’appeler ces procédures stockées, sélectionnez cette base de données comme base de données à utiliser pour la session.
Par exemple, si la base de données s’appelle my_connector_servicenow
, exécutez la commande suivante :
USE DATABASE my_connector_servicenow;
Activation ou désactivation de la synchronisation des tables¶
Cette section explique comment activer ou désactiver la synchronisation d’une table dans ServiceNow®. L’activation de la synchronisation peut être effectuée avec une configuration par défaut et une configuration personnalisée.
Activation de plusieurs tables à l’aide de la configuration par défaut¶
Pour activer la synchronisation des données d’au moins une table dans ServiceNow®, appelez la procédure stockée ENABLE_TABLES
avec les arguments suivants :
CALL ENABLE_TABLES(<tables_to_enable>);
Où :
tables_to_enable
Spécifie un tableau de noms de table ServiceNow®.
Utilisez le nom de table et non l’étiquette affichée dans l’UI ServiceNow®. Vous pouvez trouver le nom de la table dans les tables du dictionnaire de données dans ServiceNow. Dans l’UI ServiceNow®, accédez à System Definition » Tables. La colonne Name affiche le nom de la table.
Par exemple, pour activer la synchronisation des tables nommées table1
, table2
, et table3
, exécutez la commande suivante :
CALL ENABLE_TABLES(['table1', 'table2', 'table3']);
Désactivation de plusieurs tables¶
Pour désactiver la synchronisation des données de table d’une table spécifique dans ServiceNow®, appelez la procédure stockée DISABLE_TABLES
avec les arguments suivants :
CALL DISABLE_TABLES(<tables_to_disable>);
Où :
tables_to_disable
Spécifie un tableau de noms de table ServiceNow®.
Utilisez le nom de table et non l’étiquette affichée dans l’UI ServiceNow®. Vous pouvez trouver le nom de la table dans les tables du dictionnaire de données dans ServiceNow. Dans l’UI ServiceNow®, accédez à System Definition » Tables. La colonne Name affiche le nom de la table.
Par exemple, pour désactiver la synchronisation des tables nommées table1
et table2
, exécutez la commande suivante :
CALL DISABLE_TABLES(['table1', 'table2']);
La désactivation de la table arrête la synchronisation en douceur, dès que possible. Lorsque la synchronisation des tables est réactivée, l’ingestion reprend là où elle avait été interrompue.
Note
La désactivation de la synchronisation de toutes les tables ne signifie pas que Snowflake Connector for ServiceNow®V2 cessera d’engendrer des coûts. Les tâches en arrière-plan telles que celles associées aux notifications peuvent continuer à s’exécuter.
Les procédures ENABLE_TABLES
et DISABLE_TABLES
ajoutent les noms de tables spécifiés à la vue CONFIGURED_TABLES
.
Note
Le connecteur ne prend pas en charge les retours en arrière ou les récupérations de suppression dans ServiceNow®.
L’utilisation des fonctions de retour en arrière et de suppression de la restauration peut entraîner une incohérence des données. Les enregistrements récupérés dans ServiceNow® peuvent encore être marqués comme supprimés dans Snowflake. Pour résoudre ce problème, vous pouvez recharger la table.
Activation d’une seule table à l’aide d’une configuration personnalisée¶
Pour activer la synchronisation des données d’une table spécifique avec une configuration personnalisée dans ServiceNow®, appelez la procédure stockée ENABLE_TABLE
avec les arguments suivants :
CALL ENABLE_TABLE('<table_to_enable>', <table_config>);
Où :
table_to_enable
Spécifie un nom de table ServiceNow®.
table_config
En option, spécifie un objet avec une configuration d’ingestion de table. Si aucune table n’est spécifiée, l’ingestion utilise la configuration par défaut.
Les configurations actuellement prises en charge sont les suivantes :
filtrage de colonnes, où vous pouvez fournir la propriété
include_columns
ouexclude_columns
avec une liste de noms de colonne,filtrage de lignes, où vous pouvez fournir la propriété
filter
avec une expression de filtre,planification de synchronisation, où vous pouvez fournir la propriété
schedule
avec une planification d’ingestion personnalisée.
Note
Toutes les configurations personnalisées peuvent être combinées en un seul objet et utilisées simultanément pour une seule ingestion de table, par exemple pour permettre l’ingestion d’une table
sys_audit
avec la configuration ci-dessous :la table doit être synchronisée tous les samedis à 10h00 AM UTC,
seules les colonnes
newvalue
etreason
doivent être ingérées,seules les lignes dont la colonne
newvalue
commence par la chaîneprivacy
doivent être ingérées,
exécutez la commande suivante :
CALL ENABLE_TABLE('sys_audit', { 'schedule': { 'type': 'custom', 'value': { 'hour': 10, 'day_of_week': '6' } }, 'include_columns': ['newvalue', 'reason'], 'row_filter': 'newvalue STARTSWITH "privacy"' });
Activation d’une seule table à l’aide du filtrage de colonnes¶
Si vous n’avez pas besoin de toutes les colonnes d’une table ServiceNow® dans Snowflake, le connecteur peut les ignorer. Par exemple, ignorez des colonnes si une seule ligne dépasse la taille de ligne maximale de 16 MB.
Pour activer l’ingestion de tables avec les colonnes spécifiées, exécutez la commande suivante :
CALL ENABLE_TABLE('<table_to_enable>', <table_config>);
Où :
table_to_enable
Spécifie un nom de table ServiceNow®.
table_config
Objet comprenant la propriété
include_columns
ouexclude_columns
avec une liste de noms de colonne. Sisys_id
,sys_created_on
etsys_updated_on
existent, ils sont toujours inclus. Vous n’avez pas besoin de les ajouter au tableauincluded_columns
et vous ne pouvez pas les exclure viaexcluded_columns
, car le connecteur les utilise dans le processus d’ingestion.
Note
Étant donné que les colonnes de ServiceNow® sont écrites en minuscules et que l’API que le connecteur utilise est sensible à la casse, les valeurs fournies pour les colonnes spécifiées doivent également être en minuscules.
Note
Vous ne devez pas fournir à la fois include_columns
et exclude_columns
. Si vous voulez dresser la liste de include_columns
, vous devez ignorer la propriété exclude_columns
, et inversement. Si les deux tableaux ne sont pas vides et qu’il n’y a pas de colonnes contradictoires, include_columns
a la priorité sur exclude_columns
.
Si include_columns
et exclude_columns
sont tous deux des tableaux vides, toutes les colonnes disponibles seront ingérées.
Par exemple, avec une table ServiceNow® nommée u_table
avec les colonnes sys_id
, sys_updated_on
, col_1
et col_2
et exécutant :
CALL ENABLE_TABLE('u_table', { 'include_columns': ['sys_id', 'sys_updated_on'] });
n’ingérera que les colonnes sys_id
et sys_updated_on
pour la table donnée, mais l’appel à :
CALL ENABLE_TABLE('u_table', { 'exclude_columns': ['col_1'] });
ingérera sys_id
, sys_updated_on
et aussi col_2
.
Le connecteur valide les colonnes fournies et rejette la demande d’activation si l’une des colonnes n’est pas disponible dans ServiceNow®. L’API ServiceNow® prend uniquement en charge le mode d’inclusion. En conséquence, le connecteur transforme les tableaux de colonnes fournis en liste de colonnes incluses et les envoie avec chaque requête auprès de ServiceNow®. Il se peut que l’URL avec les colonnes incluses soit trop longue pour être traitée par ServiceNow®. Le connecteur valide cette limitation lorsque ENABLE_TABLE
est invoqué.
La configuration des colonnes pour chaque table se trouve dans la colonne INCLUDED_COLUMNS
de la vue CONFIGURED_TABLES
. Pour modifier la liste des colonnes ingérées, vous devez d’abord désactiver la table concernée. Si le filtrage des colonnes est configuré pour une table, vous pouvez activer la table uniquement à l’aide de la procédure ENABLE_TABLE
. Vous ne pouvez pas utiliser ENABLE_TABLES
, qui accepte une liste de tables comme argument.
Les vues aplaties ne comprennent que les colonnes spécifiées lors de l’activation de la table. Elles sont mises à jour chaque fois que la liste des colonnes incluses est modifiée. Si le filtrage de colonnes n’est pas configuré, les vues contiennent toutes les colonnes disponibles.
Note
Le changement de configuration n’affecte pas les données précédemment ingérées. Le filtrage des colonnes ne s’applique qu’aux enregistrements nouvellement ingérés. Pour appliquer le filtre aux données précédemment ingérées, il faut que la table soit rechargée.
Activation d’une seule table à l’aide du filtrage de lignes¶
Vous pouvez exclure l’ingestion de données pour certaines lignes d’une table ServiceNow® en spécifiant une condition de filtre. Par exemple, pour exclure les lignes qui incluent des données sensibles que vous ne souhaitez pas dans Snowflake ou pour exclure les lignes qui incluent des données inutiles afin de réduire les coûts.
Pour activer l’ingestion de tables avec le filtre de lignes spécifié, exécutez la commande suivante :
CALL ENABLE_TABLE('<table_to_enable>', <table_config>);
Où :
table_to_enable
Spécifie un nom de table ServiceNow®.
table_config
Objet comprenant la propriété
row_filter
avec une expression de filtre, qui est une chaîne valide.Les opérateurs de filtre actuellement pris en charge sont les suivants :
Opérateur
Description
Exemple
AND
Opérateur logique permettant de joindre des conditions, où les deux conditions doivent être remplies.
active = "true" AND impact = "2"
OR
Opérateur logique permettant de joindre des conditions, où au moins l’une des conditions doit être remplie.
Important
A priorité sur l’opérateur
AND
. Voir les exemples ci-dessous.tablename = "incident" OR tablename = "problem"
=
Vérifie si les valeurs sont égales.
priority = "1"
!=
Vérifie si les valeurs ne sont pas égales.
state != "7"
LIKE
Vérifie si la valeur contient la séquence de caractères spécifiée.*
newvalue LIKE "privacy"
STARTSWITH
Vérifie si la valeur commence par la séquence de caractères spécifiée.*
description STARTSWITH "important"
ENDSWITH
Vérifie si la valeur se termine par la séquence de caractères spécifiée.*
description ENDSWITH "important"
IN
Vérifie si la valeur est égale à l’une des valeurs de la liste.**
tablename IN ("incident", "task", "cmdb_ci")
(*) - le type de données des champs doit être
string
. (**) - les champs de choix doivent contenir des chaînes.Règles et limitations des expressions de filtre :
deux expressions de filtre, quelles qu’elles soient, doivent être jointes à l’aide de l’opérateur
AND
ouOR
.Les opérateurs doivent être séparés par un espace et en majuscules.
Les expressions de valeur doivent être placées entre guillemets doubles.
Les expressions sont sensibles à la casse.
L’expression ne peut pas fonctionner sur une colonne
sys_id
,sys_updated_on
ousys_created_on
.
Note
Les modifications de configuration n’affectent pas les données précédemment ingérées. Le filtrage de lignes ne s’applique qu’aux nouveaux enregistrements ingérés. Pour appliquer le filtre aux données déjà ingérées, il faut que la table soit rechargée.
Exemples¶
Pour activer l’ingestion de la table
sys_audit
, mais synchroniser uniquement les lignes associées aux incidents de confidentialité dans la tableINCIDENT
, exécutez :
CALL ENABLE_TABLE('sys_audit', {
'row_filter': 'tablename = "incident" AND fieldname = "cause" AND newvalue LIKE "privacy"'
});
Pour activer l’ingestion de la table
incident
, mais synchroniser uniquement les lignes dans des conditions telles que :le champ
active
est égal àtrue
,le champ
sys_created_by
commence parsupport
ou se termine paradmin
,le champ
category
estNetwork
ouCloud Management
,
exécutez :
CALL ENABLE_TABLE('incident', {
'row_filter': 'active = "true" AND sys_created_by STARTSWITH "support" OR sys_created_by ENDSWITH "admin" AND category IN ("Network", "Cloud Management")'
});
Pour activer l’ingestion de la table
incident
, mais ingérer uniquement les lignes à l’état d’incident spécifié et uniquement les colonnes données, exécutez :
CALL ENABLE_TABLE('incident', {
'row_filter': 'incident_state IN ("1", "2", "3")', -- "New", "In Progress", "On Hold"
'include_columns': ['incident_state', 'description']
});
Spécification du calendrier de synchronisation¶
Snowflake Connector for ServiceNow®V2 synchronise les données de toutes les tables ServiceNow® avec Snowflake selon une planification spécifiée. Par défaut, toutes les tables sont synchronisées une fois par heure (1h).
Pour modifier le calendrier de synchronisation par défaut pour toutes les tables, appelez la procédure stockée CONFIGURE_DATA_INGESTION_SCHEDULE
avec les arguments suivants :
CALL CONFIGURE_DATA_INGESTION_SCHEDULE(<schedule>);
Où :
schedule
Spécifie la fréquence de la synchronisation. Vous pouvez spécifier l’une des valeurs JSON suivantes :
{ 'type': 'interval', 'value': '<valeur_intervalle>' }
, oùinterval_value
est l’une des valeurs de chaîne suivantes :
'30m'
'1h'
'3h'
'6h'
'12h'
'1d'
{ 'type': 'custom', 'value': { 'hour': <heure>, 'day_of_week': '<jour_de_la_semaine>' } }
, oùhour
spécifie l’heure dans le fuseau horaire UTC à laquelle l’ingestion doit commencer, etday_of_week
spécifie le jour de la semaine où l’ingestion doit être effectuée. Il est possible d’utiliser des expressions spéciales comme jours de la semaine :
'*'
pour exécuter l’intégration tous les jours.
'1-3'
pour exécuter l’intégration du lundi au mercredi.
'0,5,6'
pour exécuter l’intégration le vendredi, le samedi et le dimanche.Les valeurs possibles pouvant être utilisées dans l’expression pour la configuration
day_of_week
sont :
'0'
- Dimanche
'1'
- Lundi
'2'
- Mardi
'3'
- Mercredi
'4'
- Jeudi
'5'
- Vendredi
'6'
- SamediLes autres valeurs non numériques telles que
'5L'
indiquant le dernier vendredi d’un mois ou'FRI-SUN'
indiquant la plage du vendredi au dimanche ne sont pas prises en charge.
Il est possible de configurer la planification d’ingestion d’une table spécifique lors de son activation. Pour activer une seule table et définir sa planification d’ingestion, appelez la procédure stockée ENABLE_TABLE
avec les arguments suivants :
CALL ENABLE_TABLE('<table_name>', <table_config>);
Où :
table_name
Spécifie un nom de table ServiceNow® à activer.
table_config
Objet incluant la propriété
schedule
, qui spécifie la configuration de la synchronisation de la table. Pour des informations détaillées, voirschedule
de la procédure stockéeCONFIGURE_DATA_INGESTION_SCHEDULE
.
Par exemple, pour activer l’ingestion de la table table_1
et synchroniser les données toutes les 3 heures, appelez la procédure stockée suivante :
CALL ENABLE_TABLE('table_1', { 'schedule': { 'type': 'interval', 'value': '3h' } });
Le connecteur vous permet également de spécifier un calendrier différent pour chaque table dont la synchronisation est activée. Pour modifier le calendrier de synchronisation pour un ensemble sélectionné de tables, appelez la procédure stockée CONFIGURE_TABLES_SCHEDULE
avec les arguments suivants :
CALL CONFIGURE_TABLES_SCHEDULE(<table_names>, <schedule>);
Où :
table_names
Spécifie un tableau de noms de tables pour lesquelles vous souhaitez configurer le calendrier de synchronisation.
schedule
Spécifie la fréquence de la synchronisation. Pour des informations détaillées, voir
schedule
de la procédure stockéeCONFIGURE_DATA_INGESTION_SCHEDULE
.
Par exemple, pour ingérer les tables table_1
et table_2
chaque samedi et dimanche à 11:00 PM UTC, appelez la procédure stockée suivante :
CALL CONFIGURE_TABLES_SCHEDULE(['table_1', 'table_2'], { 'type': 'custom', 'value': { 'hour': 23, 'day_of_week': '0,6' } });
Par défaut, le connecteur tente de démarrer l’ingestion dans une fenêtre temporelle de trois heures à partir de l’heure de démarrage planifiée. S’il n’est pas possible de démarrer l’ingestion dans ce délai, par exemple lorsque le connecteur ingère d’autres tables, l’exécution planifiée actuelle n’est pas exécutée. Le connecteur tente d’exécuter l’ingestion à la prochaine période planifiée. Il est possible de modifier la durée de la période en appelant la procédure stockée CONFIGURE_CUSTOM_SCHEDULE_START_INGESTION_WINDOW
:
CALL CONFIGURE_CUSTOM_SCHEDULE_START_INGESTION_WINDOW(<window_length>);
où window_length
est la durée de la fenêtre au format de durée ISO 8601. La durée doit être arrondie à l’heure entière suivante et doit être d’au moins une heure. Par exemple, la valeur 'PT12H'
indique une fenêtre qui dure 12 heures, et 'P2D'
indique une fenêtre qui dure deux jours.
Si vous n’activez que des tables avec des planifications personnalisées, cette configuration n’affecte que le temps nécessaire à la création et à l’actualisation des vues aplaties pour les tables configurées. Les vues aplaties sont créées lors du premier cycle d’ingestion lorsque les conditions suivantes sont remplies :
L’ingestion des tables de métadonnées est terminée
L’ingestion de la table configurée a commencé.
Si les alertes par e-mail sont activées, Snowflake recommande de remplacer la fréquence des alertes par Once per day lors de l’utilisation de la planification personnalisée.
Spécification des heures de début des plages de données¶
Par défaut, Snowflake Connector for ServiceNow®V2 synchronise tous les enregistrements des tables ServiceNow® correspondantes. Pour les tables comportant des colonnes sys_updated_on
ou sys_created_on
(désormais appelées colonnes de temps), il est possible de restreindre la plage de données synchronisées en définissant une heure de début de la plage de données, c’est-à-dire une limite inférieure pour la valeur de la colonne de temps correspondante des enregistrements.
Avec une telle configuration, les enregistrements dont la valeur de la colonne d’heure correspondante est antérieure à l”horodatage de début de la plage de données ne sont pas ingérés. La colonne de temps correspondante utilisée par cette procédure est déterminée de la même manière que pour les mises à jour incrémentales.
Pour modifier la valeur de l’heure de début de la plage de données, appelez la procédure stockée CONFIGURE_TABLES_RANGE_START
avec les arguments suivants :
CALL CONFIGURE_TABLES_RANGE_START(<table_names>, <range_start>);
Où :
table_names
Spécifie un tableau de noms de tables pour lesquelles vous souhaitez configurer l’heure de début de la plage de données.
range_start
Horodatage spécifiant l”heure de début de la plage de données au format TIMESTAMP_TZ ou NULL pour annuler la valeur actuelle.
Note
Vous ne pouvez pas définir l’heure de début de la plage de données pour les tables ne comportant ni la colonne sys_updated_on
ni la colonne sys_created_on
.
Si l’ingestion de la table n’a pas encore commencé, la valeur de l’heure de début de la plage de données est prise en compte lors de la première ingestion.
Si l’ingestion de la table a déjà commencé (par exemple, un rechargement est en cours), la valeur de l’heure de début de la plage de données est ignorée et un (autre) rechargement de la (des) table(s) est nécessaire pour filtrer les enregistrements dont la valeur de la colonne de temps correspondante est trop ancienne.
Il est donc recommandé de définir l’heure de début de la plage de données avant de commencer la première ingestion d’une table (et donc aussi avant de l’activer).
Par exemple, si les tables table1
et table2
ont les colonnes d’heure requises, pour définir l”heure de début de la plage de données à 2022-11-23 07:00:00 UTC pour ces deux tables, exécutez la commande suivante :
CALL CONFIGURE_TABLES_RANGE_START(['table1', 'table2'], TO_TIMESTAMP_TZ('2022-11-23 07:00:00 +00:00'));
Ensuite :
Pour la table
table1
, par exemple, si son ingestion n’a pas encore été lancée, tous les enregistrements dont la valeur de la colonne de temps est antérieure à 2022-11-23 07:00:00 ne sont pas ingérés.Pour la table
table2
, par exemple, si son ingestion a déjà commencé, la valeur de l”heure de début de la plage de données est ignorée dans toutes les synchronisations de données jusqu’au rechargement de cette table. Lors du rechargement, tous les enregistrements dont la valeur de la colonne de temps est antérieure à 2022-11-23 07:00:00 ne sont pas ingérés.
Il est également possible de désactiver l”heure de début de la plage de données. Par exemple, pour la désactiver pour la table table1
, exécutez la commande suivante :
CALL CONFIGURE_TABLES_RANGE_START(['table1'], NULL);
Là encore, si une ingestion de la table table1
a déjà été lancée, le rechargement de cette table est nécessaire pour ingérer tous les enregistrements provenant de ServiceNow®.
Note
Le chargement des données en respectant l”heure de début de la plage de données peut prendre plus de temps que le chargement de toutes les données historiques en raison des performances moindres de la mise à jour incrémentale.
Rechargement de données dans une table¶
Pour recharger les données d’une table particulière, appelez la procédure stockée RELOAD_TABLE
:
CALL RELOAD_TABLE('<table_name>');
Où :
table_name
Spécifie le nom de la table à recharger.
Lorsque vous appelez la procédure stockée RELOAD_TABLE
, le connecteur exécute l’exemple suivant :
Le connecteur suspend temporairement la table d’origine pour l’ingestion.
Note
Pendant que la table est rechargée, vous ne pouvez pas réactiver la table pour l’ingestion.
Le connecteur crée une table temporaire distincte pour l’ingestion.
Le connecteur ingère les données dans cette nouvelle table temporaire. Cette table est visible dans la vue CONNECTOR_STATS sous la forme d’une table nommée avec un suffixe
__tmp
.Note
Chaque rechargement prend en compte la valeur de l’heure de début de la plage de données , ce qui peut restreindre les enregistrements ingérés.
Une fois les données ingérées, le connecteur remplace les données de la table d’origine par les données de la table temporaire.
Le connecteur supprime la table temporaire.
Le connecteur réactive la table d’origine pour l’ingestion.
Pendant ce processus, vous pouvez continuer à interroger les données existantes dans la table d’origine. Cependant, les modifications apportées aux données de la table ServiceNow® ne seront pas répercutées dans la table Snowflake tant que le processus d’ingestion ne sera pas terminé.
Pour éviter de surcharger votre instance ServiceNow®, ne rechargez qu’une seule table à la fois.
Annulation du rechargement de la table¶
Pour annuler le processus de rechargement des données d’une table, utilisez la procédure stockée CANCEL_RELOAD_TABLE
comme indiqué dans l’exemple suivant :
CALL CANCEL_RELOAD_TABLE('<table_name>');
Où :
table_name
Spécifie le nom de la table dont vous souhaitez annuler le rechargement.
Lorsque vous annulez le rechargement, le connecteur supprime tous les objets temporaires créés pendant le rechargement. La table est alors disponible pour l’ingestion dans le cadre du programme de synchronisation normal.
Configuration de la taille d’une recherche de page unique pour une table¶
Le connecteur récupère les données d’une table en les divisant en morceaux plus petits appelés pages. Chaque requête d’API auprès de ServiceNow® permet de récupérer une page.
Pour en tenir compte, le connecteur limite le nombre de lignes extraites au cours d’une seule requête API. Cette limite correspond à la taille de la page.
Le connecteur utilise le processus suivant pour déterminer la taille de la page :
Initialement, la taille de page par défaut est fixée à 10 000 lignes.
Si la demande d’extraction échoue pendant l’ingestion parce que la taille de la réponse est dépassée, la taille de la page est progressivement réduite de 1 000, 100, 10 et 1 jusqu’à ce que la demande aboutisse ou que la taille finale de la page soit définie sur 1.
La taille de page obtenue est enregistrée dans l’état du connecteur et cette valeur est utilisée par les demandes suivantes.
La taille de page actuelle d’une table est disponible dans la vue TABLES_STATE
. Pour connaître la taille de la page, exécutez la commande suivante :
SELECT PAGE_SIZE FROM TABLES_STATE WHERE TABLE_NAME = '<table_name>';
Où :
table_name
Spécifie le nom de la table ServiceNow® en cours d’ingestion.
Le processus utilisé par le connecteur pour déterminer la taille de la page peut être source d’inefficacité. Ce processus ne fait que réduire la taille de la page. Il n’augmente pas la taille de la page. Cela peut se produire lorsqu’une table comporte une seule ligne importante qui entraîne la définition d’une valeur inférieure pour la taille de la page.
Pour éviter cette situation, vous pouvez définir manuellement la taille de la page en appelant la procédure stockée RESET_PAGE_SIZE
comme le montre l’exemple suivant :
CALL RESET_PAGE_SIZE('<table_name>');
Où :
table_name
Spécifie le nom de la table ServiceNow® en cours d’ingestion.
Cycle d’ingestion¶
Les cycles d’ingestion pour une table donnée sont déclenchés selon le calendrier configuré. Un cycle télécharge en boucle toutes les lignes pertinentes divisées en pages mentionnées dans le paragraphe précédent à partir de la table source.
Chargement initial et mises à jour
Dès qu’une page de données est récupérée, elle est insérée dans la table correspondante du journal des événements. À ce stade, les modifications récemment récupérées ne sont pas encore disponibles dans la table de synchronisation ou dans les vues aplaties. Lorsque c’est fait, la demande suivante avec des critères mis à jour est émise tant que des données sont renvoyées. Lorsque le cycle d’ingestion est terminé et qu’il n’y a plus de données à récupérer dans la table source, une tâche de fusion asynchrone est déclenchée, qui prend toutes les modifications du journal des événements insérées depuis la dernière fusion et les applique à la table de synchronisation. Une fois terminé, les données sont disponibles sous forme de tables de synchronisation et de vues aplaties.
Tronquer et charger
En mode Tronquer et charger, une table temporaire est créée pour chaque cycle d’ingestion. Chaque page de lignes récupérée est d’abord insérée dans cette table temporaire (cette table existe dans le schéma interne du connecteur et n’est pas accessible aux utilisateurs du connecteur). À ce stade, les modifications récemment récupérées ne sont pas encore disponibles dans la table de synchronisation ou dans les vues aplaties ; elles affichent toujours les données récupérées lors de l’exécution précédente. Lorsque le cycle d’ingestion est terminé et qu’il n’y a plus de données disponibles dans la table source, les données de la table temporaire remplacent les données existantes dans la table de synchronisation. Toutes les lignes extraites sont également ajoutées au journal des événements. À la fin, la table temporaire est supprimée.
Suivi des progrès
Pour vérifier le statut d’un cycle d’ingestion en cours ou passé, vous pouvez effectuer une requête dans la vue CONNECTOR_STATS
. Elle est visible dans la colonne STATUS
. La valeur DONE
n’est attribuée que si les données ont été récupérées avec succès et que toutes les modifications ont été appliquées à la table de synchronisation. Lorsque l’ingestion est en cours ou que la fusion vers la table de synchronisation/le remplacement des lignes dans la table de synchronisation n’est pas encore terminé, le statut est RUNNING
.
Prochaines étapes¶
Après avoir configuré l’ingestion, exécutez les étapes décrites à la section Accès aux données ServiceNow® dans Snowflake pour afficher les données ServiceNow® et y accéder.