Gouvernance des coûts de Snowflake Connector for MySQL

Note

Le Snowflake Connector for MySQL est soumis aux Conditions du connecteur.

Ce chapitre présente les meilleures pratiques en matière de gouvernance des coûts et de recherche de la taille d’entrepôt optimale pour Snowflake Connector for MySQL.

Mesure du coût du connecteur

Si le connecteur dispose d’un compte séparé uniquement pour l’ingestion et le stockage des données, et que le compte ne présente aucune autre activité (telle que l’exécution de requêtes par des utilisateurs utilisant les données ingérées), vous pouvez lire le coût global au niveau du compte. Pour en savoir plus, reportez-vous à Explorer le coût global.

Si le compte n’est pas dédié uniquement au connecteur ou si vous devez étudier les coûts de manière plus approfondie, vous devez analyser séparément les coûts facturés pour les trois composants :

Pour une introduction à ces trois composantes du coût, reportez-vous à Compréhension du coût global.

Recommandations générales

Pour obtenir le coût généré par le connecteur, nous vous recommandons de créer un compte séparé uniquement pour l’utilisation du connecteur. L’utilisation d’un compte spécifique vous permet de suivre le transfert de données exact généré par le connecteur.

Si vous ne pouvez pas utiliser de compte distinct pour le connecteur, vous pouvez envisager les options suivantes :

  • Créez une base de données distincte pour le stockage des données ingérées afin de faciliter le suivi des coûts de stockage.

  • Allouez un entrepôt uniquement pour le connecteur afin d’obtenir le coût de calcul exact.

  • Utilisez les balises d’objet sur les bases de données et un entrepôt pour créer des rapports de coûts personnalisés.

Coût de calcul

Nous vous recommandons d’utiliser une paire d’entrepôts d’opérations et de calcul dédiés uniquement au connecteur. Cette configuration vous permet de créer des moniteurs de ressources sur ces deux entrepôts. Vous pouvez utiliser les moniteurs pour envoyer des alertes par e-mail et suspendre les deux entrepôts, en arrêtant le connecteur lorsque le quota de crédit défini est dépassé.

Note

La définition du quota de crédit à un niveau trop bas dans les configurations dans lesquelles de grands volumes de données sont ingérés peut empêcher le connecteur d’ingérer toutes les données.

Pour obtenir des informations sur la manière de vérifier les crédits consommés par l’entrepôt, reportez-vous à Découverte des coûts de calcul. Vous pouvez également attribuer à l’entrepôt des balises d’objets et utiliser ces balises pour créer des rapports de coûts.

Coût de stockage

Le connecteur MySQL 6.0.0 stocke les données dans :

  • La base de données du connecteur, créée lors de l’installation du connecteur et contenant l’état interne du connecteur.

  • Une ou plusieurs autres bases de données, créées lors de la configuration de sources de données et dans lesquelles les données ingérées sont stockées.

Le stockage de données est également utilisé par la fonctionnalité Fail-safe de Snowflake. La quantité de données stockées dans Fail-safe dépend des mises à jour de tables effectuées par le connecteur. Par conséquent, la quantité de données augmente si les lignes de table ingérées à partir d’une base de données source sont fréquemment mises à jour ou si une table entière est rechargée. En général, sept à dix jours après la mise en place du connecteur, la quantité de données Fail-safe se stabilise (en supposant qu’aucun rechargement n’est effectué et que le flux de données ingérées se maintient à un rythme régulier).

Si vous souhaitez vérifier l’utilisation du stockage via Snowsight, nous vous recommandons d’utiliser des bases de données distinctes pour le stockage des données ingérées. Vous pouvez ainsi filtrer les graphiques d’utilisation du stockage par objet, qui indiquent l’utilisation par des bases de données distinctes. Vous pouvez également voir l’utilisation du stockage en interrogeant la vue DATABASE_STORAGE_USAGE_HISTORY et en filtrant en fonction des bases de données utilisées par le connecteur.

Si une base de données contient d’autres schémas sans rapport avec le connecteur, vous pouvez interroger l’utilisation du stockage d’un schéma spécifique dédié aux données ingérées par le connecteur. Vous pouvez obtenir ces informations à partir de la vue TABLE_STORAGE_METRICS après avoir filtré par noms de base de données et de schéma et agrégé les colonnes avec l’utilisation du stockage.

Coûts du transfert des données

Le connecteur utilise la fonction Snowflake Snowpipe Streaming pour transférer des données d’une base de données source vers une base de données de destination dans votre compte Snowflake.

Pour des informations sur la façon de vérifier les crédits consommés par Snowpipe Streaming, voir Coûts de Snowpipe Streaming.

Détermination de la taille d’entrepôt optimale pour l’instance de connecteur

Un gros avantage réside dans le fait que la taille d’entrepôt de calcul peut être adaptée au volume de données. Le connecteur nécessite généralement un entrepôt opérationnel XSMALL et un entrepôt de calcul XSMALL et ne tire pas parti d’entrepôts plus grands lors de l’ingestion de données.

Pour trouver la taille d’entrepôt optimale pour le connecteur, vous devez prendre en compte les facteurs qui affectent les performances du connecteur tels que la taille des bases de données sources, le nombre de modifications et le nombre de sources de données et de tables activées.

Nous vous recommandons de définir un ensemble d’attentes mesurables telles que le délai de réplication et de sélectionner la plus petite taille d’entrepôt répondant à ces attentes. Sinon, si vous souhaitez simplement tester le connecteur et activer une seule table pour l’ingestion, un entrepôt X-Small devrait suffire.

Pour déterminer si vous pouvez réduire la taille de l’entrepôt, voir Surveillance de la charge de l’entrepôt.