Optimisation des coûts pour les tables grâce à la hiérarchisation intelligente - Amazon Simple Storage Service

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Optimisation des coûts pour les tables grâce à la hiérarchisation intelligente

Vous pouvez optimiser automatiquement les coûts de stockage des tables en utilisant S3 Intelligent-Tiering. La classe de stockage S3 Tables Intelligent-Tiering déplace automatiquement les données vers le niveau d'accès le plus rentable lorsque les modèles d'accès changent. Lorsque vous utilisez S3 Intelligent-Tiering, les données auxquelles vous accédez le moins fréquemment sont automatiquement déplacées vers des niveaux moins coûteux, puis replacées vers le niveau Accès fréquent chaque fois que vous y accédez à nouveau.

Toutes les données sont déplacées entre les niveaux sans frais de récupération, sans impact sur les performances ou sans modification de la disponibilité. En outre, les opérations de maintenance des tables, telles que le compactage, sont optimisées en fonction des modèles d'accès, en ne traitant que les données activement consultées dans le niveau d'accès fréquent, tout en réduisant les coûts de maintenance des données les moins fréquemment consultées dans les niveaux les moins coûteux.

Niveaux d'accès à S3 Tables avec hiérarchisation intelligente

Lorsque votre table est stockée dans la classe de stockage S3 Intelligent-Tiering, Amazon S3 surveille en permanence les modèles d'accès et déplace automatiquement les données de la table entre les niveaux d'accès.

La hiérarchisation s'effectue au niveau des fichiers individuels, de sorte qu'une même table peut contenir des fichiers à différents niveaux en fonction des modèles d'accès. Les données des tables sont automatiquement déplacées vers l'un des niveaux d'accès suivants en fonction des modèles d'accès :

  • Accès fréquent : niveau par défaut pour tous les fichiers. Les fichiers des autres niveaux sont automatiquement replacés dans le niveau Accès fréquent lorsqu'ils sont consultés.

  • Accès peu fréquent : si vous n'accédez pas à un fichier pendant 30 jours consécutifs, il passe au niveau Accès peu fréquent.

  • Accès instantané aux archives : si vous n'accédez pas à un fichier pendant 90 jours consécutifs, il passe au niveau Archive Instant Access.

Tous les niveaux offrent une latence de quelques millisecondes, des performances de débit élevées et sont conçus pour une disponibilité de 99,9 % et une durabilité de 99,999999999 %.

Comportement de hiérarchisation automatique avec S3 Intelligent-Tiering

Les actions suivantes constituent un accès qui déplace automatiquement les fichiers du niveau Accès peu fréquent ou du niveau Archive Instant Access vers le niveau Accès fréquent :

  • Toute opération de lecture ou d'écriture sur des données de table ou des fichiers de métadonnées utilisant GetObjectPutObject, ou CompleteMultipartUpload des actions

  • LoadTableou des UpdateTable actions utilisant les opérations de l'API REST d'Iceberg

  • Opérations de réplication des tables S3

Les autres actions ne constituent pas un accès qui déplace automatiquement les fichiers du niveau Accès peu fréquent ou du niveau Archive Instant Access vers le niveau Accès fréquent.

Note

Les fichiers de moins de 128 Ko ne sont pas éligibles à la hiérarchisation automatique et restent dans le niveau Accès fréquent. Le compactage peut combiner ces fichiers en objets moins nombreux et plus volumineux et les réintégrer dans votre table sous forme de nouvel instantané. Les fichiers nouvellement compactés sont éligibles à la hiérarchisation automatique si le nouveau fichier a une taille de 128 Ko ou plus.

Comportement de maintenance des tables

Les opérations de maintenance automatique des tables effectuées par Amazon S3, telles que la gestion des instantanés, la suppression de fichiers non référencés et l'expiration des enregistrements, continuent de s'exécuter sur vos tables quel que soit le niveau. Le compactage s'exécute uniquement sur les fichiers du niveau d'accès fréquent, ce qui permet d'optimiser les performances des données fréquemment consultées tout en réduisant les coûts de maintenance des données des niveaux moins coûteux.

Les opérations de maintenance n'affectent pas le niveau d'accès des fichiers de votre table. Les lectures effectuées par les opérations de maintenance n'entraînent pas le changement de niveau des fichiers. Toutefois, si une opération de maintenance, telle que le compactage ou l'expiration d'un enregistrement, écrit un nouveau fichier, celui-ci est créé dans le niveau Accès fréquent.

Note

Le compactage ne traitant que les fichiers du niveau Accès fréquent, les opérations de suppression des données des niveaux les moins coûteux créent des fichiers de suppression qui ne sont pas automatiquement compactés. Ces fichiers supprimés deviennent éligibles au compactage lorsque les fichiers de données associés sont accessibles et reviennent au niveau Accès fréquent. Pour les tables peu consultées, vous pouvez exécuter manuellement le compactage à l'aide d'Amazon EMR pour compacter ces fichiers de suppression avec leurs fichiers de données associés. Pour plus d'informations, consultez la section Gestion des tables à l'aide du compactage. Vous pouvez surveiller la croissance des fichiers dans votre table à l'aide CloudWatch des métriques Amazon afin de déterminer dans quels cas le compactage manuel peut être bénéfique.

Spécifier S3 Intelligent-Tiering comme classe de stockage

Par défaut, toutes les tables sont créées dans la classe de stockage S3 Standard et ne peuvent pas être déplacées vers S3 Intelligent-Tiering. Pour utiliser S3 Intelligent-Tiering, vous devez le spécifier lors de la création de la table. Vous pouvez également définir S3 Intelligent-Tiering comme classe de stockage par défaut pour votre compartiment de tables afin de stocker automatiquement toutes les nouvelles tables qui y sont créées dans la classe de stockage S3 Intelligent-Tiering.

Spécification de la hiérarchisation intelligente S3 pour les compartiments de table

Vous pouvez spécifier S3 Intelligent-Tiering comme classe de stockage par défaut lors de la création d'un nouveau compartiment de table en utilisant l'storage-class-configurationen-tête avec l'opération. CreateTableBucket

Pour vérifier la classe de stockage par défaut sur un bucket de table existant, utilisez l'GetTableBucketStorageClassopération. Pour modifier la classe de stockage par défaut d'un bucket de table existant, utilisez l'PutTableBucketStorageClassopération.

Note

Lorsque vous modifiez la classe de stockage par défaut sur un bucket de tables, ce paramètre s'applique uniquement aux nouvelles tables créées dans ce bucket. La classe de stockage des tables préexistantes n'est pas modifiée.

Spécification de la hiérarchisation intelligente S3 pour les tables

Vous pouvez spécifier S3 Intelligent-Tiering comme classe de stockage lors de la création d'une nouvelle table en utilisant l'storage-class-configurationen-tête de l'opération. CreateTable

Si vous ne spécifiez aucune classe de stockage lors de la création de la table, celle-ci est créée dans la classe de stockage par défaut configurée sur le bucket de table à ce moment-là. Une fois qu'une table est créée, vous ne pouvez pas modifier sa classe de stockage.

Pour vérifier la classe de stockage par défaut sur un bucket de table existant, utilisez l'GetTableBucketStorageClassopération.

Surveillance de l'utilisation du stockage

Vous pouvez consulter la répartition de votre utilisation du stockage par niveau d'accès dans les rapports sur les AWS coûts et l'utilisation de votre compte. Pour plus d'informations, consultez la section Création de rapports sur les coûts et l'utilisation dans le Guide de l'utilisateur AWS sur les exportations de données.

Les types d'utilisation suivants sont disponibles dans vos rapports de facturation :

Type d’utilisation Unit Granularité Description
region-Tables-TimedStorage-INT-FA-ByteHrs Go-mois Chaque jour Nombre de Go/mois pendant lesquels les données ont été stockées dans le système S3 Intelligent-Tiering Frequent Access du stockage S3 Intelligent-Tiering
region-Tables-TimedStorage-INT-IA-ByteHrs Go-mois Chaque jour Nombre de Go/mois pendant lesquels les données ont été stockées dans le stockage S3 Intelligent-Tiering Infrequent Access du stockage S3 Intelligent-Tiering
region-Tables-TimedStorage-INT-AIA-ByteHrs Go-mois Chaque jour Nombre de Go par mois pendant lesquels les données ont été stockées dans l'archive S3 Intelligent-Tiering Accès instantané au stockage S3 Intelligent-Tiering
region-Tables-Requests-INT-Tier1 Nombre Par heure Le nombre de ou de PUT POST requêtes sur COPY les objets S3 Tables Intelligent-Tiering
region-Tables-Requests-INT-Tier2 Nombre Par heure Le nombre de demandes non de niveau 1 GET et toutes les autres requêtes pour des objets de hiérarchisation intelligente de tables S3