Schémas de tables de journal de métadonnées S3 - Amazon Simple Storage Service

Schémas de tables de journal de métadonnées S3

La table de journal enregistre les modifications apportées à vos données en temps quasi réel, ce qui vous permet d’identifier les nouvelles données chargées dans votre compartiment, de suivre les objets récemment supprimés, de surveiller les transitions de cycle de vie, etc. La table de journal enregistre les nouveaux objets ainsi que les mises à jour de vos objets et de leurs métadonnées (les mises à jour nécessitant une opération PUT ou DELETE). Comme cette table peut être interrogée, vous pouvez auditer les modifications apportées à votre compartiment à l’aide de simples requêtes SQL.

Vous pouvez utiliser la table de journal pour des cas d’utilisation liés à la sécurité, à l’audit et à la conformité afin de suivre les objets chargés, supprimés et modifiés dans le compartiment. Par exemple, vous pouvez interroger la table de journal pour répondre à des questions telles que :

  • Quels objets ont été supprimés au cours des dernières 24 heures par S3 Lifecycle ?

  • De quelles adresses IP provenaient les dernières demandes PUT ?

  • Quelles clés AWS Key Management Service (AWS KMS) ont été utilisées pour les demandes PUT au cours des sept derniers jours ?

  • Quels objets de votre compartiment ont été créés par Amazon Bedrock au cours des cinq derniers jours ?

Les tables de journal Amazon S3 Metadata contiennent des lignes et des colonnes. Chaque ligne représente un événement de mutation qui a créé, mis à jour ou supprimé un objet dans votre compartiment à usage général. La plupart de ces événements sont le résultat d’actions des utilisateurs, mais certains d’entre eux sont le résultat d’actions effectuées par Amazon S3 en votre nom, telles que les expirations de S3 Lifecycle ou les transitions de classes de stockage.

Les tables de journal S3 Metadata sont finalement cohérents grâce aux modifications apportées à votre compartiment à usage général. Dans certains cas, au moment où la création ou la mise à jour d’un objet est notifiée à S3 Metadata, l’objet en question a peut-être déjà été remplacé ou supprimé dans le compartiment. Le cas échéant, les objets ne peuvent plus être récupérés et certaines colonnes peuvent afficher une valeur NULL pour indiquer un schéma de métadonnées manquant.

Voici un exemple de table de journal d’un compartiment à usage général nommé amzn-s3-demo-bucket: 

bucket                key                        sequence_number                                                                                          record_type   record_timestamp           version_id   is_delete_marker   size   last_modified_date   e_tag	                           storage_class  is_multipart   encryption_status   is_bucket_key_enabled   kms_key_arn                                                                   checksum_algorithm   object_tags   user_metadata	                                                                                                                 requester      source_ip_address   request_id 
amzn-s3-demo-bucket   Finance/statement1.pdf     80e737d8b4d82f776affffffffffffffff006737d8b4d82f776a00000000000000000000000000000000000000000000000072   CREATE        2024-11-15 23:26:44.899                 FALSE              6223   11/15/2024 23:26     e131b86632dda753aac4018f72192b83    STANDARD	  FALSE          SSE-KMS             FALSE                   arn:aws:kms:us-east-1:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890df   SSECRC32             {}            {count -> Asia, customs -> false, family -> true, location -> Mary, name -> football, user -> United States}                       111122223333   192.0.2.1           CVK8FWYRW0M9JW65
amzn-s3-demo-bucket   s3-dg.pdf                  80e737d8b4e39f1dbdffffffffffffffff006737d8b4e39f1dbd00000000000000000000000000000000000000000000000072   CREATE        2024-11-15 23:26:44.942                 FALSE              3554   11/15/2024 23:26     9bb49efc2d92c05558ddffbbde8636d5    STANDARD	  FALSE          DSSE-KMS            FALSE                   arn:aws:kms:us-east-1:936810216292:key/0dcebce6-49fd-4cae-b2e2-5512ad281afd   SSESHA1              {}            {}                                                                                                                                 111122223333   192.0.2.1           CVKAQDRAZEG7KXAY
amzn-s3-demo-bucket   Development/Projects.xls   80e737d8b4ed9ac5c6ffffffffffffffff006737d8b4ed9ac5c600000000000000000000000000000000000000000000000072   CREATE        2024-11-15 23:26:44.966                 FALSE              7746   11/15/2024 23:26     729a6863e47fb9955b31bfabce984908    STANDARD	  FALSE          SSE-S3              FALSE                   NULL                                                                          SSECRC32             {}            {count -> Asia, customs -> Canada, family -> Billiards, filter -> true, location -> Europe, name -> Asia, user -> United States}   111122223333   192.0.2.1           CVK7Z6XQTQ90BSRV

Les tables de journal présentent le schéma suivant :

Nom de la colonne Obligatoire ? Type de données

bucket

 Oui Chaîne Nom du compartiment à usage général. Pour plus d’informations, consultez Règles de dénomination des compartiments à usage général.

key

 Oui Chaîne Nom de la clé d’objet (ou clé) qui identifie de manière unique l’objet dans le compartiment. Pour plus d’informations, consultez Attribution d’un nom aux objets Amazon S3.

sequence_number

 Oui Chaîne

Numéro de séquence, qui est un ordinal inclus dans les enregistrements d’un objet donné. Pour ordonner des enregistrements contenant le même compartiment et la même clé, vous pouvez effectuer un tri par sequence_number. Pour un compartiment et une clé donnés, une valeur sequence_number plus élevée du point de vue lexicographique signifie que l’enregistrement a été introduit dans le compartiment plus récemment.

record_type

 Oui Chaîne

Type de cet enregistrement : CREATE, UPDATE_METADATA ou DELETE.

Les enregistrements CREATE indiquent qu’un nouvel objet (ou une nouvelle version de l’objet) a été écrit dans le compartiment.

Les enregistrements UPDATE_METADATA capturent les modifications apportées aux métadonnées mutables d’un objet existant, telles que la classe de stockage ou les balises.

Les enregistrements DELETE indiquent que cet objet (ou cette version de l’objet) a été supprimé. Lorsque la gestion des versions est activée, les enregistrements DELETE représentent soit un marqueur de suppression, soit une suppression définitive. Consultez la colonne is_delete_marker facultative pour clarifier leur statut.

Pour plus d’informations, consultez Suppression des versions d’objet d’un compartiment activé pour la gestion des versions.

Note

Une suppression permanente porte la valeur NULL dans toutes les colonnes, sauf bucket, key, sequence_number, record_type, record_timestamp et version_id (c’est-à-dire les colonnes marquées comme obligatoires).

record_timestamp

 Oui Horodatage NTZ (sans fuseau horaire)

Horodatage associé à cet enregistrement.

version_id

 Non Chaîne

ID de version de l’objet. Lorsque vous activez la gestion des versions sur un compartiment, Amazon S3 attribue un numéro de version aux objets qui sont ajoutés au compartiment. Pour plus d’informations, consultez Conservation de plusieurs versions d’objets grâce à la gestion des versions S3.

Les objets qui sont stockés dans le compartiment avant que vous définissiez l’état de la gestion des versions ont un ID de version nul.

is_delete_marker

 Non Booléen

Statut du marqueur de suppression de l’objet. Pour les enregistrements DELETE qui sont des marqueurs de suppression, cette valeur est TRUE. Pour les suppressions définitives, cette valeur est omise (NULL). Les autres types d’enregistrement (CREATE et UPDATE_METADATA) ont la valeur FALSE. Pour plus d’informations, consultez Utilisation des marqueurs de suppression.

Note

Les lignes ajoutées pour les marqueurs de suppression ont une valeur record_type correspondant à DELETE, pas à UPDATE_METADATA. Si le marqueur de suppression est créé à la suite de l’expiration du cycle de vie S3, la valeur requester est s3.amazonaws.com.

size

 Non Long

Taille de l’objet en octets, à l’exclusion de la taille des chargements partitionnés incomplets, ou des métadonnées de l’objet. Si is_delete_marker correspond à TRUE, la taille est 0. Pour plus d’informations, consultez Métadonnées d’objet définies par le système.

last_modified_date

 Non Horodatage NTZ (sans fuseau horaire)

Date de création ou de dernière modification, la plus récente des deux. Pour les chargements partitionnés, la date de création de l’objet correspond à la date de lancement du chargement partitionné. Pour plus d’informations, consultez Métadonnées d’objet définies par le système.

e_tag

 Non Chaîne

Balise d’entité, qui est un hachage de l’objet. ETag reflète les modifications uniquement appliquées au contenu d’un objet, pas à ses métadonnées. ETag peut être une valeur de hachage MD5 des données de l’objet. La façon dont l’objet a été créé et la manière dont il est chiffré déterminent si la balise d’entité est un condensé d’octets MD5 ou non. Pour plus d’informations, consultez Object dans la Référence des API Amazon S3.

storage_class

 Non Chaîne

Classe de stockage utilisée pour stocker l’objet. STANDARD, REDUCED_REDUNDANCY, STANDARD_IA, ONEZONE_IA, INTELLIGENT_TIERING, GLACIER, DEEP_ARCHIVE, ou GLACIER_IR. Pour plus d’informations, consultez Bien comprendre et gérer les classes de stockage Amazon S3.

is_multipart

 Non Booléen

Type de chargement de l’objet. Si l’objet a été chargé dans un chargement partitionné, cette valeur est TRUE. Sinon, la valeur est définie comme FALSE. Pour plus d’informations, consultez Chargement et copie d’objets à l’aide du chargement partitionné dans Amazon S3.

encryption_status

 Non Chaîne

Statut du chiffrement côté serveur de l’objet, en fonction du type de clé de chiffrement utilisé : chiffrement côté serveur avec les clés gérées par Amazon S3 (SSE-S3), chiffrement côté serveur avec les clés AWS Key Management Service (AWS KMS) (SSE-KMS), chiffrement double couche côté serveur avec AWS KMS keys (DSSE-KMS) ou chiffrement côté serveur avec les clés fournies par le client (SSE-C). Si l’objet n’est pas chiffré, la valeur est nulle. Les valeurs possibles sont SSE-S3, SSE-KMS, DSSE-KMS, SSE-C ou « null ». Pour plus d’informations, consultez Protection des données à l’aide du chiffrement.

is_bucket_key_enabled

 Non Booléen

Statut d’activation de la clé de compartiment S3 de l’objet. Si l’objet utilise une clé de compartiment S3 pour SSE-KMS, cette valeur est TRUE. Sinon, la valeur est définie comme FALSE. Pour plus d’informations, consultez Configuration d’une clé de compartiment S3 au niveau d’un objet.

kms_key_arn

 Non Chaîne

Amazon Resource Name (ARN) de la clé KMS avec laquelle l’objet est chiffré, pour les lignes où encryption_status correspond à SSE-KMS ou DSSE-KMS. Si l’objet n’est pas chiffré avec SSE-KMS ou DSSE-KMS, la valeur est nulle. Pour plus d’informations, consultez Utilisation du chiffrement côté serveur avec des clés AWS KMS (SSE-KMS) et Utilisation du chiffrement double couche côté serveur avec des clés AWS KMS (DSSE-KMS).

Note

Si une ligne représente une version d’objet qui n’existait plus au moment du traitement d’un événement de suppression ou de remplacement, kms_key_arn contient une valeur nulle, même si la valeur de la colonne encryption_status indique SSE-KMS ou DSSE-KMS.

checksum_algorithm

 Non Chaîne

Algorithme utilisé pour créer la somme de contrôle pour l’objet : CRC64NVME, CRC32, CRC32C, SHA1 ou SHA256. Si aucune somme de contrôle n’est présente, cette valeur est nulle. Pour plus d’informations, consultez Utilisation des algorithmes de somme de contrôle pris en charge.

object_tags

 Non Map <String, String>

Balises associées à l’objet. Les balises d’objets sont stockées sous forme de mappage de paires clé-valeur. Si un objet ne possède aucune balise, un mappage vide ({}) est stocké. Pour plus d’informations, consultez Catégorisation de vos objets à l’aide de balises.

Note

Si la valeur record_type indique DELETE, la colonne object_tags contient une valeur nulle. Si la valeur record_type indique CREATE ou UPDATE_METADATA, les lignes représentant des versions d’objets qui n’existaient plus au moment du traitement d’un événement de suppression ou de remplacement contiennent une valeur nulle dans la colonne object_tags.

user_metadata

 Non Map <String, String>

Métadonnées utilisateur associées à l’objet. Les métadonnées utilisateur sont stockées sous forme de mappage de paires clé-valeur. Si un objet ne possède aucune métadonnée utilisateur, un mappage vide ({}) est stocké. Pour plus d’informations, consultez Métadonnées d’objet définies par l’utilisateur.

Note

Si la valeur record_type indique DELETE, la colonne user_metadata contient une valeur nulle. Si la valeur record_type indique CREATE ou UPDATE_METADATA, les lignes représentant des versions d’objets qui n’existaient plus au moment du traitement d’un événement de suppression ou de remplacement contiennent une valeur nulle dans la colonne user_metadata.

requester

 Non Chaîne

ID du Compte AWS du demandeur ou principal du Service AWS à l’origine de la demande. Par exemple, si le demandeur est S3 Lifecycle, cette valeur est s3.amazonaws.com.

source_ip_address

 Non Chaîne

Adresse IP source de la demande. Pour les enregistrements générés par une demande utilisateur, cette colonne contient l’adresse IP source de la demande. Pour les actions entreprises par Amazon S3 ou un autre Service AWS au nom de l’utilisateur, cette colonne contient une valeur nulle.

request_id

 Non Chaîne

ID associé à la demande.