Configuration d’Amazon S3 Inventory
Amazon S3 Inventory fournit une liste de fichiers plats de vos objets et métadonnées, selon un calendrier que vous définissez. Vous pouvez utiliser S3 Inventory comme une autre solution planifiée de l’opération d’API List synchrone d’Amazon S3. S3 Inventory fournit des fichiers de sortie au format CSV (valeurs séparées par une virgule), ORC (Apache Optimized Row Columnar)
Vous pouvez configurer S3 Inventory afin de créer des listes d’inventaire de façon quotidienne ou hebdomadaire pour un compartiment S3 ou pour des objets qui partagent un préfixe (c’est-à-dire des objets dont le nom commence avec la même chaîne). Pour plus d’informations, consultez Catalogage et analyse de vos données avec S3 Inventory.
Cette section explique comment configurer un inventaire, avec notamment des détails sur les compartiments source et de destination.
Rubriques
Présentation
Amazon S3 Inventory vous aide à gérer votre stockage en créant des listes d’objets dans un compartiment S3 selon une planification définie. Vous pouvez configurer plusieurs listes d’inventaire d’un compartiment. Les listes d’inventaire sont publiées dans des fichiers CSV, ORC, ou Parquet au sein d’un compartiment de destination.
Le moyen le plus simple de configurer un inventaire consiste à utiliser la console Amazon S3, mais vous pouvez également utiliser l’API REST Amazon S3, l’AWS Command Line Interface (AWS CLI) ou les kits AWS SDK. La console effectue la première étape de la procédure suivante pour vous : ajouter une stratégie de compartiment au compartiment de destination.
Pour configurer Amazon S3 Inventory pour un compartiment S3
-
Ajoutez une stratégie de compartiment pour le compartiment de destination.
Vous devez créer une stratégie de compartiment au niveau du compartiment de destination pour accorder à Amazon S3 l’autorisation d’écrire des objets dans le compartiment à l’emplacement défini. Pour un exemple de politique, consultez Accorder des autorisations pour S3 Inventory et les analyses S3..
-
Configurez un inventaire pour répertorier les objets dans un compartiment source et publier la liste dans un compartiment de destination.
Lorsque vous configurez une liste d’inventaire pour un compartiment source, vous spécifiez le compartiment de destination dans lequel vous voulez stocker la liste et la fréquence de génération de la liste (quotidienne ou hebdomadaire). Vous pouvez également choisir de répertorier toutes les versions d’objet ou uniquement les versions actuelles, ainsi que les métadonnées à inclure.
Certains champs de métadonnées d’objet dans les configurations des rapports S3 Inventory sont facultatifs. En d’autres termes, ils sont disponibles par défaut, mais ils peuvent être restreints lorsque vous accordez l’autorisation
s3:PutInventoryConfigurationà un utilisateur. Vous pouvez contrôler si les utilisateurs peuvent inclure ces champs de métadonnées facultatifs dans leurs rapports à l’aide de la clé de conditions3:InventoryAccessibleOptionalFields.Pour plus d’informations sur les champs de métadonnées facultatifs disponibles dans S3 Inventory, consultez OptionalFields dans la Référence des API Amazon Simple Storage Service. Pour plus d’informations sur la restriction de l’accès à certains champs de métadonnées facultatifs dans une configuration d’inventaire, consultez Création de la configuration des rapports S3 Inventory.
Vous pouvez spécifier que le fichier de liste d’inventaire doit avoir un chiffrement côté serveur avec une clé gérée par Amazon S3 (SSE-S3) ou une clé AWS Key Management Service (AWS KMS) gérée par le client (SSE-KMS).
Note
La Clé gérée par AWS (
aws/s3) n’est pas prise en charge pour le chiffrement SSE-KMS avec S3 Inventory.Pour en savoir plus sur SSE-S3 et SSE-KMS, consultez Protection des données avec le chiffrement côté serveur. Si vous prévoyez d’utiliser le chiffrement SSE-KMS, consultez l’étape 3.
-
Pour plus d’informations sur l’utilisation de la console pour configurer une liste d’inventaire, consultez Configuration de l’inventaire à l’aide de la console S3.
-
Pour utiliser l’API Amazon S3 afin de configurer une liste d’inventaire, utilisez l’API REST PutBucketInventoryConfiguration ou l’équivalent à partir de l’AWS CLI ou des kits AWS SDK.
-
-
Pour chiffrer le fichier de liste d’inventaire avec SSE-KMS, autorisez Amazon S3 à utiliser la AWS KMS key.
Vous pouvez configurer le chiffrement pour le fichier de liste d’inventaire à l’aide de la console Amazon S3, de l’API REST Amazon S3, de l’AWS CLI ou des kits AWS SDK. Quelle que soit la méthode que vous choisissez, vous devez autoriser Amazon S3 à utiliser la clé gérée par le client pour chiffrer le fichier d’inventaire. Vous accordez l’autorisation à Amazon S3 en modifiant la stratégie de clé gérée par le client que vous souhaitez utiliser pour chiffrer le fichier d’inventaire. Assurez-vous de fournir un ARN de clé KMS dans la configuration de S3 Inventory ou dans les paramètres de chiffrement du compartiment de destination. Si aucun ARN de clé KMS n’a été spécifié et que les paramètres de chiffrement par défaut sont utilisés, vous ne pourrez pas accéder à votre rapport S3 Inventory.
Le compartiment de destination qui stocke le fichier de liste d’inventaire peut appartenir à un autre Compte AWS que le compte propriétaire du compartiment source. Si vous utilisez le chiffrement SSE-KMS pour les opérations intercomptes d’Amazon S3 Inventory, nous vous recommandons d’utiliser un ARN de clé KMS complet lorsque vous configurez S3 Inventory. Pour plus d’informations, consultez Utilisation du chiffrement SSE-KMS pour les opérations intercomptes et ServerSideEncryptionByDefault dans la référence de l’API Amazon Simple Storage Service.
Note
Si vous ne parvenez pas à accéder à votre rapport S3 Inventory, utilisez l’API GetBucketEncryption et vérifiez si le chiffrement SSE-KMS par défaut est activé dans le compartiment de destination. Si aucun ARN de clé KMS n’a été spécifié et que les paramètres de chiffrement par défaut sont utilisés, vous ne pourrez pas accéder à votre rapport S3 Inventory. Pour accéder à nouveau aux rapports S3 Inventory, fournissez un ARN de clé KMS dans la configuration de S3 Inventory ou dans les paramètres de chiffrement du compartiment de destination.
Création d’une stratégie de compartiment de destination
Si vous créez votre configuration d’inventaire via la console Amazon S3, Amazon S3 crée automatiquement une stratégie de compartiment sur le compartiment de destination qui accorde une autorisation d’écriture Amazon S3 au compartiment. Cependant, si vous créez la configuration de l’inventaire via l’AWS CLI, les kits AWS SDK ou l’API REST Amazon S3, vous devez ajouter manuellement une politique au niveau du compartiment de destination. La stratégie de compartiment de destination d’Amazon S3 Inventory autorise Amazon S3 à écrire des données pour les rapports d’inventaire dans ce compartiment.
Voici un exemple de stratégie de compartiment.
Pour plus d’informations, consultez Accorder des autorisations pour S3 Inventory et les analyses S3..
Si une erreur se produit lorsque vous tentez de créer la stratégie de compartiment, des instructions s’affichent pour vous indiquer comment la résoudre. Par exemple, si vous choisissez un compartiment de destination dans un autre Compte AWS et ne disposez pas des autorisations nécessaires pour lire et écrire dans la stratégie de compartiment, un message d’erreur s’affiche.
Dans ce cas, le propriétaire du compartiment de destination doit ajouter la stratégie de compartiment affichée au compartiment de destination. Si la politique n’est pas ajoutée au compartiment de destination, vous ne recevez pas de rapport d’inventaire, car Amazon S3 n’est pas autorisé à écrire dans le compartiment de destination. Si le compartiment source est détenu par un compte autre que celui de l’utilisateur actuel, l’ID de compte correct du propriétaire du compartiment source doit être remplacé dans la politique.
Note
Assurez-vous qu’aucune instruction Deny n’est ajoutée à la politique du compartiment de destination. Cela empêcherait la livraison des rapports d’inventaire dans ce compartiment. Pour plus d’informations, consultez Pourquoi ne puis-je pas générer un rapport Amazon S3 Inventory ?
Octroi à Amazon S3 d’utiliser votre clé gérée par le client pour le chiffrement
Pour autoriser Amazon S3 à utiliser votre clé gérée par le client AWS Key Management Service (AWS KMS) pour le chiffrement côté serveur, vous devez utiliser une stratégie de clé. Pour mettre à jour votre stratégie de clé et pouvoir utiliser votre clé gérée par le client, suivez la procédure suivante.
Pour accorder les autorisations Amazon S3 pour le chiffrement à l’aide de votre clé gérée par le client
Avec le Compte AWS auquel appartient la clé gérée par le client, connectez-vous à la AWS Management Console.
-
Ouvrez la console AWS KMS à l’adresse https://console.aws.amazon.com/kms
. -
Pour changer de Région AWS, utilisez le sélecteur de région dans l’angle supérieur droit de la page.
-
Dans le volet de navigation de gauche, choisissez Clés gérées par le client.
-
Sous Clés gérées par le client, choisissez la clé gérée par le client que vous souhaitez utiliser pour chiffrer vos fichiers d’inventaire.
-
Dans la section Key policy (Politique de clé), sélectionnez Switch to policy view (Passer à la vue de politique).
-
Pour mettre à jour la politique de clé, choisissez Modifier.
Sous Modifier la stratégie de clé, ajoutez les lignes suivantes à la stratégie de clé existante. Pour
etsource-account-id, fournissez les valeurs appropriées pour votre cas d’utilisation.amzn-s3-demo-source-bucket{ "Sid": "Allow Amazon S3 use of the customer managed key", "Effect": "Allow", "Principal": { "Service": "s3.amazonaws.com" }, "Action": [ "kms:GenerateDataKey" ], "Resource": "*", "Condition":{ "StringEquals":{ "aws:SourceAccount":"source-account-id" }, "ArnLike":{ "aws:SourceARN": "arn:aws:s3:::" } } }amzn-s3-demo-source-bucket-
Sélectionnez Save Changes.
Pour en savoir plus amples sur la création de clés gérées par le client et l’utilisation de politiques de clé, cliquez sur les liens suivants dans le guide du développeur AWS Key Management Service :
Note
Assurez-vous qu’aucune instruction Deny n’est ajoutée à la politique du compartiment de destination. Cela empêcherait la livraison des rapports d’inventaire dans ce compartiment. Pour plus d’informations, consultez Pourquoi ne puis-je pas générer un rapport Amazon S3 Inventory ?
Configuration de l’inventaire à l’aide de la console S3
Suivez ces instructions pour configurer l’inventaire à l’aide de la console S3.
Note
La distribution du premier rapport d’inventaire pour Amazon S3 peut prendre jusqu’à 48 heures.
Connectez-vous à la AWS Management Console et ouvrez la console Amazon S3 à l’adresse https://console.aws.amazon.com/s3/
. -
Dans le volet de navigation de gauche, choisissez Compartiments à usage général.
-
Dans la liste des compartiments, choisissez le nom du compartiment pour lequel vous souhaitez configurer Amazon S3 Inventory.
-
Choisissez l’onglet Gestion.
-
Sous Configurations d’inventaire, choisissez Créer une configuration d’inventaire.
-
Dans Nom de la configuration d’inventaire, saisissez un nom.
-
Pour Portée de l’inventaire, procédez comme suit :
-
Entrez un préfixe facultatif.
-
Choisissez les versions d’objet à inclure, soit Versions actuelles uniquement, soit Inclure toutes les versions.
-
-
Sous Report details (Détails du rapport), choisissez l’emplacement du Compte AWS où vous souhaitez enregistrer les rapports : This account (Ce compte) ou A different account (Un compte différent).
-
Sous Destination, choisissez le compartiment de destination dans lequel vous souhaitez que les rapports d’inventaire soient enregistrés.
Le compartiment de destination doit se trouver dans la même Région AWS que le compartiment pour lequel vous configurez l’inventaire. Le compartiment de destination peut se trouver dans un autre Compte AWS. Lorsque vous spécifiez le compartiment de destination, vous pouvez également inclure un préfixe facultatif pour regrouper vos rapports d’inventaire.
Sous le champ de compartiment Destination vous voyez la déclaration Autorisation de compartiment de destination qui est ajoutée à la stratégie de compartiment de destination pour permettre à Amazon S3 de placer des données dans ce compartiment. Pour plus d’informations, consultez Création d’une stratégie de compartiment de destination.
-
Sous Fréquence, choisissez la fréquence à laquelle le rapport sera généré : Quotidien ou Hebdomadaire.
-
Dans Format de sortie, choisissez l’un des formats suivants pour le rapport :
-
CSV : si vous prévoyez d’utiliser ce rapport d’inventaire avec S3 Batch Operations ou si vous souhaitez analyser ce rapport dans un autre outil, tel que Microsoft Excel, choisissez CSV.
-
Apache ORC
-
Apache Parquet
-
-
Sous Status (Statut), choisissez Enable (Activer) ou Disable (Désactiver).
-
Pour configurer le chiffrement côté serveur, sous Chiffrement des rapports d’inventaire, procédez comme suit :
-
Sous Chiffrement côté serveur, choisissez Ne pas spécifier de clé de chiffrement ou Spécifier une clé de chiffrement pour chiffrer les données.
-
Pour conserver les paramètres du compartiment pour le chiffrement côté serveur par défaut des objets lors de leur stockage dans Amazon S3, choisissez Ne pas spécifier de clé de chiffrement. Tant que les clés de compartiment S3 sont activées pour la destination du compartiment, l’opération de copie applique une clé de compartiment S3 au compartiment de destination.
Note
Si la stratégie de compartiment pour la destination spécifiée exige que les objets soient chiffrés avant de les stocker dans Amazon S3, vous devez choisir Spécifier une clé de chiffrement. Sinon, la copie des objets vers la destination échouera.
-
Pour chiffrer des objets avant de les stocker dans Amazon S3, choisissez Spécifier une clé de chiffrement.
-
-
Si vous avez choisi Spécifier une clé de chiffrement, sous Type de chiffrement, vous devez choisir Clé gérée par Amazon S3 (SSE-S3) ou Clé AWS Key Management Service (SSE-KMS).
SSE-S3 utilise l’un des chiffrements par bloc les plus puissants qui existent, Advanced Encryption Standard à 256 bits (AES-256) pour chiffrer chaque objet. SSE-KMS vous permet de mieux contrôler votre clé. Pour en savoir plus sur SSE-S3, consultez Utilisation du chiffrement côté serveur avec des clés gérées par Amazon S3 (SSE-S3). Pour en savoir plus sur SSE-KMS, consultez Utilisation du chiffrement côté serveur avec des clés AWS KMS (SSE-KMS).
Note
Pour chiffrer le fichier de liste d’inventaire avec SSE-KMS, vous devez autoriser Amazon S3 à utiliser la clé gérée par le client. Pour obtenir des instructions, consultez Octroyer à Amazon S3 l’autorisation d’utiliser vos clés KMS pour le chiffrement.
-
Si vous avez choisi Clé AWS Key Management Service (SSE-KMS), sous AWS KMS key, vous pouvez spécifier votre clé AWS KMS via l’une des options suivantes.
Note
Si le compartiment de destination qui stocke le fichier de liste d’inventaire appartient à un autre Compte AWS, assurez-vous d’utiliser un ARN de clé KMS complet pour spécifier votre clé KMS.
-
Pour choisir parmi une liste de clés KMS disponibles, choisissez Choisir parmi vos clés AWS KMS, puis sélectionnez une clé KMS de chiffrement symétrique parmi la liste des clés disponibles. Vérifiez que la clé KMS se situe dans la même région que votre compartiment.
Note
La Clé gérée par AWS (
aws/s3) et votre clé gérée par le client apparaissent toutes deux dans la liste. Cependant, la Clé gérée par AWS (aws/s3) n’est pas prise en charge pour le chiffrement SSE-KMS avec S3 Inventory. -
Pour saisir l’ARN de la clé KMS, choisissez Saisir l’ARN de clé AWS KMS, puis saisissez l’ARN de votre clé KMS dans le champ qui s’affiche.
-
Pour créer une clé gérée par le client dans la console AWS KMS, choisissez Créer une clé KMS.
-
-
-
Pour Champs de métadonnées supplémentaires, sélectionnez un ou plusieurs des éléments suivants à ajouter au rapport d’inventaire :
-
Taille : la taille de l’objet en octets, à l’exclusion de la taille des chargements partitionnés incomplets, des métadonnées de l’objet et des marqueurs de suppression.
-
Date de la dernière modification – Date de création de l’objet ou date de la dernière modification, la plus récente étant retenue.
-
Multipart upload (Chargement partitionné) – Spécifie que l’objet a été chargé dans un chargement partitionné. Pour plus d’informations, consultez Chargement et copie d’objets à l’aide du chargement partitionné dans Amazon S3.
-
Replication status (Statut de réplication) – Statut de réplication de l’objet. Pour plus d’informations, consultez Obtention d’informations sur le statut de la réplication.
-
Statut de chiffrement : chiffrement côté serveur utilisé pour chiffrer l’objet. Pour plus d’informations, consultez Protection des données avec le chiffrement côté serveur.
-
Statut de clé de compartiment : indique si une clé de niveau du compartiment générée par AWS KMS s’applique à l’objet. Pour plus d’informations, consultez Réduction du coût du SSE-KMS avec les clés de compartiment Amazon S3.
-
Liste de contrôle d’accès d’objet : une liste de contrôle d’accès (ACL) pour chaque objet qui définit quels groupes ou Comptes AWS se voient accorder l’accès à cet objet et le type d’accès accordé. Pour plus d’informations sur ce champ, consultez Utiliser le champ Liste ACL d’objet. Pour en savoir plus sur les listes ACL, consultez Présentation de la liste de contrôle d’accès (ACL).
-
Propriétaire de l’objet : le propriétaire de l’objet.
-
Classe de stockage : classe de stockage utilisée pour stocker l’objet.
-
Niveau d’accès Intelligent-Tiering : niveau d’accès (fréquent ou peu fréquent) de l’objet si celui-ci est stocké dans la classe de stockage S3 Intelligent-Tiering. Pour plus d’informations, consultez Classe de stockage pour l’optimisation automatique des données avec des modèles d’accès inconnus ou irréguliers.
-
ETag : la balise d’entité (ETag) est un hachage de l’objet. ETag reflète les modifications uniquement appliquées au contenu d’un objet, pas à ses métadonnées. ETag peut ou ne peut pas être une valeur de hachage MD5 des données de l’objet. Cela dépend de la façon dont l’objet a été créé et de la manière dont il est chiffré. Pour plus d’informations, veuillez consulter Object dans la Référence des API Amazon Simple Storage Service.
-
Algorithme de total de contrôle : algorithme utilisé pour créer le total de contrôle de l’objet. Pour plus d’informations, consultez Utilisation des algorithmes de somme de contrôle pris en charge.
-
Configurations du verrouillage de tous les objets : statut du verrouillage des objets, y compris les paramètres suivants :
-
Verrouillage d’objet : mode de rétention : niveau de protection appliqué à l’objet, Gouvernance ou Conformité.
-
Verrouillage d’objet : conserver jusqu’à la date : date jusqu’à laquelle l’objet verrouillé ne peut pas être supprimé.
-
Verrouillage d’objet : statut de la conservation légale : statut de la conservation légale de l’objet verrouillé.
Pour de plus amples informations sur la fonctionnalité de verrouillage des objets S3, consultez Fonctionnement du verrouillage d’objet S3.
-
Pour plus d’informations sur le contenu d’un rapport d’inventaire, consultez Liste Amazon S3 Inventory.
Pour plus d’informations sur la restriction de l’accès à certains champs de métadonnées facultatifs dans une configuration d’inventaire, consultez Création de la configuration des rapports S3 Inventory.
-
-
Choisissez Créer.
Utilisation de l’API REST pour travailler avec S3 Inventory
Les opérations REST utilisées pour travailler avec Amazon S3 Inventory sont les suivantes.