Vérification de l’intégrité des données d’un objet au repos dans Amazon S3 - Amazon Simple Storage Service
Utilisation des algorithmes de somme de contrôle pris en chargeUtilisation de l’opération Calculer la somme de contrôle

Vérification de l’intégrité des données d’un objet au repos dans Amazon S3

Si vous devez vérifier le contenu des jeux de données stockés dans Amazon S3, l’opération Calculer la somme de contrôle de S3 Batch Operations calcule à la fois la somme de contrôle des objets complets ou la somme de contrôle composite des objets au repos. L’opération Calculer la somme de contrôle utilise Batch Operations pour calculer de manière asynchrone les valeurs de somme de contrôle d’un groupe d’objets, et génère automatiquement un rapport d’intégrité consolidé, sans créer de nouvelles copies de vos données, ni restaurer ou télécharger de données.

Avec l’opération Calculer la somme de contrôle, vous pouvez vérifier efficacement des milliards d’objets en une seule demande. Pour chaque demande de tâche Calculer la somme de contrôle, S3 calcule la valeur de somme de contrôle, et l’inclut dans un rapport d’intégrité généré automatiquement (également appelé rapport d’achèvement). Vous pouvez ensuite utiliser le rapport d’achèvement pour valider l’intégrité de votre jeu de données.

L’opération Calculer la somme de contrôle fonctionne avec n’importe quel objet stocké dans S3, indépendamment de la classe de stockage ou de la taille de l’objet. Que vous ayez besoin de vérifier vos objets dans le cadre des bonnes pratiques de conservation des données ou de respecter des exigences de conformité, l’opération Calculer la somme de contrôle réduit les coûts, le temps et les efforts nécessaires à la validation des données en effectuant les calculs de somme de contrôle au repos. Pour plus d’informations sur la tarification de l’opération Calculer la somme de contrôle, consultez l’onglet Gestion et informations de la page Tarification Amazon S3.

Vous pouvez ensuite utiliser le rapport d’achèvement généré pour le comparer avec les valeurs de somme de contrôle que vous avez stockées dans vos bases de données afin de vérifier si vos jeux de données n’ont pas été modifiés au fil du temps. Cette approche vous aide à préserver l’intégrité de vos données de bout en bout pour répondre aux besoins de l’entreprise et aux exigences de conformité. Par exemple, vous pouvez utiliser l’opération Calculer la somme de contrôle pour soumettre une liste d’objets stockés dans les classes de stockage S3 Glacier aux fins des audits de sécurité annuels. En outre, la gamme d’algorithmes de somme de contrôle pris en charge vous permet de maintenir la continuité avec les algorithmes utilisés dans vos applications.

Utilisation des algorithmes de somme de contrôle pris en charge

Pour les données au repos, vous pouvez calculer les sommes de contrôle à l’aide de l’un des algorithmes de somme de contrôle pris en charge :

  • CRC-64/NVME (CRC64NVME) : prend en charge le type de somme de contrôle de l’objet complet uniquement.

  • CRC-32 (CRC32) : prend en charge à la fois le type de somme de contrôle de l’objet complet et le type de somme de contrôle composite.

  • CRC-32C (CRC32C) : prend en charge à la fois le type de somme de contrôle de l’objet complet et le type de somme de contrôle composite.

  • SHA-1 (SHA1) : prend en charge à la fois le type de somme de contrôle de l’objet complet et le type de somme de contrôle composite.

  • SHA-256 (SHA256) : prend en charge à la fois le type de somme de contrôle de l’objet complet et le type de somme de contrôle composite.

  • MD5 (MD5) : prend en charge à la fois le type de somme de contrôle de l’objet complet et le type de somme de contrôle composite.

Utilisation de l’opération Calculer la somme de contrôle

Pour les objets stockés dans Amazon S3, vous pouvez utiliser l’opération Calculer la somme de contrôle avec S3 Batch Operations pour vérifier le contenu des données stockées au repos. Vous pouvez crée une tâche Compute checksum Batch Operations à l’aide de la console Amazon S3, de l’AWS Command Line Interface (AWS CLI), de l’API REST ou du kit AWS SDK. Lorsque la tâche Calculer la somme de contrôle est terminée, vous recevez un rapport d’achèvement. Pour plus d’informations sur l’utilisation du rapport d’achèvement, consultez Suivi de l’état de la tâche et des rapports de fin de tâche.

Avant de créer votre tâche Calculer la somme de contrôle, vous devez créer un rôle AWS Identity and Access Management (IAM) S3 Batch Operations pour autoriser Amazon S3 à effectuer des actions en votre nom. Vous devez l’autoriser à lire le fichier manifeste et à écrire un rapport d’achèvement dans le compartiment S3. Pour plus d’informations, consultez Calcul des sommes de contrôle.

Pour utiliser l’opération Calculer la somme de contrôle

  1. Connectez-vous à la AWS Management Console et ouvrez la console Amazon S3 à l’adresse https://console.aws.amazon.com/s3/.

  2. Dans la barre de navigation en haut de la page, sélectionnez le nom de la Région AWS actuellement affichée. Choisissez la région dans laquelle vous souhaitez créer la tâche.

    Note

    Pour les opérations de copie, vous devez créer la tâche dans la même région que le compartiment de destination. Pour toutes les autres opérations, vous devez créer la tâche dans la même région que les objets figurant dans le manifeste.

  3. Choisissez Opérations par lot dans le volet de navigation de gauche de la console Amazon S3.

  4. Choisissez Créer une tâche.

  5. Affichez la Région AWS dans laquelle vous souhaitez créer votre tâche.

    Note

    Pour les opérations de copie, vous devez créer la tâche dans la même région que le compartiment de destination. Pour toutes les autres opérations, vous devez créer la tâche dans la même région que les objets figurant dans le manifeste.

  6. Sous Format du manifeste, choisissez le type d’objet manifeste à utiliser.

    • Si vous choisissez le rapport S3 Inventory (manifest.json), saisissez le chemin d’accès à l’objet manifest.json et (éventuellement) l’ID de version d’objet du manifeste si vous souhaitez utiliser une version d’objet spécifique. Vous pouvez également choisir Parcourir S3 et choisir le fichier manifeste JSON, qui renseigne automatiquement tous les champs de l’objet du manifeste.

    • Si vous choisissez CSV, choisissez le type d’emplacement du manifeste, puis saisissez le chemin d’accès à un objet du manifeste au format CSV ou choisissez Parcourir S3 pour sélectionner un objet du manifeste. L’objet manifeste doit respecter le format décrit dans la console. Si vous souhaitez utiliser une version spécifique de l’objet du manifeste, vous pouvez également spécifier l’ID de version de l’objet.

    • Si vous choisissez Créer un manifeste à l’aide de la configuration de réplication S3, une liste d’objets est générée à l’aide de la configuration de réplication et éventuellement enregistrée dans la destination de votre choix. Lorsque vous utilisez une configuration de réplication pour générer le manifeste, la seule opération disponible est Répliquer.

  7. Choisissez Suivant.

  8. Sous Opération, choisissez l’opération Calculer la somme de contrôle pour calculer les sommes de contrôle de tous les objets répertoriés dans le manifeste. Choisissez le type de somme de contrôle et la fonction de somme de contrôle de votre tâche. Ensuite, choisissez Suivant.

  9. Renseignez l’option Configurer des options supplémentaires, puis sélectionnez Suivant.

  10. Sur la page Configurer des options supplémentaires, renseignez votre tâche Calculer la somme de contrôle.

    Note

    Sous Rapport d’achèvement, veillez à confirmer la déclaration de reconnaissance. Cet déclaration confirme que vous comprenez que le rapport d’achèvement contient des valeurs de somme de contrôle qui sont utilisées pour vérifier l’intégrité des données stockées dans Amazon S3. Le rapport d’achèvement doit donc être partagé avec prudence. Si vous créez une demande Calculer la somme de contrôle et que vous spécifiez l’emplacement du compartiment d’un propriétaire de compte externe pour stocker votre rapport d’achèvement, veillez à spécifier l’ID Compte AWS du propriétaire du compartiment externe.

  11. Choisissez Suivant.

  12. Sur la page Vérification, passez en revue et confirmez vos paramètres.

  13. (Facultatif) Si vous avez besoin d’apporter des modifications, choisissez Précédent pour revenir à la page précédente, ou choisissez Modifier pour mettre à jour une étape spécifique.

  14. Après avoir confirmé vos modifications, choisissez Créer une tâche.

Pour répertorier toutes les demandes Calculer la somme de contrôle et suivre leur progression

  1. Connectez-vous à la AWS Management Console et ouvrez la console Amazon S3 à l’adresse https://console.aws.amazon.com/s3/.

  2. Dans le volet de navigation de gauche, choisissez Opérations par lot.

  3. Sur la page Opérations par lot, vous pouvez passer en revue les détails de la tâche, tels que sa priorité, son taux d’achèvement et le nombre total d’objets.

  4. Si vous souhaitez gérer ou cloner une tâche Calculer la somme de contrôle spécifique, cliquez sur l’ID de la tâche pour consulter des informations supplémentaires sur cette dernière.

  5. Sur la page de la tâche Calculer la somme de contrôle, passez en revue les détails de celle-ci.

Chaque tâche Batch Operations progresse selon différents statuts de tâche. Vous pouvez également activer des événements AWS CloudTrail dans la console S3 pour recevoir des alertes en cas de changement du statut des tâches. Pour les tâches actives, vous pouvez consulter la tâche en cours d’exécution et son taux d’achèvement sur la page Détails de la tâche.

Java
Exemple : création d’une tâche Calculer la somme de contrôle

L’exemple suivant vous montre comment créer une tâche Calculer la somme de contrôle (dans le cadre d’une demande Créer une tâche) et comment spécifier un manifeste :

// Required parameters
String accountId = "111122223333";
String roleArn = "arn:aws:iam::111122223333:role/BatchOperations";
String manifestArn = "arn:aws:s3:::my_manifests/manifest.csv";
String manifestEtag = "60e460c9d1046e73f7dde5043ac3ae85";
String reportBucketArn = "arn:aws:s3:::amzn-s3-demo-completion-report-bucket";
String reportExpectedBucketOwner = "111122223333";
String reportPrefix = "demo-report";

// Job Operation
S3ComputeObjectChecksumOperation s3ComputeObjectChecksum = S3ComputeObjectChecksumOperation.builder()
    .checksumAlgorithm(ComputeObjectChecksumAlgorithm.CRC64)
    .checksumType(ComputeObjectChecksumType.COMPOSITE)
    .build();

JobOperation operation = JobOperation.builder()
    .s3ComputeObjectChecksum(s3ComputeObjectChecksum)
    .build();

// Job Manifest
JobManifestLocation location = JobManifestLocation.builder()
    .eTag(manifestEtag)
    .objectArn(manifestArn)
    .build();

JobManifestSpec spec = JobManifestSpec.builder()
    .format(JobManifestFormat.S3_BATCH_OPERATIONS_CSV_20180820)
    .fields(Arrays.asList(JobManifestFieldName.BUCKET, JobManifestFieldName.KEY))
    .build();

JobManifest manifest = JobManifest.builder()
    .location(location)
    .spec(spec)
    .build();

// Completion Report
JobReport report = JobReport.builder()
    .bucket(reportBucketArn)
    .enabled(true) // Must be true
    .expectedBucketOwner(reportExpectedBucketOwner)
    .format(JobReportFormat.REPORT_CSV_20180820)
    .prefix(reportPrefix)
    .reportScope(JobReportScope.ALL_TASKS)
    .build();

// Create Job Request
CreateJobRequest request = CreateJobRequest.builder()
    .accountId(accountId)
    .confirmationRequired(false)
    .manifest(manifest)
    .operation(operation)
    .priority(10)
    .report(report)
    .roleArn(roleArn);

// Create the client
S3ControlClient client = S3ControlClient.builder()
    .credentialsProvider(new ProfileCredentialsProvider())
    .region(Region.US_EAST_1)
    .build();

// Send the request
try {
    CreateJobResponse response = client.createJob(request);
    System.out.println(response);    
} catch (AwsServiceException e) {
    System.out.println("AwsServiceException: " + e.getMessage());
    throw new RuntimeException(e);
} catch (SdkClientException e) {
    System.out.println("SdkClientException: " + e.getMessage());
    throw new RuntimeException(e);
}
Exemple : affichage des détails d’une tâche Calculer la somme de contrôle

L’exemple suivant montre comment spécifier l’ID d’une tâche pour afficher les détails de celle-ci (notamment son taux d’achèvement) dans le cadre d’une demande de tâche Calculer la somme de contrôle :

DescribeJobRequest request = DescribeJobRequest.builder()
        .accountId("1234567890")
        .jobId("a16217a1-e082-48e5-b04f-31fac3a66b13")
        .build();

Vous pouvez utiliser la commande create-job pour créer une tâche Batch Operations et fournir la liste des objets. Spécifiez ensuite l’algorithme et le type de somme de contrôle, ainsi que le compartiment de destination dans lequel vous souhaitez enregistrer le rapport Calculer la somme de contrôle. L’exemple de commande suivant crée une tâche S3 Batch Operations Calculer la somme de contrôle en utilisant un manifeste généré par S3 pour le Compte AWS 111122223333.

Pour utiliser cette commande, remplacez les espaces réservés à la saisie utilisateur par vos propres informations :

aws s3control create-job \
    --account-id 111122223333 \
    --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::my-manifest-bucket/manifest.csv","ETag":"e0e8bfc50e0f0c5d5a1a5f0e0e8bfc50"}}' \
    --manifest-generator '{
        "S3JobManifestGenerator": {
          "ExpectedBucketOwner": "111122223333",
          "SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket",
          "EnableManifestOutput": true,
          "ManifestOutputLocation": {
            "ExpectedManifestBucketOwner": "111122223333",
            "Bucket": "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
            "ManifestPrefix": "prefix",
            "ManifestFormat": "S3InventoryReport_CSV_20211130"
          },
          "Filter": {
            "CreatedAfter": "2023-09-01",
            "CreatedBefore": "2023-10-01",
            "KeyNameConstraint": {
              "MatchAnyPrefix": [
                "prefix"
              ],
              "MatchAnySuffix": [
                "suffix"
              ]
            },
            "ObjectSizeGreaterThanBytes": 100,
            "ObjectSizeLessThanBytes": 200,
            "MatchAnyStorageClass": [
              "STANDARD",
              "STANDARD_IA"
            ]
          }
        }
      }' \
    --operation '{"S3ComputeObjectChecksum":{"ChecksumAlgorithm":"CRC64NVME","ChecksumType":"FULL_OBJECT"}}' \
    --report '{"Bucket":"arn:aws:s3:::my-report-bucket","Format":"Report_CSV_20180820","Enabled":true,"Prefix":"batch-op-reports/","ReportScope":"AllTasks","ExpectedBucketOwner":"111122223333"}' \
    --priority 10 \
    --role-arn arn:aws:iam::123456789012:role/S3BatchJobRole \
    --client-request-token 6e023a7e-4820-4654-8c81-7247361aeb73 \
    --description "Compute object checksums" \
    --region us-west-2

Après avoir soumis la tâche Calculer la somme de contrôle, vous recevez l’ID de la tâche en réponse Celui-ci s’affiche sur la page de liste de S3 Batch Operations. Amazon S3 traite la liste des objets et calcule les sommes de contrôle de chaque objet. Une fois la tâche terminée, S3 fournit un rapport Calculer la somme de contrôle consolidé dans la destination spécifiée.

Pour suivre la progression de votre tâche Calculer la somme de contrôle, utilisez la commande describe-job. Cette commande vérifie le statut de la tâche Batch Operations spécifiée. Pour utiliser cette commande, remplacez les espaces réservés à la saisie utilisateur par vos propres informations.

Par exemple :

aws s3control describe-job --account-id 111122223333 --job-id 1234567890abcdef0

Pour obtenir la liste de toutes les tâches Batch Operations actives et terminées, consultez Liste des tâches ou list-jobs dans la Référence des commandes de l’AWS CLI.

Vous pouvez envoyer des demandes REST pour vérifier l’intégrité des objets avec Calculer la somme de contrôle à l’aide de la commande CreateJob. Vous pouvez suivre la progression des demandes Calculer la somme de contrôle en envoyant des demandes REST à l’opération d’API DescribeJob. Chaque tâche Batch Operations progresse en suivant les statuts ci-dessous :

  • NOUVEAU

  • PRÉPARATION

  • PRÊT

  • ACTIF

  • SUSPENSION

  • SUSPENDU

  • TERMINÉ

  • ANNULATION

  • ÉCHEC

La réponse de l’API vous informe du statut en cours de la tâche.