Was ist ein S3-Storage-Lens-Exportmanifest? - Amazon Simple Storage Service

Was ist ein S3-Storage-Lens-Exportmanifest?

Angesichts der großen Menge von aggregierten Daten kann der tägliche Metrik-Export von S3 Storage Lens in mehrere Dateien aufgeteilt werden. Die Manifestdatei manifest.json beschreibt, wo sich die Metrik-Exportdateien für den jeweiligen Tag befinden. Immer wenn ein neuer Export bereitgestellt wird, wird ein neues zugehöriges Manifest erstellt. Jedes in der manifest.json-Datei enthaltene Manifest bietet Metadaten und andere grundlegende Informationen zum Export.

Die Manifestinformationen umfassen die folgenden Eigenschaften:

  • sourceAccountId – Die Konto-ID des Konfigurationsinhabers.

  • configId – Eine eindeutige ID für das Dashboard.

  • destinationBucket – Der Amazon-Ressourcenname (ARN) des Ziel-Buckets, in dem der Metrik-Export abgelegt wird.

  • reportVersion – Die Version des Exports.

  • reportDate – Das Datum des Berichts.

  • reportFormat – Das Format des Berichts.

  • reportSchema – Das Schema des Berichts.

  • reportFiles – Die tatsächliche Liste der Exportberichtsdateien, die sich im Ziel-Bucket befinden.

Nachfolgend sehen Sie ein Beispiel eines Manifests in einer manifest.json-Datei für einen CSV-formatierten Export.

{
   "sourceAccountId":"123456789012",
   "configId":"my-dashboard-configuration-id",
   "destinationBucket":"arn:aws:s3:::amzn-s3-demo-destination-bucket",
   "reportVersion":"V_1",
   "reportDate":"2020-11-03",
   "reportFormat":"CSV",
   "reportSchema":"version_number,configuration_id,report_date,aws_account_number,aws_region,storage_class,record_type,record_value,bucket_name,metric_name,metric_value",
   "reportFiles":[
        {
            "key":"DestinationPrefix/StorageLens/123456789012/my-dashboard-configuration-id/V_1/reports/dt=2020-11-03/a38f6bc4-2e3d-4355-ac8a-e2fdcf3de158.csv",
            "size":1603959,
            "md5Checksum":"2177e775870def72b8d84febe1ad3574"
        }
      ]
}

Nachfolgend sehen Sie ein Beispiel eines Manifests in einer manifest.json-Datei für einen Export im Parquet-Format.

{
   "sourceAccountId":"123456789012",
   "configId":"my-dashboard-configuration-id",
   "destinationBucket":"arn:aws:s3:::amzn-s3-demo-destination-bucket",
   "reportVersion":"V_1",
   "reportDate":"2020-11-03",
   "reportFormat":"Parquet",
   "reportSchema":"message s3.storage.lens { required string version_number; required string configuration_id; required string report_date; required string aws_account_number; required string aws_region; required string storage_class; required string record_type; required string record_value; required string bucket_name; required string metric_name; required long metric_value; }",
   "reportFiles":[
      {
         "key":"DestinationPrefix/StorageLens/123456789012/my-dashboard-configuration-id/V_1/reports/dt=2020-11-03/bd23de7c-b46a-4cf4-bcc5-b21aac5be0f5.par",
         "size":14714,
         "md5Checksum":"b5c741ee0251cd99b90b3e8eff50b944"
      }
}

Sie können den Metrik-Export so konfigurieren, dass er als Teil Ihrer Dashboard-Konfiguration in der Amazon S3-Konsole oder mithilfe der Amazon S3-REST-API, der AWS CLI oder SDKs generiert wird.