Verifica dell’integrità degli oggetti per caricamenti dei dati in Amazon S3

Amazon S3 utilizza valori di checksum per verificare l’integrità dei dati durante le operazioni di caricamento e download. Quando carichi i dati, AWS SDK e la Console di gestione AWS utilizzano l’algoritmo di checksum scelto per calcolare un valore di checksum prima della trasmissione dei dati. S3 calcola quindi in modo indipendente un checksum dei dati e lo convalida rispetto al valore di checksum fornito. Gli oggetti vengono accettati solo dopo aver confermato che l’integrità dei dati è stata mantenuta durante il transito. S3 archivia il valore di checksum come metadati dell’oggetto e l’oggetto stesso.

Per verificare l’integrità dell’oggetto, è possibile richiedere il valore di checksum durante i download. Questa convalida funziona in modo coerente in tutte le modalità di crittografia, dimensioni degli oggetti, classi di archiviazione e in tutti i caricamenti sia di singole parti sia in più parti. Per modificare l’algoritmo di checksum per un caricamento, puoi copiare un singolo oggetto o utilizzare la copia in batch per più oggetti.

Per i caricamenti di singole parti, puoi fornire valori di checksum come intestazioni. È possibile fornire un valore precalcolato o lasciare che AWS SDK ne calcoli uno durante il caricamento. Se il valore di checksum calcolato da S3 corrisponde al valore fornito, la richiesta viene accettata. Se i valori non corrispondono, la richiesta viene rifiutata.

Per i caricamenti in più parti, gli AWS SDK possono creare automaticamente checksum finali per i caricamenti suddivisi in blocchi. Quando usi un checksum finale, Amazon S3 genera valori di checksum per ogni parte utilizzando l’algoritmo specificato e aggiunge il valore di checksum alla fine della richiesta di caricamento in blocchi. S3 esegue la verifica e il caricamento in un unico passaggio, migliorando l’efficienza. Per ulteriori informazioni, consulta le Utilizzo dei checksum finali.

Utilizzo di algoritmi di checksum supportati

Con Amazon S3, è possibile scegliere un algoritmo di checksum per convalidare i valori di checksum durante i caricamenti. L'algoritmo di checksum specificato viene quindi memorizzato con l'oggetto e può essere usato per convalidare l'integrità dei dati durante i download. È possibile scegliere uno dei seguenti algoritmi di checksum Secure Hash Algorithms (SHA) o Cyclic Redundancy Check (CRC) per calcolare il valore di checksum:

Inoltre, è possibile fornire un checksum con ogni richiesta utilizzando l'intestazione Content-MD5.

Quando si carica un oggetto, si specifica l'algoritmo che si desidera utilizzare:

Per applicare uno di questi valori di checksum a oggetti già caricati su Amazon S3, è possibile copiare l'oggetto e specificare se si desidera utilizzare l'algoritmo di checksum esistente o uno nuovo. Se non si specifica un algoritmo, S3 utilizza l'algoritmo esistente. Se l’oggetto di origine non ha un algoritmo di checksum o un valore di checksum specificato, Amazon S3 utilizza l’algoritmo CRC-64/NVME per calcolare il valore di checksum dell’oggetto di destinazione. È inoltre possibile specificare un algoritmo di checksum quando si copiano gli oggetti utilizzando le Operazioni in batch S3.

Tipi di checksum di oggetti completi e compositi

In Amazon S3, esistono due tipi di checksum supportati:

Amazon S3 supporta i seguenti tipi di algoritmi di checksum completi e compositi:

Caricamenti di una singola parte

I checksum degli oggetti caricati in una singola parte (usando il metodo PutObject) sono trattati come checksum completi dell'oggetto. Quando si carica un oggetto nella console di Amazon S3, è possibile scegliere l'algoritmo di checksum che si desidera che S3 utilizzi e anche (facoltativamente) fornire un valore precompilato. Amazon S3 convalida quindi il valore di checksum precalcolato prima di archiviare l’oggetto e il relativo valore di checksum. È possibile verificare l'integrità dei dati di un oggetto quando si richiede il valore di checksum durante il download degli oggetti.

Caricamenti in più parti

Quando si carica l'oggetto in più parti utilizzando l'API MultipartUpload è possibile specificare l'algoritmo di checksum che si desidera utilizzare su Amazon S3 e il tipo di checksum (oggetto completo o composito).

La tabella seguente indica quale tipo di algoritmo di checksum è supportato per ogni algoritmo di checksum in un caricamento multiparte:

Utilizzo di checksum completi degli oggetti per il caricamento multiparte

Quando si crea o si esegue un caricamento multiparte, è possibile utilizzare checksum completi degli oggetti per la convalida del caricamento. Ciò significa che è possibile fornire l'algoritmo di checksum per l'API MultipartUpload semplificando gli strumenti di validazione dell'integrità, perché non è più necessario tracciare vincoli di parti per oggetti caricati. È possibile fornire il checksum dell'intero oggetto nella richiesta CompleteMultipartUpload insieme alla dimensione dell'oggetto.

Quando si fornisce un checksum completo dell'oggetto durante un caricamento multiparte, l'SDK AWS trasmette il checksum ad Amazon S3 e S3 convalida l'integrità dell'oggetto lato server, confrontandolo con il valore ricevuto. Quindi, Amazon S3 memorizza l'oggetto se i valori corrispondono. Se i due valori non coincidono, S3 respinge la richiesta con un errore BadDigest. Il checksum dell'oggetto viene memorizzato anche nei metadati dell'oggetto, che verranno utilizzati in seguito per convalidare l'integrità dei dati di un oggetto.

Per i checksum dell’oggetto completo, è possibile utilizzare gli algoritmi di checksum CRC-64/NVME (CRC64NVME), CRC-32C (CRC32) o CRC-32C (CRC32C) in S3. I checksum completi degli oggetti nei caricamenti multiparte sono disponibili solo per i checksum basati su CRC perché possono linearizzarsi in un checksum completo dell'oggetto. Questa linearizzazione consente ad Amazon S3 di parallelizzare le richieste per migliorare le prestazioni. In particolare, S3 può calcolare il checksum dell'intero oggetto a partire dai checksum a livello di parte. Questo tipo di convalida non è disponibile per altri algoritmi, come SHA e MD5. Poiché S3 dispone di protezioni predefinite per l’integrità, se l’oggetto viene caricato senza checksum, S3 collega automaticamente all’oggetto l’algoritmo di checksum CRC-64/NVME dell’oggetto completo raccomandato (CRC64NVME).

Utilizzo di checksum a livello di parte per il caricamento multiparte

Quando gli oggetti vengono caricati su Amazon S3, possono essere caricati come un singolo oggetto o in parti con il processo di caricamento multiparte. È possibile scegliere un tipo di checksum per il caricamento multiparte. Per i checksum a livello di parte di caricamento multiparte (o checksum compositi), Amazon S3 calcola il checksum per ogni singola parte utilizzando l'algoritmo di checksum specificato. È possibile utilizzare UploadPart per fornire i valori di checksum per ogni parte. Se l’oggetto che si tenta di caricare nella console Amazon S3 è impostato per l’utilizzo dell’algoritmo di checksum CRC-64/NVME (CRC64NVME) e supera i 16 MB, viene automaticamente designato come checksum dell’oggetto completo.

Amazon S3 utilizza quindi i valori di checksum memorizzati a livello di parte per confermare che ogni parte è stata caricata correttamente. Quando viene fornito il checksum di ogni parte (per l'intero oggetto), S3 utilizza i valori di checksum memorizzati di ogni parte per calcolare internamente il checksum dell'intero oggetto, confrontandolo con il valore di checksum fornito. Questo riduce al minimo i costi di calcolo, poiché S3 può calcolare un checksum dell'intero oggetto utilizzando il checksum delle parti. Per ulteriori informazioni sui caricamenti multiparte, consulta Caricamento e copia di oggetti utilizzando il caricamento multiparte in Amazon S3 e Utilizzo di checksum completi degli oggetti per il caricamento multiparte.

Quando l'oggetto è stato completamente caricato, è possibile utilizzare il checksum finale calcolato per verificare l'integrità dei dati dell'oggetto.

Quando si carica una parte del caricamento multiparte, tieni presente quanto segue:

Metodi di checksum

Dopo aver caricato gli oggetti, è possibile ottenere il valore di checksum e confrontarlo con un valore di checksum precalcolato o precedentemente archiviato dello stesso tipo di algoritmo di checksum. Gli esempi seguenti mostrano quali metodi di calcolo del checksum si possono utilizzare per verificare l’integrità dei dati.

Utilizzo di Content-MD5 durante il caricamento di oggetti

Un altro modo per verificare l'integrità dell'oggetto dopo il caricamento consiste nel fornire un digest MD5 dell'oggetto durante il caricamento. Se calcoli il digest MD5 dell'oggetto, puoi fornire il digest con il comando PUTutilizzando l'intestazione Content-MD5.

Dopo aver caricato l'oggetto, Amazon S3 calcola il digest MD5 dell'oggetto e lo confronta con il valore fornito. La richiesta ha esito positivo solo se i due digest corrispondono.

Non è obbligatorio fornire un digest MD5, ma è possibile utilizzarlo per verificare l'integrità dell'oggetto come parte del processo di caricamento.

Utilizzo di Content-MD5 e di ETag per verificare gli oggetti caricati

Il tag di entità (ETag) di un oggetto rappresenta una versione specifica di tale oggetto. Tieni presente che l'ETag riflette solo le modifiche al contenuto di un oggetto, non le modifiche ai suoi metadati. Se cambiano solo i metadati di un oggetto, l'ETag rimane invariato.

In base all'oggetto, l'ETag dell'oggetto potrebbe essere un digest MD5 dei dati dell'oggetto:

Per gli oggetti in cui l'ETag è il digest Content-MD5 dell'oggetto, puoi confrontare il valore ETag dell'oggetto con un digest Content-MD5 calcolato o precedentemente archiviato.

Utilizzo dei checksum finali

Quando si caricano oggetti di grandi dimensioni in Amazon S3, puoi fornire un checksum precalcolato per l’oggetto o utilizzare AWS SDK per creare automaticamente i checksum finali per i caricamenti in blocchi. Se utilizzi un checksum finale, Amazon S3 genera automaticamente il valore di checksum utilizzando l’algoritmo specificato per convalidare l’integrità dell’oggetto durante il caricamento in blocchi di un oggetto.

Per creare un checksum finale quando si utilizza un SDK AWS, compila il parametro ChecksumAlgorithmcon l'algoritmo preferito. SDK utilizza l’algoritmo per calcolare il valore di checksum dell’oggetto (o delle parti dell’oggetto) e lo aggiunge automaticamente alla fine della richiesta di caricamento in blocchi. Questo comportamento ti consente di risparmiare tempo perché Amazon S3 esegue sia la verifica che il caricamento dei tuoi dati in un unico passaggio.

Intestazioni di checksum finali

Per effettuare una richiesta di codifica del contenuto in blocchi, Amazon S3 richiede che i server client includano diverse intestazioni per analizzare correttamente la richiesta. I server client devono includere le intestazioni seguenti:

Parti in blocchi

Quando carichi un oggetto su Amazon S3 utilizzando la codifica in blocchi, la richiesta di caricamento include i seguenti tipi di blocchi (formattati nell’ordine elencato):

Per esempi di formattazione in blocchi, consulta Esempi: caricamenti in blocchi con checksum finali.

Blocchi del corpo dell’oggetto

I blocchi del corpo dell’oggetto sono i blocchi che contengono i dati effettivi dell’oggetto che vengono caricati su S3. Questi blocchi hanno vincoli di dimensione e formato coerenti.

Dimensione dei blocchi del corpo dell’oggetto

Questi blocchi devono contenere almeno 8.192 byte (o 8 KiB) di dati dell’oggetto, ad eccezione del blocco del corpo finale, che può essere più piccolo. Non esiste una dimensione massima esplicita dei blocchi, ma è necessario che tutti i blocchi siano inferiori alla dimensione massima di caricamento di 5 GB. Le dimensioni dei blocchi possono variare da un blocco all’altro in base all’implementazione del server client.

Formato dei blocchi del corpo dell’oggetto

I blocchi del corpo dell’oggetto iniziano con la codifica esadecimale del numero di byte nel blocco del corpo dell’oggetto, seguita da un CRLF (Carriage Return Line Feed, ritorno a capo con avanzamento riga), dai byte dell’oggetto per il blocco e da un altro CRLF.

Ad esempio:

hex-encoding-of-object-bytes-in-chunk\r\n
chunk-object-bytes\r\n

Tuttavia, quando il blocco è firmato, il blocco del corpo dell’oggetto segue un formato diverso, in cui la firma viene aggiunta alla dimensione del blocco con un punto e virgola come delimitatore. Ad esempio:

hex-encoding-of-object-bytes-in-chunk;chunk-signature\r\n
 chunk-object-bytes\r\n

Per ulteriori informazioni sulla firma dei blocchi, consulta Calcoli della firma per l’intestazione Authorization: trasferimento di un payload in più blocchi (AWS Signature Version 4). Per ulteriori informazioni sulla formattazione dei blocchi, consulta Chunked transfer encoding sul sito web RFC Editor.

Blocchi di completamento

I blocchi di completamento devono essere il blocco finale del corpo dell’oggetto di ogni caricamento in blocchi. Il formato di un blocco di completamento è simile a quello del blocco del corpo, ma contiene sempre zero byte di dati dell’oggetto. Gli zero byte dei dati dell’oggetto indicano che tutti i dati sono stati caricati. I caricamenti in blocchi devono includere un blocco di completamento come blocco finale del corpo dell’oggetto, secondo un formato come il seguente:

0\r\n

Tuttavia, se la richiesta di codifica del contenuto utilizza la firma del payload, il formato è il seguente:

0;chunk-signature\r\n

Blocchi finali

I blocchi finali contengono il checksum calcolato per tutte le richieste di caricamento S3. I blocchi finali includono due campi: un campo con il nome dell’intestazione e un campo con il valore dell’intestazione. Il campo del nome dell’intestazione per una richiesta di caricamento deve corrispondere al valore passato nell’intestazione della richiesta x-amz-trailer. Ad esempio, se una richiesta contiene x-amz-trailer: x-amz-checksum-crc32 e il blocco finale ha il nome dell’intestazione x-amz-checksum-sha1, la richiesta ha esito negativo. Il campo del valore nel blocco finale include una codifica in base64 del valore di checksum big-endian per l’oggetto. L’ordinamento big-endian archivia il byte di dati più significativo nell’indirizzo di memoria più basso e il byte meno significativo nell’indirizzo di memoria più alto. L’algoritmo utilizzato per calcolare questo checksum è lo stesso del suffisso per il nome dell’intestazione (ad esempio, crc32).

Formato del blocco finale

I blocchi finali utilizzano il seguente formato per le richieste di payload non firmate:

x-amz-checksum-lowercase-checksum-algorithm-name:base64-checksum-value\n\r\n\r\n

Per le richieste con payload firmati SigV4, il blocco finale include una firma finale dopo il blocco finale.

trailer-checksum\n\r\n
trailer-signature\r\n

Puoi anche aggiungere il CRLF direttamente alla fine del valore di checksum in base64. Ad esempio:

x-amz-checksum-lowercase-checksum-algorithm-name:base64-checksum-value\r\n\r\n

Esempi: caricamenti in blocchi con checksum finali

Amazon S3 supporta i caricamenti in blocchi che utilizzano la codifica dei contenuti aws-chunked per le richieste PutObject e UploadPart con checksum finali.

Di seguito è illustrato un esempio di richiesta PutObject in blocchi con checksum CRC-32 finale. In questo esempio, il client carica un oggetto da 17 KB in tre blocchi non firmati e aggiunge un blocco di checksum CRC-32 finale utilizzando l’intestazione x-amz-checksum-crc32.

PUT /Key+ HTTP/1.1
Host: amzn-s3-demo-bucket
Content-Encoding: aws-chunked
x-amz-decoded-content-length: 17408
x-amz-content-sha256: STREAMING-UNSIGNED-PAYLOAD-TRAILER
x-amz-trailer: x-amz-checksum-crc32

2000\r\n                                   // Object body chunk 1 (8192 bytes)
object-bytes\r\n
2000\r\n                                   // Object body chunk 2 (8192 bytes)
object-bytes\r\n
400\r\n                                    // Object body chunk 3 (1024 bytes)
object-bytes\r\n
0\r\n                                      // Completion chunk
x-amz-checksum-crc32:YABb/g==\n\r\n\r\n    // Trailer chunk (note optional \n character)
\r\n                                         // CRLF

Ecco un esempio di risposta:

HTTP/1.1 200
ETag: ETag
x-amz-checksum-crc32: YABb/g==

Di seguito è illustrato un esempio di richiesta PutObject in blocchi con checksum CRC-32 finale. Questa richiesta utilizza la firma del payload SigV4. In questo esempio, il client carica un oggetto da 17 KB in tre blocchi firmati. Oltre ai blocchi object body, vengono firmati anche completion chunk e trailer chunk.

PUT /Key+ HTTP/1.1
Host: amzn-s3-demo-bucket.s3.amazonaws.com
Content-Encoding: aws-chunked
x-amz-decoded-content-length: 17408
x-amz-content-sha256: STREAMING-AWS4-HMAC-SHA256-PAYLOAD-TRAILER
x-amz-trailer: x-amz-checksum-crc32
		
authorization-code                            // SigV4 headers authorization

2000;chunk-signature=signature-value...\r\n   // Object body chunk 1 (8192 bytes)
object-bytes\r\n
2000;chunk-signature\r\n                      // Object body chunk 2 (8192 bytes)
object-bytes\r\n
400;chunk-signature\r\n                       // Object body chunk 3 (1024 bytes)
object-bytes\r\n
0;chunk-signature\r\n                         // Completion chunk
x-amz-checksum-crc32:YABb/g==\n\r\n            // Trailer chunk (note optional \n character)
trailer-signature\r\n
\r\n                                           // CRLF

Ecco un esempio di risposta:

HTTP/1.1 200
ETag: ETag
x-amz-checksum-crc32: YABb/g==