Inserimento di vettori in un indice vettoriale

È possibile aggiungere vettori a un indice vettoriale con l’operazione API PutVectors. Ogni vettore è costituito da una chiave, che lo identifica in modo univoco in un indice vettoriale. Se si inserisce un vettore con una chiave già esistente nell’indice, il vettore esistente verrà completamente sovrascritto, rendendo il vettore precedente non più ricercabile. Per massimizzare il throughput di scrittura, è consigliabile inserire i vettori in batch di grandi dimensioni, fino alla dimensione massima del batch per PutVectors. Per ulteriori informazioni sulla dimensione massima del batch per PutVectors, che è il limite di vettori per chiamata API PutVectors, consulta Limitazioni e restrizioni. Inoltre, è possibile collegare a ciascun vettore i metadati (ad esempio anno, autore, genere, posizione) come coppie chiave-valore. Per impostazione predefinita, tutte le chiavi di metadati collegate ai vettori sono filtrabili e possono essere utilizzate come filtri in una query di somiglianza. Solo le chiavi di metadati specificate come non filtrabili durante la creazione dell’indice vettoriale non possono essere utilizzate come filtro. Gli indici vettoriali S3 supportano i metadati di tipo stringa, numerico, booleano ed elenco. Per ulteriori informazioni sul limite della dimensione totale dei metadati per vettore e sul limite della dimensione dei metadati filtrabili per vettore, consulta Limitazioni e restrizioni. Se la dimensione dei metadati supera questi limiti, l’operazione API PutVectors restituirà un errore 400 Bad Request.

Prima di aggiungere dati vettoriali all’indice vettoriale con l’operazione API PutVectors, è necessario convertire i dati non elaborati in embedding vettoriali, che sono rappresentazioni numeriche dei contenuti sotto forma di array di numeri a virgola mobile. Gli embedding vettoriali acquisiscono il significato semantico dei contenuti, consentendo le ricerche per similarità una volta archiviati nell’indice vettoriale tramite l’operazione PutVectors. È possibile generare embedding vettoriali utilizzando vari metodi a seconda del tipo di dati e del caso d’uso. Questi metodi includono l’utilizzo di framework di machine learning, librerie di embedding specializzate o servizi AWS come Amazon Bedrock. Ad esempio, utilizzando Amazon Bedrock è possibile generare embedding con l’operazione API InvokeModel e il modello di embedding preferito.

Inoltre, Knowledge Base per Amazon Bedrock fornisce un flusso di lavoro RAG end-to-end completamente gestito in cui Amazon Bedrock recupera automaticamente i dati dall’origine dati S3, converte i contenuti in blocchi di testo, genera embedding e li archivia nell’indice vettoriale. È quindi possibile eseguire query sulla knowledge base e ottenere risposte basate sui blocchi recuperati dai dati di origine.

Inoltre, lo strumento open source Amazon S3 Vectors Embed CLI offre un modo semplificato per generare embedding ed eseguire ricerche semantiche dalla riga di comando. Per ulteriori informazioni su questo strumento open source che automatizza sia la generazione di embedding vettoriali con i modelli di fondazione di Amazon Bedrock sia le operazioni di ricerca semantica all’interno degli indici vettoriali S3, consulta Creazione di embedding vettoriali ed esecuzione di ricerche semantiche con s3vectors-embed-cli.