Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Accélération par GPU pour l'indexation vectorielle
L'accélération par GPU vous permet de créer des bases de données vectorielles à grande échelle plus rapidement et plus efficacement. Vous pouvez activer cette fonctionnalité sur les OpenSearch domaines nouveaux ou existants et les collections OpenSearch sans serveur. Cette fonctionnalité utilise l'accélération par GPU pour réduire le temps nécessaire à l'indexation des données dans des index vectoriels.
Grâce à l'accélération par GPU, vous pouvez augmenter la vitesse d'indexation vectorielle jusqu'à 10 fois pour un quart du coût d'indexation.
Conditions préalables
L'accélération GPU est prise en charge sur les OpenSearch domaines exécutant la OpenSearch version 3.1 ou ultérieure, ainsi OpenSearch que sur les collections sans serveur. Pour plus d'informations, reportez-vous aux UpdateDomainConfigsectionsMise à niveau des domaines Amazon OpenSearch Service, et UpdateCollection APIs.
Comment ça marche
Les index vectoriels nécessitent d'importantes ressources de calcul pour créer des structures de données telles que les graphes HNSW (Hierarchical Navigable Small Worlds). Lorsque vous activez l'accélération GPU sur votre domaine ou votre collection, elle détecte OpenSearch automatiquement les opportunités d'accélérer la création de votre index et transfère les builds d'index vers des instances GPU. OpenSearch Le service gère les instances de GPU en votre nom, en les attribuant à votre domaine ou à votre collection en cas de besoin. Cela signifie que vous ne gérez pas l'utilisation ni ne payez pour les périodes d'inactivité.
Vous ne payez que pour le traitement utile via les unités de calcul (OCU) - Vector Acceleration. Chaque OCU d'accélération vectorielle est une combinaison d'environ 8 Go de mémoire CPU, 2 CPUs V et 6 GiB de mémoire GPU. Pour de plus amples informations, veuillez consulter Tarification de l'accélération du GPU.
Pour activer l'accélération GPU pour votre domaine ou votre collection, consultezActivation de l'accélération du GPU.
Tarification de l'accélération du GPU
AWSvous facture lorsque vous OpenSearch détectez des opportunités d'accélérer les charges de travail de création d'index de votre domaine ou de votre collection. Chaque OCU d'accélération vectorielle est une combinaison d'environ 8 Go de mémoire CPU, 2 CPUs V et 6 GiB de mémoire GPU.
AWSfacture l'OCU avec une granularité de second niveau. Sur votre relevé de compte, vous verrez une entrée pour le calcul en heures OCU.
Par exemple, lorsque vous utilisez l'accélération GPU pendant une heure pour créer un index, en utilisant 2 vCPU et 1 GiB de mémoire GPU, 1 OCU vous est facturé. Si vous utilisez 9 GiB de mémoire CPU tout en utilisant l'accélération GPU, 2 OCU vous seront facturés.
OpenSearch Serverless ajoute des unités supplémentaires par incréments de 1 OCU OCUs en fonction de la puissance de calcul et du stockage nécessaires pour prendre en charge vos collections. Vous pouvez configurer un nombre maximum de OCUs pour votre compte afin de contrôler les coûts.
Note
Le nombre de OCUs fournitures fournies à tout moment peut varier et n'est pas exact. Au fil du temps, l'algorithme utilisé OpenSearch et celui utilisé par OpenSearch Serverless continueront de s'améliorer afin de minimiser l'utilisation du système.
Pour en savoir plus sur les tarifs, consultez Amazon OpenSearch Service Pricing
Accélération du GPU et opérations d'écriture
L'accélération du GPU est activée lorsque le taux d'ingestion OpenSearch du vecteur (Mo/sec) se situe dans une plage. Sur OpenSearch les domaines, vous avez la possibilité de configurer cette plageindex.knn.remote_index_build.size.min etindex.knn.remote_index_build.size.max. Par exemple, avec la plage inférieure par défaut de 50 Mo, l'écriture de 15 000 vecteurs de haute précision avec une dimension de 768 entre les intervalles de rafraîchissement déclenchera l'accélération du GPU par défaut.
Les données sont écrites avec les opérations d'API suivantes :
L'accélération du GPU est activée par des fusions de segments automatiques et manuelles
Configurations d'index supportées
Le moteur Faiss
Les configurations suivantes ne prennent pas en charge l'accélération par GPU :
Bonnes pratiques
Suivez ces bonnes pratiques pour optimiser les avantages de l'accélération par GPU pour vos charges de travail de recherche vectorielle :
-
Augmenter le nombre de clients de l'indice : pour en tirer pleinement parti GPUs lors de la création de l'indice, augmentez le nombre de clients de l'indice dans OpenSearch lesquels des données sont ingérées. Cela permet une meilleure parallélisation et une meilleure utilisation des ressources du GPU.
-
Ajuster le seuil approximatif : modifiez le
index.knn.advanced.approximate_thresholdparamètre pour éviter de créer des index de segments plus petits, ce qui améliore la vitesse globale d'ingestion. Une valeur de 10 000 est un bon point de départ. Pour les collections, vous devez spécifier explicitement une valeur pour ce paramètre. -
Optimisez la taille des partitions : essayez de créer des partitions contenant au moins 1 million de documents. Les partitions contenant un nombre inférieur à ce nombre de documents risquent de ne pas bénéficier globalement de l'accélération par GPU.
