Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Enrichissement sémantique automatique pour Serverless

Vue d’ensemble

La fonction d'enrichissement sémantique automatique peut contribuer à améliorer la pertinence de la recherche jusqu'à 20 % par rapport à la recherche lexicale. L'enrichissement sémantique automatique élimine les tâches fastidieuses que représentent la gestion de votre propre infrastructure de modèles ML (apprentissage automatique) et l'intégration avec le moteur de recherche. La fonctionnalité est disponible pour les trois types de collections sans serveur : Recherche, Série chronologique et Vecteur.

Concepts de recherche sémantique

Les moteurs de recherche traditionnels s'appuient sur la correspondance mot à mot (appelée recherche lexicale) pour trouver les résultats des requêtes. Bien que cela fonctionne bien pour des requêtes spécifiques telles que les numéros de modèles de téléviseurs, il se peut qu'il ne renvoie pas de résultats pertinents pour des recherches plus abstraites. Par exemple, lorsque vous recherchez « chaussures pour la plage », une recherche lexicale fait simplement correspondre les mots individuels « chaussures », « plage », « pour » et « les » dans les articles du catalogue, ce qui peut entraîner l'absence de produits pertinents tels que « sandales imperméables » ou « chaussures de surf » qui ne contiennent pas les termes de recherche exacts.

La recherche sémantique renvoie des résultats de requête qui intègrent non seulement la correspondance des mots clés, mais aussi l'intention et la signification contextuelle de la recherche de l'utilisateur. Par exemple, si un utilisateur recherche « comment traiter un mal de tête », un système de recherche sémantique peut renvoyer les résultats suivants :

Détails du modèle et référence de performance

Bien que cette fonctionnalité gère les complexités techniques en coulisse sans exposer le modèle sous-jacent, la description du modèle et les résultats de référence suivants vous aident à prendre des décisions éclairées concernant l'adoption des fonctionnalités dans vos charges de travail critiques.

L'enrichissement sémantique automatique utilise un modèle clairsemé pré-entraîné et géré par des services qui fonctionne efficacement sans nécessiter de réglages personnalisés. Le modèle analyse les champs que vous spécifiez, en les développant en vecteurs épars sur la base d'associations apprises à partir de diverses données d'entraînement. Les termes développés et leurs poids de signification sont stockés dans le format d'index Lucene natif pour une récupération efficace. Nous avons optimisé ce processus en utilisant le mode document uniquement, dans lequel l'encodage s'effectue uniquement lors de l'ingestion des données. Les requêtes de recherche sont tokenisées plutôt que traitées via le modèle éparse, ce qui rend la solution à la fois rentable et performante.

La validation des performances lors du développement des fonctionnalités a utilisé l'ensemble de données de récupération de passages MS MARCO, contenant des passages de 334 caractères en moyenne. Pour le score de pertinence, la métrique utilisée était le gain cumulé actualisé normalisé moyen (NDCG) pour les 10 premiers résultats de recherche (ndcg @10) sur le référentiel BEIR pour le contenu en anglais et le score moyen ndcg @10 sur MIRACL pour le contenu multilingue. L'évaluation de la latence a utilisé des mesures côté client au 90e centile (p90) et la réponse de recherche p90 a pris des valeurs. https://github.com/beir-cellar/beir Ces benchmarks fournissent des indicateurs de performance de base pour la pertinence de la recherche et les temps de réponse. Les principaux chiffres de référence sont les suivants :

Compte tenu de la nature unique de chaque charge de travail, vous pouvez évaluer cette fonctionnalité dans votre environnement de développement à l'aide de vos propres critères d'analyse comparative avant de prendre des décisions d'implémentation.

Langues prises en charge

La fonctionnalité prend en charge l'anglais. En outre, le modèle prend également en charge l'arabe, le bengali, le chinois, le finnois, le français, l'hindi, l'indonésien, le japonais, le coréen, le persan, le russe, l'espagnol, le swahili et le télougou.

Configurer un index d'enrichissement sémantique automatique pour les collections sans serveur

Vous pouvez configurer un index avec un enrichissement sémantique automatique activé pour vos champs de texte via la console, les API et les CloudFormation modèles lors de la création d'un nouvel index. Pour l'activer pour un index existant, vous devez recréer l'index en activant l'enrichissement sémantique automatique pour les champs de texte.

La AWS console permet de créer un index avec des champs d'enrichissement sémantique automatique. Après avoir sélectionné une collection, vous trouverez le bouton Créer un index en haut de la console. Une fois que vous avez choisi Créer un index, la console propose des options permettant de définir des champs d'enrichissement sémantique automatique. Dans un index, vous pouvez avoir des combinaisons d'enrichissement sémantique automatique pour l'anglais et le multilingue, ainsi que des champs lexicaux.

Pour créer un index d'enrichissement sémantique automatique à l'aide de l'interface de ligne de AWS commande (AWS CLI), utilisez la commande create-index :

aws opensearchserverless create-index \
--id [collection_id] \
--index-name [index_name] \
--index-schema [index_body] \
            

Dans l'exemple de schéma d'index suivant, le type de title_semantic champ est défini sur text et ses paramètres sont semantic_enrichment définis sur status. ENABLED Le réglage du semantic_enrichment paramètre permet un enrichissement sémantique automatique sur le title_semantic terrain. Vous pouvez utiliser le language_options champ pour spécifier english soitmulti-lingual.

    aws opensearchserverless create-index \
    --id XXXXXXXXX \
    --index-name 'product-catalog' \
    --index-schema '{
    "mappings": {
        "properties": {
            "product_id": {
                "type": "keyword"
            },
            "title_semantic": {
                "type": "text",
                "semantic_enrichment": {
                    "status": "ENABLED",
                    "language_options": "english"
                }
            },
            "title_non_semantic": {
                "type": "text"
            }
        }
    }
}'
            

Pour décrire l'index créé, utilisez la commande suivante :

aws opensearchserverless get-index \
--id [collection_id] \
--index-name [index_name] \
           

Vous pouvez également utiliser CloudFormation des modèles (Type:AWS: : OpenSearchServerless : :CollectionIndex) pour créer une recherche sémantique pendant le provisionnement de la collection ainsi qu'après sa création.

Mettre à jour un index existant

Vous pouvez mettre à jour un index existant pour ajouter de nouveaux champs d'enrichissement sémantique, activer ou désactiver l'enrichissement sémantique sur des champs existants ou ajouter des champs de texte non sémantiques. Utilisez la update-index commande et indiquez uniquement les champs que vous souhaitez modifier dans leindex-schema. Les champs non inclus dans la demande restent inchangés.

Pour mettre à jour un index à l'aide de AWS CLI, utilisez la update-index commande suivante :

aws opensearchserverless update-index \
--id [collection_id] \
--index-name [index_name] \
--index-schema [index_body]

Ajouter un nouveau champ d'enrichissement sémantique

Vous pouvez ajouter un nouveau text champ avec l'enrichissement sémantique activé à un index existant. Le service configure automatiquement le modèle ML, le pipeline d'ingestion et le pipeline de recherche requis. Les nouveaux documents indexés après la mise à jour sont automatiquement enrichis.

aws opensearchserverless update-index \
--id my-collection-id \
--index-name product-catalog \
--index-schema '{
    "mappings": {
        "properties": {
            "description": {
                "type": "text",
                "semantic_enrichment": {
                    "status": "ENABLED",
                    "language_options": "english"
                }
            }
        }
    }
}'

Désactiver l'enrichissement sémantique sur un champ

Pour désactiver l'enrichissement sémantique sur un champ pour lequel il est actuellement activé, définissez surstatus. DISABLED Le champ est supprimé des pipelines d'ingestion et de recherche. Le champ de texte sous-jacent et son champ d'intégration restent dans l'index mais ne sont plus enrichis.

aws opensearchserverless update-index \
--id my-collection-id \
--index-name product-catalog \
--index-schema '{
    "mappings": {
        "properties": {
            "title_semantic": {
                "type": "text",
                "semantic_enrichment": {
                    "status": "DISABLED"
                }
            }
        }
    }
}'

Limites de mise à

Les opérations suivantes ne sont pas prises en charge par l'index update-index et vous obligent à le supprimer et à le recréer :

Ingestion et recherche de données

Une fois que vous avez créé un index avec l'enrichissement sémantique automatique activé, la fonctionnalité fonctionne automatiquement pendant le processus d'ingestion des données, aucune configuration supplémentaire n'est requise.

Ingestion de données : lorsque vous ajoutez des documents à votre index, le système :

Ce processus utilise OpenSearch les connecteurs ML intégrés et les pipelines d'ingestion, qui sont créés et gérés automatiquement en arrière-plan.

Recherche : les données d'enrichissement sémantique sont déjà indexées, de sorte que les requêtes s'exécutent efficacement sans avoir à invoquer à nouveau le modèle ML. Cela signifie que vous bénéficiez d'une pertinence de recherche améliorée sans frais de latence de recherche supplémentaires.

Configuration des autorisations pour l'enrichissement sémantique automatique

Avant de créer un index d'enrichissement sémantique automatique, vous devez configurer les autorisations requises. Cette section explique les autorisations nécessaires et explique comment les configurer.

Autorisations relatives aux politiques IAM

Utilisez la politique Gestion des identités et des accès AWS (IAM) suivante pour accorder les autorisations nécessaires à l'utilisation de l'enrichissement sémantique automatique :

JSON

{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Sid": "AutomaticSemanticEnrichmentPermissions",
            "Effect": "Allow",
            "Action": [
                "aoss:CreateIndex",
                "aoss:GetIndex",
                "aoss:UpdateIndex",
                "aoss:DeleteIndex",
                "aoss:APIAccessAll"
            ],
            "Resource": "*"
        }
    ]
}

Configuration des autorisations d'accès aux données

Pour configurer un index pour un enrichissement sémantique automatique, vous devez disposer de politiques d'accès aux données appropriées qui autorisent l'accès aux ressources de collection d'index, de pipeline et de modèles. Pour plus d'informations sur les politiques d'accès aux données, consultezContrôle d'accès aux données pour Amazon OpenSearch Serverless. Pour la procédure de configuration d'une politique d'accès aux données, consultezCréation de stratégies d'accès aux données (console).

Autorisations d'accès aux données

[
    {
        "Description": "Create index permission",
        "Rules": [
            {
                "ResourceType": "index",
                "Resource": ["index/collection_name/*"],
                "Permission": [
                  "aoss:CreateIndex", 
                  "aoss:DescribeIndex",
                  "aoss:UpdateIndex",
                  "aoss:DeleteIndex"
                ]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
    {
        "Description": "Create pipeline permission",
        "Rules": [
            {
                "ResourceType": "collection",
                "Resource": ["collection/collection_name"],
                "Permission": [
                  "aoss:CreateCollectionItems",
                  "aoss:DescribeCollectionItems"
                ]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
    {
        "Description": "Create model permission",
        "Rules": [
            {
                "ResourceType": "model",
                "Resource": ["model/collection_name/*"],
                "Permission": ["aoss:CreateMLResource"]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
]

Autorisations d'accès au réseau

Pour autoriser les API de service à accéder à des collections privées, vous devez configurer des politiques réseau qui autorisent l'accès requis entre l'API de service et la collection. Pour plus d'informations sur les politiques réseau, consultez la section Accès réseau pour Amazon OpenSearch Serverless.

[
   {
      "Description":"Enable automatic semantic enrichment in a private collection",
      "Rules":[
         {
            "ResourceType":"collection",
            "Resource":[
               "collection/collection_name"
            ]
         }
      ],
      "AllowFromPublic":false,
      "SourceServices":[
         "aoss.amazonaws.com"
      ],
   }
]

Pris en charge Régions AWS

L'enrichissement sémantique automatique pour OpenSearch Serverless est disponible dans les versions suivantes : Régions AWS

Réécritures de requêtes

L'enrichissement sémantique automatique convertit automatiquement vos requêtes « correspondantes » existantes en requêtes de recherche sémantique sans nécessiter de modifications de requête. Si une requête de correspondance fait partie d'une requête composée, le système parcourt la structure de votre requête, trouve les requêtes correspondantes et les remplace par des requêtes neuronales creuses. Actuellement, cette fonctionnalité ne prend en charge que le remplacement des requêtes « correspondantes », qu'il s'agisse d'une requête autonome ou d'une partie d'une requête composée. « multi_match » n'est pas pris en charge. En outre, la fonctionnalité prend en charge toutes les requêtes composées pour remplacer leurs requêtes de correspondance imbriquées. Les requêtes composées incluent : bool, boosting, constant_score, dis_max, function_score et hybrid.

Limites de l'enrichissement sémantique automatique

La recherche sémantique automatique est plus efficace lorsqu'elle est appliquée à des champs de petite à moyenne taille contenant du contenu en langage naturel, tels que des titres de films, des descriptions de produits, des critiques et des résumés. Bien que la recherche sémantique améliore la pertinence dans la plupart des cas d'utilisation, elle peut ne pas être optimale dans certains scénarios. Tenez compte des limites suivantes lorsque vous décidez d'implémenter l'enrichissement sémantique automatique pour votre cas d'utilisation spécifique.

Tarification

Amazon OpenSearch Service facture l'enrichissement sémantique automatique en fonction des unités de OpenSearch calcul (OCU) consommées lors de la génération de vecteurs épars au moment de l'indexation. Vous êtes facturé uniquement pour l'utilisation réelle lors de l'indexation des champs de texte pour lesquels vous avez activé l'enrichissement sémantique automatique. Un OCU de recherche sémantique peut traiter 11,1 millions de jetons pour le contenu en anglais. Pour traiter 2,4 milliards de jetons, vous aurez besoin d'environ 216 recherches sémantiques OCU-hours (2,4 milliards/11,10 millions). Avec un prix de 0,24$ par recherche sémantique OCU-hour, le coût du traitement de 10 Go de données pour la recherche sémantique automatique serait de 51$ (216 x 0$). OCU-hours 24/OCU-heure). Il n'y a pas de frais OCU supplémentaires pour la recherche sémantique lors des opérations de recherche ou pour le stockage des données.

Vous pouvez suivre cette consommation à l'aide de la CloudWatch métrique AmazonSemanticSearchOCU. Pour obtenir des informations spécifiques sur les limites des jetons du modèle, le débit volumique par OCU et un exemple de calcul, consultez la page Tarification des OpenSearch services.