Uso de CloudFormation para configurar la inferencia remota para la búsqueda semántica

A partir de la versión 2.9 de OpenSearch, puede utilizar la inferencia remota con la búsqueda semántica para alojar sus propios modelos de machine learning (ML). La inferencia remota utiliza el complemento ML Commons.

Con la inferencia remota, puede alojar las inferencias de sus modelos de forma remota en servicios de ML, como Amazon SageMaker AI y Amazon BedRock y conectarlas a Amazon OpenSearch Service mediante conectores de ML.

Para facilitar la configuración de la inferencia remota, Amazon OpenSearch Service proporciona una plantilla AWS CloudFormation en la consola. CloudFormation es un Servicio de AWS que le permite aprovisionar y administrar recursos de AWS y de terceros al tratar la infraestructura como código.

La plantilla de CloudFormation de OpenSearch automatiza el proceso de aprovisionamiento de modelos para que pueda crear fácilmente un modelo en su dominio de OpenSearch Service y, a continuación, utilizar el ID del modelo para incorporar datos y ejecutar consultas de búsqueda neuronal.

Cuando utilice codificadores dispersos neuronales con la versión 2.12 y versiones posteriores de OpenSearch Service, le recomendamos que utilice el modelo de tokenizador de forma local en lugar de implementarlo de forma remota. Para obtener más información, consulte Sparse encoding models en la documentación de OpenSearch.

Plantillas CloudFormation disponibles

Están disponibles las siguientes plantillas AWS CloudFormation de machine learning para su uso:

Requisitos previos

Para utilizar una plantilla de CloudFormation con OpenSearch Service, se deben completar los siguientes requisitos previos.

Configurar un dominio de OpenSearch Service

Antes de poder usar una plantilla de CloudFormation, debe configurar un dominio de Amazon OpenSearch Service con la versión 2.9 o posterior y activar un control de acceso detallado. Cree un rol de backend de OpenSearch Service para dar permiso al complemento de ML Commons para que cree el conector por usted.

La plantilla de CloudFormation crea un rol de IAM de Lambda por usted con el nombre predeterminado LambdaInvokeOpenSearchMLCommonsRole, que puede anular si desea elegir un nombre diferente. Una vez que la plantilla crea este rol de IAM, debe conceder permiso a la función de Lambda para llamar a su dominio de OpenSearch Service. Para ello, asigne el rol denominado ml_full_access a su rol de backend de OpenSearch Service siguiendo estos pasos:

Una vez que haya asignado el rol, vaya a la configuración de seguridad de su dominio y añada el rol de IAM de Lambda a su política de acceso de OpenSearch Service.

Habilite los permisos en su Cuenta de AWS

Su Cuenta de AWS debe tener permiso para acceder a CloudFormation y Lambda, así como a cualquier Servicio de AWS que elija para su plantilla, ya sea tiempo de ejecución de Sagemaker o Amazon BedRock.

Si utiliza Amazon Bedrock, también debe registrar su modelo. Consulte Acceso al modelo en la Guía del usuario de Amazon Bedrock para registrar su modelo.

Si utiliza su propio bucket de Amazon S3 para proporcionar artefactos del modelo, debe añadir el rol de IAM de CloudFormation a su política de acceso de S3. Para más información, consulte Adición y eliminación de permisos de identidad de IAM en la Guía del usuario de IAM.

Inferencia remota para plantillas de resaltado semántico

El resaltado semántico es una característica de búsqueda avanzada que mejora la relevancia de los resultados al analizar el significado y el contexto de las consultas en lugar de basarse únicamente en las coincidencias exactas de las palabras clave. Esta función utiliza modelos de machine learning para evaluar la similitud semántica entre las consultas de búsqueda y el contenido del documento, identificando y resaltando las frases o pasajes más relevantes desde el punto de vista contextual de los documentos. A diferencia de los métodos de resaltado tradicionales, que se centran en las coincidencias exactas de los términos, el resaltado semántico aprovecha los modelos de IA para evaluar cada oración utilizando información contextual tanto de la consulta como del texto circundante, lo que le permite mostrar información pertinente incluso cuando los términos de búsqueda exactos no estén presentes en los pasajes resaltados. Este enfoque es particularmente valioso para las implementaciones de búsqueda impulsadas por la IA, en las que los usuarios dan prioridad al significado semántico por encima de la coincidencia literal de palabras, lo que permite a los administradores de búsquedas ofrecer experiencias de búsqueda más inteligentes y contextualmente conscientes que destacan las extensiones de contenido significativas en lugar de solo las apariciones de palabras clave. Para obtener más información, consulte Uso del resaltado semántico.

Utilice el siguiente procedimiento para abrir y ejecutar una plantilla CloudFormation que configure automáticamente los modelos de Amazon SageMaker para el resaltado semántico.