Conectores de ML de Amazon OpenSearch Service para plataformas de terceros

En este tutorial, explicamos cómo crear un conector de OpenSearch Service a Cohere. Para obtener más información sobre los conectores, consulte Conectores compatibles.

Si utiliza un conector de machine learning (ML) de Amazon OpenSearch Service con un modelo remoto externo, debe almacenar sus credenciales de autorización específicas en AWS Secrets Manager. Puede ser una clave de API o una combinación de nombre de usuario y contraseña. Esto significa que también debe crear un rol de IAM que permita a OpenSearch Service acceder a Secrets Manager para leer desde ahí.

Requisitos previos

Para crear un conector para Cohere o cualquier proveedor externo con OpenSearch Service, debe tener un rol de IAM que le dé a OpenSearch Service acceso a AWS Secrets Manager, donde almacena sus credenciales. También debe almacenar sus credenciales en Secrets Manager.

Creación de un rol de IAM

Configure un rol de IAM para delegar permisos de Secrets Manager a OpenSearch Service. También puede usar el rol de SecretManagerReadWrite existente. Para crear un rol nuevo, consulte Creación de roles de IAM (consola) en la Guía del usuario de IAM. Si crea un rol nuevo en lugar de usar un rol administrado por AWS, sustituya opensearch-secretmanager-role en este tutorial por el nombre de su propio rol.

Configuración de permisos

Para crear el conector, necesita permiso para transferir el rol de IAM a OpenSearch Service. También necesita tener acceso a la acción es:ESHttpPost. Para conceder estos dos permisos, asocie la siguiente política al rol de IAM cuyas credenciales se utilicen para firmar la solicitud:

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "iam:PassRole",
      "Resource": "arn:aws:iam::111122223333:role/opensearch-secretmanager-role"
    },
    {
      "Effect": "Allow",
      "Action": "es:ESHttpPost",
      "Resource": "arn:aws:es:us-east-1:111122223333:domain/domain-name/*"
    }
  ]
}

Si su usuario o rol no tiene permisos de iam:PassRole para transferir su rol, puede que se produzca un error de autorización cuando intente registrar un repositorio en el siguiente paso.

Configuración de AWS Secrets Manager

Para almacenar sus credenciales de autorización en Secrets Manager, consulte Create an AWS Secrets Manager secret en la Guía del usuario de AWS Secrets Manager.

Después de que Secrets Manager acepta su par clave-valor como secreto, recibirá un ARN con el formato: arn:aws:secretsmanager:us-west-2:123456789012:secret:MySecret-a1b2c3. Mantenga un registro de este ARN, a medida que lo usa y su clave cuando cree un conector en el siguiente paso.

Asigne el rol de ML en OpenSearch Dashboards (si utiliza el control de acceso detallado)

El control de acceso detallado presenta un paso adicional al configurar un conector. Incluso si utiliza autenticación HTTP básica para todos los demás fines, debe asignar el rol ml_full_access al rol de IAM que tenga permisos iam:PassRole para transferir opensearch-sagemaker-role.

Cómo crear un conector de OpenSearch Service

Para crear un conector, envíe una solicitud POST al punto de conexión de dominio de OpenSearch Service. Puede usar curl, el cliente Python de muestra, Postman u otro método para enviar una solicitud firmada. Tenga en cuenta que no puede usar una solicitud POST en la consola de Kibana. La solicitud tiene el siguiente formato:

POST domain-endpoint/_plugins/_ml/connectors/_create
{
    "name": "Cohere Connector: embedding",
    "description": "The connector to cohere embedding model",
    "version": 1,
    "protocol": "http",
    "credential": {
        "secretArn": "arn:aws:secretsmanager:region:account-id:secret:cohere-key-id",
        "roleArn": "arn:aws:iam::account-id:role/opensearch-secretmanager-role"
    },
    "actions": [
        {
            "action_type": "predict",
            "method": "POST",
            "url": "https://api.cohere.ai/v1/embed",
            "headers": {
                "Authorization": "Bearer ${credential.secretArn.cohere-key-used-in-secrets-manager}"
            },
            "request_body": "{ \"texts\": ${parameters.texts}, \"truncate\": \"END\" }"
        }
    ]
}

El cuerpo de esta solicitud es diferente de una solicitud de conector de código abierto en dos aspectos. Dentro del campo credential, se transfiere el ARN del rol de IAM que permite a OpenSearch Service leer desde Secrets Manager, junto con el ARN del secreto qué. En el campo headers, se hace referencia al secreto mediante la clave secreta y al hecho de que proviene de un ARN.

Si el dominio reside en una nube privada virtual (VPC), la computadora debe estar conectada a la VPC para que la solicitud cree correctamente el conector de IA. El acceso a una VPC depende de la configuración de red, pero generalmente implica conectarse a una VPN o una red corporativa. Para comprobar que tiene acceso al dominio de OpenSearch Service, diríjase a https://your-vpc-domain.region.es.amazonaws.com en un navegador web y compruebe que recibe la respuesta JSON predeterminada.

Cliente Python de muestra

El cliente de Python es más simple de automatizar que una solicitud HTTP y tiene una mejor reutilización. Para crear el conector de IA con el cliente Python, guarde el siguiente código de ejemplo en un archivo Python. El cliente necesita los paquetes AWS SDK para Python (Boto3), requests y requests-aws4auth.

import boto3
import requests 
from requests_aws4auth import AWS4Auth

host = 'domain-endpoint/'
region = 'region'
service = 'es'
credentials = boto3.Session().get_credentials()
awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token)

path = '_plugins/_ml/connectors/_create'
url = host + path

payload = {
    "name": "Cohere Connector: embedding",
    "description": "The connector to cohere embedding model",
    "version": 1,
    "protocol": "http",
    "credential": {
        "secretArn": "arn:aws:secretsmanager:region:account-id:secret:cohere-key-id",
        "roleArn": "arn:aws:iam::account-id:role/opensearch-secretmanager-role"
    },
    "actions": [
        {
            "action_type": "predict",
            "method": "POST",
            "url": "https://api.cohere.ai/v1/embed",
            "headers": {
                "Authorization": "Bearer ${credential.secretArn.cohere-key-used-in-secrets-manager}"
            },
            "request_body": "{ \"texts\": ${parameters.texts}, \"truncate\": \"END\" }"
        }
    ]
}

headers = {"Content-Type": "application/json"}

r = requests.post(url, auth=awsauth, json=payload, headers=headers)
print(r.status_code)
print(r.text)