Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
# Configuración del proveedor de modelos
**nota**
En esta sección se da por hecho que el lenguaje y los modelos de incrustación que tiene previsto usar ya están implementados. En el caso de los modelos proporcionados por AWS, ya debe tener el ARN de su punto de conexión de SageMaker IA o acceso a Amazon Bedrock. En el caso de otros proveedores de modelos, debe utilizar la clave de API para autenticar y autorizar las solicitudes al modelo.
Jupyter AI es compatible con una amplia gama de proveedores de modelos y modelos de lenguaje. Consulte la lista de los [modelos compatibles](https://jupyter-ai.readthedocs.io/en/latest/users/index.html#model-providers) para mantenerse actualizado sobre los últimos modelos disponibles. Para obtener información sobre cómo implementar un modelo proporcionado por JumpStart, consulte [Implementación de un modelo](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-deploy.html) en la JumpStart documentación. Debe solicitar acceso a [Amazon Bedrock](https://aws.amazon.com/bedrock/) para usarlo como proveedor de modelos.
La configuración de Jupyter AI varía en función de si se utiliza la interfaz de usuario del chat o los comandos mágicos.
## Configuración del proveedor de modelos en la interfaz de usuario del chat
**nota**
Puede configurar varios modelos LLMs e incrustarlos siguiendo las mismas instrucciones. Sin embargo, debe configurar al menos un **modelo de lenguaje**.
**Configuración de la interfaz de usuario del chat**
1. En JupyterLab, accede a la interfaz de chat seleccionando el icono de chat () en el panel de navegación izquierdo.
1. Elija el icono de configuración () de la esquina superior derecha del panel izquierdo. Se abrirá el panel de configuración de Jupyter AI.
1. Complete los campos relacionados con el proveedor de servicios.
+ **Para modelos proporcionados por JumpStart Amazon Bedrock**
+ En la lista desplegable de **modelos de lenguaje**, seleccione `sagemaker-endpoint` los modelos implementados con Amazon Bedrock JumpStart o `bedrock` los modelos gestionados por Amazon Bedrock.
+ Los parámetros varían en función de si el modelo se implementa en SageMaker AI o en Amazon Bedrock.
+ Para los modelos implementados con JumpStart:
+ Introduzca el nombre de su terminal en Nombre del **terminal y, a continuación, el nombre** Región de AWS en el que está desplegado el modelo en el [**nombre de la región**](sagemaker-jupyterai-use.md#sagemaker-jupyterai-region-name). Para recuperar el ARN de los puntos finales de la SageMaker IA, navegue hasta los puntos finales y, a continuación, seleccione **Inferencia [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)** y **puntos finales** en el menú de la izquierda.
+ Pegue el valor de JSON del [**Esquema de solicitud**](sagemaker-jupyterai-use.md#sagemaker-jupyterai-request-schema) adaptado al modelo, así como la [**Ruta de respuesta**](sagemaker-jupyterai-use.md#sagemaker-jupyterai-response-path) correspondiente para analizar el resultado del modelo.
**nota**
[Puede encontrar el formato de solicitud y respuesta de varios modelos básicos en los siguientes JumpStart cuadernos de ejemplo.](https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart-foundation-models) Cada cuaderno lleva el nombre del modelo que muestra.
+ Para los modelos gestionados por Amazon Bedrock: añada el AWS perfil que almacena sus AWS credenciales en el sistema (opcional) y, a continuación, el perfil Región de AWS en el que se implementa el modelo en el [**nombre de la región**](sagemaker-jupyterai-use.md#sagemaker-jupyterai-region-name).
+ (Opcional) Seleccione un [modelo de incrustación](sagemaker-jupyterai-overview.md#sagemaker-jupyterai-embedding-model) al que tenga acceso. Los modelos de incrustación se utilizan para capturar información adicional de los documentos locales, lo que permite que el modelo de generación de texto responda a preguntas dentro del contexto de esos documentos.
+ Seleccione **Guardar cambios** y diríjase al icono de flecha izquierda () en la esquina superior izquierda del panel de la izquierda. Se abrirá la interfaz del chat de Jupyter AI. Puede empezar a interactuar con el modelo.
+ **En el caso de modelos alojados por proveedores externos**
+ En la lista desplegable **Modelo de lenguaje**, seleccione el ID de proveedor. Puede encontrar los detalles de cada proveedor, incluido el ID, en la [lista de proveedores de modelos](https://jupyter-ai.readthedocs.io/en/latest/users/index.html#model-providers) de Jupyter AI.
+ (Opcional) Seleccione un [modelo de incrustación](sagemaker-jupyterai-overview.md#sagemaker-jupyterai-embedding-model) al que tenga acceso. Los modelos de incrustación se utilizan para capturar información adicional de los documentos locales, lo que permite que el modelo de generación de texto responda a preguntas dentro del contexto de esos documentos.
+ Inserte las claves de API de los modelos.
+ Seleccione **Guardar cambios** y diríjase al icono de flecha izquierda () en la esquina superior izquierda del panel de la izquierda. Se abrirá la interfaz del chat de Jupyter AI. Puede empezar a interactuar con el modelo.
La siguiente instantánea ilustra el panel de configuración de la interfaz de usuario del chat configurado para invocar un modelo FLAN-T5-Small proporcionado por IA e implementado en ella. JumpStart SageMaker
### Transferencia de parámetros de modelo adicionales y parámetros personalizados según la solicitud
Es posible que el modelo necesite parámetros adicionales, como, por ejemplo, un atributo personalizado para la aprobación del acuerdo de usuario o ajustes en otros parámetros del modelo, como, por ejemplo, la temperatura o la longitud de respuesta. Recomendamos configurar estos ajustes como una opción de inicio de la JupyterLab aplicación mediante una configuración de ciclo de vida. Para obtener información sobre cómo crear una configuración de ciclo de vida y adjuntarla a su dominio o a un perfil de usuario desde la [consola de SageMaker IA](https://console.aws.amazon.com/sagemaker/), consulte [Crear y asociar una configuración de ciclo](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html) de vida. Puedes elegir tu script de LCC al crear un espacio para tu JupyterLab aplicación.
Utilice el siguiente esquema de JSON para configurar los [parámetros adicionales](sagemaker-jupyterai-use.md#sagemaker-jupyterai-extra-model-params):
```
{
"AiExtension": {
"model_parameters": {
":": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
}
}
}
}
```
El siguiente script es un ejemplo de un archivo de configuración JSON que puede usar al crear una LCC de JupyterLab aplicaciones para establecer la longitud máxima de un modelo [Jurassic-2 de AI21 Labs implementado](https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-jurassic2.html) en Amazon Bedrock. Al aumentar la longitud de la respuesta generada por el modelo, se puede evitar el truncamiento sistemático de la respuesta del modelo.
```
#!/bin/bash
set -eux
mkdir -p /home/sagemaker-user/.jupyter
json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}
# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"
#jupyter --paths
# Write JSON to file
echo "$json" > "$file_path"
# Confirmation message
echo "JSON written to $file_path"
restart-jupyter-server
# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30
```
El siguiente script es un ejemplo de un archivo de configuración JSON para crear una JupyterLab aplicación LCC que se utiliza para establecer parámetros de modelo adicionales para un [modelo Anthropic Claude](https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-claude.html) implementado en Amazon Bedrock.
```
#!/bin/bash
set -eux
mkdir -p /home/sagemaker-user/.jupyter
json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}
# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"
#jupyter --paths
# Write JSON to file
echo "$json" > "$file_path"
# Confirmation message
echo "JSON written to $file_path"
restart-jupyter-server
# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30
```
Una vez que haya adjuntado su LCC a su dominio o perfil de usuario, añada su LCC a su espacio al lanzar la aplicación. JupyterLab Para garantizar que la LCC actualice el archivo de configuración, ejecute `more ~/.jupyter/jupyter_jupyter_ai_config.json` en un terminal. El contenido del archivo debe corresponder al contenido del archivo de JSON transferido a la LCC.
## Configuración del proveedor de modelos en un cuaderno
**Para invocar un modelo mediante la IA de Jupyter en nuestras libretas Studio Classic JupyterLab usando los comandos y mágicos `%%ai` `%ai`**
1. Instale las bibliotecas cliente específicas del proveedor de modelos en el entorno del cuaderno. Por ejemplo, al utilizar los modelos de OpenAI, es necesario instalar la biblioteca cliente de `openai`. Puede encontrar la lista de bibliotecas cliente necesarias por proveedor en la columna *Paquetes de Python* de la [lista de proveedores de modelos](https://jupyter-ai.readthedocs.io/en/latest/users/index.html#model-providers) de Jupyter AI.
**nota**
En el caso de los modelos alojados por AWS, ya `boto3` está instalado en la imagen de SageMaker AI Distribution utilizada por JupyterLab Studio Classic o en cualquier imagen de ciencia de datos utilizada con Studio Classic.
1.
+ **Para los modelos alojados por AWS**
Asegúrese de que su función de ejecución tenga permiso para invocar su punto final de SageMaker IA para los modelos proporcionados por Amazon Bedrock JumpStart o de que usted tenga acceso a ellos.
+ **En el caso de modelos alojados por proveedores externos**
Exporte la clave de la API del proveedor al entorno de cuaderno mediante las variables del entorno. Puede utilizar el siguiente comando mágico. Sustituya la `provider_API_key` del comando por la variable de entorno que se encuentra en la columna *Variable de entorno* de la [lista de proveedores de modelos](https://jupyter-ai.readthedocs.io/en/latest/users/index.html#model-providers) de Jupyter AI correspondiente al proveedor.
```
%env provider_API_key=your_API_key
```