Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione del provider di modelli

La configurazione di Jupyter AI varia a seconda che si utilizzi l’interfaccia utente della chat o i comandi magic.

Configurazione del provider di modelli nell’interfaccia utente della chat

L'istantanea seguente è un'illustrazione del pannello di configurazione dell'interfaccia utente della chat impostato per richiamare un modello FLAN-T5-small fornito e distribuito nell'intelligenza artificiale. JumpStart SageMaker

Passaggio di ulteriori parametri del modello e di parametri personalizzati alla tua richiesta

Il tuo modello potrebbe aver bisogno di ulteriori parametri, ad esempio un attributo personalizzato per l’approvazione del contratto con l’utente o modifiche ad altri parametri del modello come la temperatura o la lunghezza della risposta. Consigliamo di configurare queste impostazioni come opzione di avvio dell'applicazione utilizzando una configurazione del ciclo di vita JupyterLab. Per informazioni su come creare una configurazione del ciclo di vita e collegarla al tuo dominio o a un profilo utente dalla console SageMaker AI, consulta Creare e associare una configurazione del ciclo di vita. Puoi scegliere lo script LCC quando crei uno spazio per la tua applicazione. JupyterLab

Utilizza il seguente schema JSON per configurare i parametri aggiuntivi:

{
  "AiExtension": {
    "model_parameters": {
      "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
      }
    }
  }
}

Lo script seguente è un esempio di file di configurazione JSON che puoi utilizzare durante la creazione di un' JupyterLab applicazione LCC per impostare la lunghezza massima di un modello AI21 Labs Jurassic-2 distribuito su Amazon Bedrock. Se aumenti la lunghezza della risposta generata dal modello, potresti impedire il troncamento sistematico della risposta del modello.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Lo script seguente è un esempio di file di configurazione JSON per la creazione di un' JupyterLab applicazione LCC utilizzato per impostare parametri di modello aggiuntivi per un modello Anthropic Claude distribuito su Amazon Bedrock.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Dopo aver collegato la scheda LCC al dominio o al profilo utente, aggiungi la scheda LCC al tuo spazio quando avvii l'applicazione. JupyterLab Per assicurarti che il file di configurazione venga aggiornato dalla LCC, esegui more ~/.jupyter/jupyter_jupyter_ai_config.json in un terminale. Il contenuto del file deve corrispondere al contenuto del file JSON passato alla LCC.

Configurazione del provider di modelli in un notebook