Konfigurieren Sie Ihren Modellanbieter

Die Konfiguration von Jupyter AI hängt davon ab, ob Sie die Chat-Benutzeroberfläche oder magische Befehle verwenden.

Konfigurieren Sie Ihren Modellanbieter in der Chat-Benutzeroberfläche

Der folgende Snapshot ist eine Illustration des Konfigurationsfensters für die Chat-Benutzeroberfläche, das so konfiguriert ist, dass es ein von JumpStart bereitgestelltes und in SageMaker AI bereitgestelltes Flan-T5-Small-Modell aufruft.

Übergeben Sie zusätzliche Modellparameter und benutzerdefinierte Parameter an Ihre Anfrage

Ihr Modell benötigt möglicherweise zusätzliche Parameter, z. B. ein benutzerdefiniertes Attribut für die Genehmigung der Benutzervereinbarung oder Anpassungen an anderen Modellparametern wie Temperatur oder Antwortlänge. Wir empfehlen, diese Einstellungen als Startoption Ihrer JupyterLab-Anwendung mithilfe einer Lifecycle-Konfiguration zu konfigurieren. Informationen dazu, wie Sie eine Lifecycle-Konfiguration erstellen und sie an Ihre Domain oder an ein Benutzerprofil von der SageMaker-AI-Konsole aus anfügen, finden Sie unter Lebenszykluskonfiguration erstellen und zuordnen. Sie können Ihr LCC-Skript auswählen, wenn Sie einen Bereich für Ihre JupyterLab-Anwendung erstellen.

Verwenden Sie das folgende JSON-Schema, um Ihre zusätzlichen Parameter zu konfigurieren:

{
  "AiExtension": {
    "model_parameters": {
      "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
      }
    }
  }
}

Das folgende Skript ist ein Beispiel für eine JSON-Konfigurationsdatei, die Sie beim Erstellen einer JupyterLab-Anwendungs-LCC verwenden können, um die maximale Länge eines auf Amazon Bedrock bereitgestellten AI21 Labs Jurassic-2-Modells festzulegen. Wenn Sie die Länge der vom Modell generierten Antwort erhöhen, kann verhindert werden, dass die Antwort Ihres Modells systematisch gekürzt wird.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Das folgende Skript ist ein Beispiel für eine JSON-Konfigurationsdatei zur Erstellung einer JupyterLab-Anwendung LCC, mit der zusätzliche Modellparameter für ein auf Amazon Bedrock bereitgestelltes Anthropic-Claude-Modell festgelegt werden.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Sobald Sie Ihr LCC an Ihre Domain oder Ihr Benutzerprofil angehängt haben, fügen Sie Ihr LCC zu Ihrem Bereich hinzu, wenn Sie Ihre JupyterLab-Anwendung starten. Um sicherzustellen, dass Ihre Konfigurationsdatei vom LCC aktualisiert wird, führen Sie sie in einem Terminal aus. more ~/.jupyter/jupyter_jupyter_ai_config.json Der Inhalt der Datei sollte dem Inhalt der JSON-Datei entsprechen, die an das LCC übergeben wurde.

Konfigurieren Sie Ihren Modellanbieter in einem Notebook