Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren Sie Ihren Modellanbieter

Die Konfiguration von Jupyter AI hängt davon ab, ob Sie die Chat-Benutzeroberfläche oder magische Befehle verwenden.

Konfigurieren Sie Ihren Modellanbieter in der Chat-Benutzeroberfläche

Der folgende Snapshot ist eine Illustration des Chat-UI-Konfigurationsfensters, das so eingerichtet ist, dass ein von AI bereitgestelltes JumpStart und in SageMaker AI Flan-t5-small bereitgestelltes Modell aufgerufen wird.

Übergeben Sie zusätzliche Modellparameter und benutzerdefinierte Parameter an Ihre Anfrage

Ihr Modell benötigt möglicherweise zusätzliche Parameter, wie beispielsweise ein benutzerdefiniertes Attribut für die Zustimmung zur Nutzungsvereinbarung oder Anpassungen anderer Modellparameter wie Temperatur oder Antwortlänge. Wir empfehlen, diese Einstellungen als Startoption Ihrer JupyterLab Anwendung mithilfe einer Lifecycle-Konfiguration zu konfigurieren. Informationen darüber, wie Sie eine Lifecycle-Konfiguration erstellen und sie über die SageMaker AI-Konsole an Ihre Domain oder an ein Benutzerprofil anhängen, finden Sie unter Eine Lifecycle-Konfiguration erstellen und zuordnen. Sie können Ihr LCC-Skript auswählen, wenn Sie einen Bereich für Ihre JupyterLab Anwendung erstellen.

Verwenden Sie das folgende JSON-Schema, um Ihre zusätzlichen Parameter zu konfigurieren:

{
  "AiExtension": {
    "model_parameters": {
      "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
      }
    }
  }
}

Das folgende Skript ist ein Beispiel für eine JSON-Konfigurationsdatei, die Sie beim Erstellen einer JupyterLab Anwendungs-LCC verwenden können, um die maximale Länge eines auf Amazon Bedrock bereitgestellten AI21 Jurassic-2 Labs-Modells festzulegen. Wenn Sie die Länge der vom Modell generierten Antwort erhöhen, kann verhindert werden, dass die Antwort Ihres Modells systematisch gekürzt wird.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Das folgende Skript ist ein Beispiel für eine JSON-Konfigurationsdatei zum Erstellen einer JupyterLab Anwendungs-LCC, mit der zusätzliche Modellparameter für ein auf Amazon Bedrock bereitgestelltes Anthropic Claude-Modell festgelegt werden.

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Sobald Sie Ihren LCC an Ihre Domain oder Ihr Benutzerprofil angehängt haben, fügen Sie Ihren LCC Ihrem Bereich hinzu, wenn Sie Ihre Anwendung starten. JupyterLab Um sicherzustellen, dass Ihre Konfigurationsdatei vom LCC aktualisiert wird, führen Sie more ~/.jupyter/jupyter_jupyter_ai_config.json in einem Terminal aus. Der Inhalt der Datei sollte dem Inhalt der JSON-Datei entsprechen, die an das LCC übergeben wurde.

Konfigurieren Sie Ihren Modellanbieter in einem Notebook