Configurazione nell’interfaccia utente della chat Configurazione in un notebook

Configurazione del provider di modelli

Nota

In questa sezione, diamo per scontato che i modelli linguistici e di embedding che intendi utilizzare siano già implementati. Per i modelli forniti da AWS, dovresti già disporre dell'ARN del tuo endpoint SageMaker AI o dell'accesso ad Amazon Bedrock. Per gli altri provider di modelli, devi disporre della chiave API utilizzata per autenticare e autorizzare le richieste nel modello.

Jupyter AI supporta un’ampia gamma di provider di modelli e modelli linguistici, consulta l’elenco dei modelli supportati per aggiornamenti sugli ultimi modelli disponibili. Per informazioni su come distribuire un modello fornito da JumpStart, consulta Deploy a Model nella documentazione. JumpStart Devi richiedere l’accesso ad Amazon Bedrock per utilizzarlo come provider di modelli.

La configurazione di Jupyter AI varia a seconda che si utilizzi l’interfaccia utente della chat o i comandi magic.

Configurazione del provider di modelli nell’interfaccia utente della chat

Nota

Seguendo le stesse istruzioni, puoi configurare diversi LLM e modelli di embedding. Tuttavia, è necessario configurare almeno un modello linguistico.

Per configurare l’interfaccia utente della chat

In JupyterLab, accedi all'interfaccia di chat scegliendo l'icona della chat ( ) nel pannello di navigazione a sinistra.
Scegli l’icona di configurazione ( ) nell’angolo in alto a destra del riquadro a sinistra. Si apre il pannello di configurazione di Jupyter AI.
Compila i campi relativi al provider di servizi.
- Per i modelli forniti da JumpStart o Amazon Bedrock
  - Nell'elenco a discesa dei modelli linguistici, seleziona i modelli distribuiti con JumpStart o sagemaker-endpoint bedrock per i modelli gestiti da Amazon Bedrock.
  - I parametri variano a seconda che il modello sia distribuito su SageMaker AI o Amazon Bedrock.
    
    Per i modelli distribuiti con: JumpStart
    
    Inserisci il nome dell'endpoint in Endpoint name, quindi il nome Regione AWS in cui il modello è distribuito in Region name. Per recuperare l'ARN degli endpoint SageMaker AI, accedi https://console.aws.amazon.com/sagemaker/ e scegli Inference and Endpoints nel menu a sinistra.
    
    Incolla il codice JSON dello schema di richiesta personalizzato per il tuo modello e il percorso di risposta corrispondente per analizzare l’output del modello.
    
    Nota
    Puoi trovare il formato di richiesta e risposta di vari modelli di JumpStart base nei seguenti taccuini di esempio. https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart-foundation-models Ogni notebook prende il nome dal modello che descrive.
    
    Per i modelli gestiti da Amazon Bedrock: aggiungi il AWS profilo che memorizza AWS le credenziali sul tuo sistema (opzionale), quindi il nome della regione Regione AWS in cui il modello è distribuito.
  - (Facoltativo) Seleziona un modello di embedding al quale hai accesso. I modelli di embedding vengono utilizzati per acquisire informazioni aggiuntive dai documenti locali, consentendo al modello di generazione del testo di rispondere alle domande in base al contesto di tali documenti.
  - Scegli Salva le modifiche e vai all’icona della freccia sinistra ( ) nell’angolo in alto a sinistra del riquadro di sinistra. Si apre l’interfaccia utente della chat di Jupyter AI. Puoi iniziare a interagire con il tuo modello.
- Per i modelli ospitati da provider di terze parti
  - Nell’elenco a discesa del modello linguistico, seleziona l’ID del tuo provider. Puoi trovare i dettagli di ciascun provider, incluso il relativo ID, nell’elenco dei provider di modelli di Jupyter AI.
  - (Facoltativo) Seleziona un modello di embedding al quale hai accesso. I modelli di embedding vengono utilizzati per acquisire informazioni aggiuntive dai documenti locali, consentendo al modello di generazione del testo di rispondere alle domande in base al contesto di tali documenti.
  - Inserisci le chiavi API dei tuoi modelli.
  - Scegli Salva le modifiche e vai all’icona della freccia sinistra ( ) nell’angolo in alto a sinistra del riquadro di sinistra. Si apre l’interfaccia utente della chat di Jupyter AI. Puoi iniziare a interagire con il tuo modello.

L'istantanea seguente è un'illustrazione del pannello di configurazione dell'interfaccia utente della chat impostato per richiamare un Flan-t5-small modello fornito e distribuito nell'IA. JumpStart SageMaker

Pannello di configurazione dell'interfaccia utente della chat impostato per richiamare un modello fornito da. Flan-t5-small JumpStart

Passaggio di ulteriori parametri del modello e di parametri personalizzati alla tua richiesta

Il tuo modello potrebbe aver bisogno di ulteriori parametri, ad esempio un attributo personalizzato per l’approvazione del contratto con l’utente o modifiche ad altri parametri del modello come la temperatura o la lunghezza della risposta. Consigliamo di configurare queste impostazioni come opzione di avvio dell' JupyterLabapplicazione utilizzando una configurazione del ciclo di vita. Per informazioni su come creare una configurazione del ciclo di vita e collegarla al tuo dominio o a un profilo utente dalla console SageMaker AI, vedi Creare e associare una configurazione del ciclo di vita. Puoi scegliere il tuo script LCC quando crei uno spazio per la tua applicazione. JupyterLab

Utilizza il seguente schema JSON per configurare i parametri aggiuntivi:


{
  "AiExtension": {
    "model_parameters": {
      "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
      }
    }
  }
}

Lo script seguente è un esempio di file di configurazione JSON che puoi utilizzare durante la creazione di un' JupyterLab applicazione LCC per impostare la lunghezza massima di un Jurassic-2 modello https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-jurassic2.html AI21 Labs distribuito su Amazon Bedrock. Se aumenti la lunghezza della risposta generata dal modello, potresti impedire il troncamento sistematico della risposta del modello.


#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Lo script seguente è un esempio di file di configurazione JSON per la creazione di un' JupyterLab applicazione LCC utilizzato per impostare parametri di modello aggiuntivi per un modello Anthropic Claude distribuito su Amazon Bedrock. https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-claude.html


#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

Dopo aver collegato il tuo LCC al tuo dominio o profilo utente, aggiungi il tuo LCC al tuo spazio quando avvii l'applicazione. JupyterLab Per assicurarti che il file di configurazione venga aggiornato dalla LCC, esegui more ~/.jupyter/jupyter_jupyter_ai_config.json in un terminale. Il contenuto del file deve corrispondere al contenuto del file JSON passato alla LCC.

Configurazione del provider di modelli in un notebook

Per richiamare un modello tramite Jupyter AI all'interno JupyterLab o sui notebook Studio Classic utilizzando i comandi magici %%ai e %ai

Installa le librerie client specifiche per il tuo provider di modelli nell’ambiente del notebook. Ad esempio, quando utilizzi modelli OpenAI, devi installare la libreria client openai. Puoi trovare l’elenco delle librerie client richieste per ogni provider nella colonna Pacchetti Python dell’elenco dei provider di modelli di Jupyter AI.

Nota
Per i modelli ospitati da AWS, boto3 è già installato nell'immagine di SageMaker AI Distribution utilizzata da, o in qualsiasi immagine di Data Science utilizzata con Studio JupyterLab Classic.
- Per i modelli ospitati da AWS
  
  Assicurati che il tuo ruolo di esecuzione abbia il permesso di richiamare il tuo endpoint di SageMaker intelligenza artificiale per i modelli forniti da Amazon Bedrock JumpStart o di avere accesso ad Amazon Bedrock.
- Per i modelli ospitati da provider di terze parti
  
  Esporta la chiave API del tuo provider nell’ambiente del notebook utilizzando le variabili di ambiente. Puoi utilizzare il comando magic seguente. Sostituisci provider_API_key nel comando con la variabile di ambiente corrispondente al tuo provider, disponibile nella colonna Variabile di ambiente dell’elenco dei provider di modelli di Jupyter AI.
```
%env provider_API_key=your_API_key
```

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Accesso alle funzionalità

Utilizzo di Jupyter AI