Usa Jupyter AI nel nostro Studio Classic JupyterLab - Amazon SageMaker AI
Utilizzo dei modelli linguistici dell’interfaccia utente della chatUtilizzo dei modelli linguistici da un notebook

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usa Jupyter AI nel nostro Studio Classic JupyterLab

Puoi usare Jupyter AI in JupyterLab o Studio Classic richiamando modelli linguistici dall'interfaccia utente della chat o dalle celle del notebook. Nelle sezioni seguenti vengono fornite informazioni sulle fasi necessarie per completare questa operazione.

Utilizzo dei modelli linguistici dell’interfaccia utente della chat

Scrivi il tuo messaggio nella casella di testo dell’interfaccia utente della chat per iniziare a interagire con il tuo modello. Per cancellare la cronologia dei messaggi, utilizza il comando /clear.

Nota

La cancellazione della cronologia dei messaggi non cancella il contesto della chat del provider di modelli.

Utilizzo dei modelli linguistici dalle celle del notebook

Prima di utilizzare i %ai comandi %%ai and per richiamare un modello di linguaggio, carica l' IPython estensione eseguendo il comando seguente in una JupyterLab cella del notebook Studio Classic.

%load_ext jupyter_ai_magics

  • Per i modelli ospitati da: AWS

    • Per richiamare un modello distribuito nell' SageMaker intelligenza artificiale, passa la stringa sagemaker-endpoint:endpoint-name al comando %%ai magic con i parametri richiesti di seguito, quindi aggiungi il prompt nelle righe seguenti.

      La tabella seguente elenca i parametri obbligatori e facoltativi quando si richiamano modelli ospitati da SageMaker AI o Amazon Bedrock.

      Nome parametro Parameter Versione breve Descrizione
      Schema di richiesta --request-schema -q Obbligatorio: l’oggetto JSON previsto dall’endpoint, con il prompt sostituito da qualsiasi valore che corrisponda alla stringa letterale <prompt>.
      Nome della Regione --region-name -n Obbligatorio: il Regione AWS luogo in cui viene distribuito il modello.
      Percorso della risposta --response-path -p Obbligatoria: una JSONPath stringa utilizzata per estrarre l'output del modello linguistico dalla risposta JSON dell'endpoint.
      Parametri aggiuntivi del modello --model-parameters -m Facoltativo: un valore JSON che specifica i parametri aggiuntivi da passare al modello. Il valore accettato viene analizzato in un dizionario, decompresso e passato direttamente alla classe del provider. Questa opzione è utile quando l’endpoint o il modello richiede parametri personalizzati. Ad esempio, nei modelli Llama 2, quando è necessario accettare il Contratto di licenza con l’utente finale (EULA), puoi passare l’accettazione dell’EULA all’endpoint con -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}}. In alternativa, puoi utilizzare il parametro -m per passare parametri aggiuntivi del modello, ad esempio impostando il numero massimo di token per la risposta generata da un modello. Per esempio, quando si lavora con un modello AI21 Labs Jurassic:. -m {"model_kwargs":{"maxTokens":256}}
      Formato di output --format -f Facoltativo: il IPython display utilizzato per il rendering dell'output. Può essere uno dei seguenti valori [code|html|image|json|markdown|math|md|text], a condizione che il modello invocato supporti il formato specificato.

      Il comando seguente richiama un modello Llama2-7b ospitato da AI. SageMaker 

      %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text
Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>

      L'esempio seguente richiama un modello FLAN-T5-Small ospitato da AI. SageMaker 

      %%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text
What is the atomic number of Hydrogen?

    • Per richiamare un modello distribuito in Amazon Bedrock, passa la stringa bedrock:model-name al comando %%ai magic con qualsiasi parametro opzionale definito nell'elenco dei parametri per richiamare i modelli ospitati da o JumpStart Amazon Bedrock, quindi aggiungi il prompt nelle righe seguenti.

      L'esempio seguente richiama un modello AI21 Labs Jurassic-2 ospitato da Amazon Bedrock.

      %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code
Write a function in python implementing a bubbble sort.

  • Per i modelli ospitati da provider di terze parti

    Per invocare un modello ospitato da provider di terze parti, passa la stringa provider-id:model-name al comando magic %%ai con un Output format facoltativo, quindi aggiungi il prompt nelle righe seguenti. Puoi trovare i dettagli di ciascun provider, incluso il relativo ID, nell’elenco dei provider di modelli di Jupyter AI.

    Il comando seguente chiede a un modello Anthropic Claude di generare un file HTML con l’immagine di un quadrato bianco con bordi neri.

    %%ai anthropic:claude-v1.2 -f html
Create a square using SVG with a black border and white fill.