Fine-tuning dei modelli di hub selezionati

Assicurati che al ruolo IAM dell'utente sia associata l'autorizzazione SageMaker AITrainHubModel. Per ulteriori informazioni, consulta Aggiunta e rimozione di autorizzazioni per identità IAM nella Guida per l’utente di AWS IAM.

È consigliabile collegare al ruolo IAM dell’utente una policy come la seguente:

Disponi di un hub privato curato con un riferimento a un JumpStart modello che desideri perfezionare. Per ulteriori informazioni sulla creazione di un hub privato, consulta Creazione di un hub di modelli privato. Per informazioni su come aggiungere JumpStart modelli disponibili pubblicamente al tuo hub privato, consulta. Aggiunta di modelli a un hub privato

Scegli un set di dati di addestramento da utilizzare per il fine-tuning del modello. Il set di dati deve essere nel formato di addestramento appropriato per il modello di cui desideri eseguire il fine-tuning.

Assicurati di avere installato la versione più recente (almeno2.242.0) di SageMaker Python SDK. Per ulteriori informazioni, consulta Usare la versione 2.x di SageMaker Python SDK.

!pip install --upgrade sagemaker

Importa i moduli AWS SDK per Python (Boto3) e i moduli di cui avrai bisogno dall' SageMaker SDK Python.

import boto3
from sagemaker.jumpstart.estimator import JumpStartEstimator
from sagemaker.session import Session

Inizializza una sessione Boto3, un client SageMaker AI e una sessione Python SageMaker SDK.

sagemaker_client = boto3.Session(region_name=<AWS-region>).client("sagemaker")
sm_session = Session(sagemaker_client=sagemaker_client)

Crea JumpStartEstimator e fornisci l'ID del JumpStart modello, il nome del tuo hub che contiene il riferimento del modello e la tua sessione SageMaker Python SDK. Per un elenco di modelli IDs, consulta la tabella Algoritmi integrati con modelli preaddestrati.

Facoltativamente, puoi specificare i campi instance_type e instance_count durante la creazione dello strumento di stima. In caso contrario, il job di addestramento utilizza il tipo e il numero di istanze predefiniti per il modello che stai utilizzando.

Se lo desideri, puoi anche specificare il output_path alla posizione Amazon S3 in cui intendi archiviare i pesi dei modelli ottimizzati con fine-tuning. Se non specifichi iloutput_path, utilizza un bucket SageMaker AI Amazon S3 predefinito per la regione del tuo account, denominato con il seguente formato:. sagemaker-<region>-<account-id>

estimator = JumpStartEstimator(
    model_id="meta-textgeneration-llama-3-2-1b",
    hub_name=<your-hub-name>,
    sagemaker_session=sm_session, # If you don't specify an existing session, a default one is created for you
    # Optional: specify your desired instance type and count for the training job
    # instance_type = "ml.g5.2xlarge"
    # instance_count = 1
    # Optional: specify a custom S3 location to store the fine-tuned model artifacts
    # output_path: "s3://<output-path-for-model-artifacts>"
)

Crea un dizionario con la chiave training in cui specifichi la posizione del set di dati per il fine-tuning. Questo esempio rimanda a un URI Amazon S3. Se hai altre considerazioni, come l'utilizzo della modalità locale o di più canali di dati di addestramento, consulta JumpStartEstimator.fit () nella documentazione di SageMaker Python SDK per ulteriori informazioni.

training_input = {
    "training": "s3://<your-fine-tuning-dataset>"
}

Chiama il metodo fit() dello strumento di stima e passa i dati di addestramento e l’accettazione dell’EULA (se applicabile).

estimator.fit(inputs=training_input, accept_eula=False)