Fine-tuning dei modelli di hub selezionati

Assicurati che il ruolo IAM dell’utente disponga dell’autorizzazione TrainHubModel SageMaker AI collegata. Per ulteriori informazioni, consulta Aggiunta e rimozione di autorizzazioni per identità IAM nella Guida per l’utente di AWS IAM.

È consigliabile collegare al ruolo IAM dell’utente una policy come la seguente:

Scegli un hub privato selezionato con un riferimento a un modello JumpStart di cui desideri eseguire il fine-tuning. Per ulteriori informazioni sulla creazione di un hub privato, consulta Creazione di un hub di modelli privato. Per informazioni su come aggiungere al tuo hub privato modelli JumpStart disponibili al pubblico, consulta Aggiunta di modelli a un hub privato.

Scegli un set di dati di addestramento da utilizzare per il fine-tuning del modello. Il set di dati deve essere nel formato di addestramento appropriato per il modello di cui desideri eseguire il fine-tuning.

Assicurati di aver installato la versione più recente (almeno 2.242.0) di SageMaker Python SDK. Per ulteriori informazioni, consulta Utilizzo della versione 2.x di SageMaker Python SDK.

!pip install --upgrade sagemaker

Importa AWS SDK for Python (Boto3) e i moduli necessari da SageMaker Python SDK.

import boto3
from sagemaker.jumpstart.estimator import JumpStartEstimator
from sagemaker.session import Session

Inizializza una sessione Boto3, un client SageMaker AI e una sessione SageMaker Python SDK.

sagemaker_client = boto3.Session(region_name=<AWS-region>).client("sagemaker")
sm_session = Session(sagemaker_client=sagemaker_client)

Crea JumpStartEstimator e fornisci l’ID del modello JumpStart, il nome dell’hub che contiene il riferimento al modello e la sessione SageMaker Python SDK. Per un elenco degli ID dei modelli, consulta la tabella degli algoritmi integrati con modelli preaddestrati.

Facoltativamente, puoi specificare i campi instance_type e instance_count durante la creazione dello strumento di stima. In caso contrario, il job di addestramento utilizza il tipo e il numero di istanze predefiniti per il modello che stai utilizzando.

Se lo desideri, puoi anche specificare il output_path alla posizione Amazon S3 in cui intendi archiviare i pesi dei modelli ottimizzati con fine-tuning. Se non specifichi il output_path, utilizza un bucket SageMaker AI Amazon S3 predefinito per la Regione del tuo account, denominato con il seguente formato: sagemaker-<region>-<account-id>.

estimator = JumpStartEstimator(
    model_id="meta-textgeneration-llama-3-2-1b",
    hub_name=<your-hub-name>,
    sagemaker_session=sm_session, # If you don't specify an existing session, a default one is created for you
    # Optional: specify your desired instance type and count for the training job
    # instance_type = "ml.g5.2xlarge"
    # instance_count = 1
    # Optional: specify a custom S3 location to store the fine-tuned model artifacts
    # output_path: "s3://<output-path-for-model-artifacts>"
)

Crea un dizionario con la chiave training in cui specifichi la posizione del set di dati per il fine-tuning. Questo esempio rimanda a un URI Amazon S3. In caso di altre considerazioni, come l’utilizzo della modalità locale o di più canali di dati di addestramento, consulta JumpStartEstimator.fit() nella documentazione di SageMaker Python SDK per ottenere ulteriori informazioni.

training_input = {
    "training": "s3://<your-fine-tuning-dataset>"
}

Chiama il metodo fit() dello strumento di stima e passa i dati di addestramento e l’accettazione dell’EULA (se applicabile).

estimator.fit(inputs=training_input, accept_eula=False)