Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Ottieni consigli per i modelli con adattatori LoRa

Low-Rank L'adattamento (LoRa) è una tecnica di regolazione fine efficiente in termini di parametri che addestra un piccolo set di adattatori su un modello base congelato. È possibile utilizzare più adattatori che condividono un unico modello base su un unico endpoint. Ciò è più conveniente rispetto all'implementazione di una copia separata del modello per ogni variante ottimizzata.

Quando aggiungi adattatori a un processo di raccomandazione, SageMaker AI dimensiona e confronta una distribuzione con più adattatori. Questa distribuzione è un singolo modello base con uno Componenti di inferenza per adattatore sullo stesso endpoint. I consigli tengono conto della memoria aggiuntiva richiesta dagli adattatori, quindi l' SageMaker intelligenza artificiale convalida le configurazioni restituite rispetto al modello base e agli adattatori insieme.

Prerequisiti

Oltre alla Prerequisiti funzione di raccomandazione, è necessario che siano inclusi gli adattatori quanto segue:

SageMaker L'intelligenza artificiale legge i tuoi adattatori con il ruolo di esecuzione IAM che passi. RoleArn Il ruolo deve essere in grado di leggere (s3:GetObjectes3:ListBucket) la posizione Amazon S3 di ciascun adattatore. Queste sono le stesse autorizzazioni utilizzate per gli artefatti del modello base. Se fornisci adattatori come pacchetti modello, il ruolo deve essere assegnato anche a ciascun pacchetto sagemaker:DescribeModelPackage in modo che l' SageMaker IA possa risolvere la posizione dell'adattatore in Amazon S3.

Requisiti e restrizioni

I seguenti requisiti e restrizioni si applicano quando si aggiungono adattatori a un lavoro di raccomandazione:

Aggiungere adattatori a un lavoro di raccomandazione

Per includere gli adattatori, aggiungi l'AdapterSourceoggetto opzionale alla tua CreateAIRecommendationJob richiesta. AdapterSourceè un'unione: imposta esattamente uno dei seguenti campi, ciascuno con un elenco di 1-10 voci dell'adattatore:

AdapterIdÈ un nome che si assegna a ciascun adattatore. Deve soddisfare i seguenti requisiti:

SageMaker L'AI utilizza AdapterId come nome del componente di inferenza per quell'adattatore. Questo nome è anche l'handle di routing utilizzato per inviare richieste all'adattatore quando si richiama l'endpoint distribuito.

Python (boto3): adattatori in Amazon S3

try:
    response = client.create_ai_recommendation_job(
        AIRecommendationJobName="my-lora-recommendation-job",
        ModelSource={
            "S3": {
                "S3Uri": "s3://amzn-s3-demo-bucket/models/my-base-model/",
            }
        },
        OutputConfig={
            "S3OutputLocation": "s3://amzn-s3-demo-bucket/recommendations/"
        },
        AdapterSource={
            "S3Uris": [
                {"AdapterId": "sql", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/sql/"},
                {"AdapterId": "chat", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/chat/"},
            ]
        },
        PerformanceTarget={
            "Constraints": [
                {"Metric": "throughput"}
            ]
        },
        AIWorkloadConfigIdentifier="my-recommendation-workload",
        RoleArn="arn:aws:iam::111122223333:role/ExampleRole",
    )
    print(response["AIRecommendationJobArn"])
except client.exceptions.ResourceInUse as error:
    print(f"A job with this name already exists: {error}")
except Exception as error:
    print(f"Error creating recommendation job: {error}")
    raise
        

Python (boto3) — adattatori come pacchetti modello

try:
    response = client.create_ai_recommendation_job(
        AIRecommendationJobName="my-lora-recommendation-job",
        ModelSource={
            "S3": {
                "S3Uri": "s3://amzn-s3-demo-bucket/models/my-base-model/",
            }
        },
        OutputConfig={
            "S3OutputLocation": "s3://amzn-s3-demo-bucket/recommendations/"
        },
        AdapterSource={
            "ModelPackageArns": [
                {
                    "AdapterId": "sql",
                    "ModelPackageArn": "arn:aws:sagemaker:us-west-2:111122223333:model-package/my-sql-adapter/1",
                }
            ]
        },
        PerformanceTarget={
            "Constraints": [
                {"Metric": "throughput"}
            ]
        },
        AIWorkloadConfigIdentifier="my-recommendation-workload",
        RoleArn="arn:aws:iam::111122223333:role/ExampleRole",
    )
    print(response["AIRecommendationJobArn"])
except client.exceptions.ResourceInUse as error:
    print(f"A job with this name already exists: {error}")
except Exception as error:
    print(f"Error creating recommendation job: {error}")
    raise
        

AWS CLI

aws sagemaker create-ai-recommendation-job \
  --ai-recommendation-job-name "my-lora-recommendation-job" \
  --model-source '{"S3": {"S3Uri": "s3://amzn-s3-demo-bucket/models/my-base-model/"}}' \
  --output-config '{"S3OutputLocation": "s3://amzn-s3-demo-bucket/recommendations/"}' \
  --adapter-source '{
    "S3Uris": [
      {"AdapterId": "sql", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/sql/"},
      {"AdapterId": "chat", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/chat/"}
    ]
  }' \
  --performance-target '{"Constraints": [{"Metric": "throughput"}]}' \
  --ai-workload-config-identifier "my-recommendation-workload" \
  --role-arn "arn:aws:iam::111122223333:role/ExampleRole" \
  --region us-west-2
        

Interpreta i consigli

Quando il lavoro è completato, chiamaDescribeAIRecommendationJob. Oltre ai campi descritti inFase 3: Rivedi i consigli, la risposta include informazioni specifiche sull'adattatore.

La raccomandazione DeploymentConfiguration contenuta in ogni scheda descrive la topologia basata su più adattatori e componenti di inferenza (il modello base più un componente di inferenza per adattatore). ExpectedPerformanceriporta le metriche di riferimento per quella configurazione.

L'esempio seguente mostra i campi relativi agli adattatori di una DescribeAIRecommendationJob risposta per un lavoro creato con adattatori Amazon S3.

{
    "AIRecommendationJobName": "my-lora-recommendation-job",
    "AIRecommendationJobStatus": "Completed",
    "AdapterSource": {
        "S3Uris": [
            {"AdapterId": "sql", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/sql/"},
            {"AdapterId": "chat", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/chat/"}
        ]
    },
    "Recommendations": [
        {
            "AdapterDetails": {
                "S3Uris": [
                    {"AdapterId": "sql", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/sql/"},
                    {"AdapterId": "chat", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/chat/"}
                ],
                "ModelPackageArns": [
                    {"AdapterId": "sql", "ModelPackageArn": "arn:aws:sagemaker:us-west-2:111122223333:model-package/my-lora-recommendation-job-adapters/1"},
                    {"AdapterId": "chat", "ModelPackageArn": "arn:aws:sagemaker:us-west-2:111122223333:model-package/my-lora-recommendation-job-adapters/2"}
                ]
            },
            "DeploymentConfiguration": {
                "InstanceType": "ml.g6e.12xlarge",
                "InstanceCount": 1,
                "CopyCountPerInstance": 2,
                "MinCpuMemoryRequiredInMb": 12288,
                "EnvironmentVariables": {
                    "SAGEMAKER_SHM_SIZE_MB": "2048"
                }
            },
            "ExpectedPerformance": [
                {"Metric": "throughput", "Stat": "average", "Value": "512.0", "Unit": "tokens/second"}
            ]
        }
    ]
}

Per confrontare un endpoint con più adattatori implementati o per confrontare gli adattatori tra loro, scegli come target il componente di inferenza per ciascun adattatore nel processo di benchmark. Per ulteriori informazioni, consulta Esegui il benchmark degli endpoint multi-LORA.