Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Holen Sie sich Empfehlungen für Modelle mit LoRa-Adaptern

Low-Rank Adaptation (LoRA) ist ein parametereffizientes Verfahren zur Feinabstimmung, bei dem ein kleiner Satz von Adaptergewichten auf einem eingefrorenen Basismodell trainiert wird. Sie können viele Adapter, die ein einziges Basismodell verwenden, an einem Endpunkt bedienen. Dies ist kostengünstiger als die Bereitstellung einer separaten Kopie des Modells für jede fein abgestimmte Variante.

Wenn Sie einem Empfehlungsjob Adapter hinzufügen, berechnet SageMaker KI die Größe und führt Benchmarks für eine Bereitstellung mit mehreren Adaptern durch. Bei dieser Bereitstellung handelt es sich um ein einzelnes Basismodell mit einem Inferenzkomponenten pro Adapter auf demselben Endpunkt. Die Empfehlungen berücksichtigen den zusätzlichen Speicher, den die Adapter benötigen, sodass SageMaker AI die zurückgegebenen Konfigurationen anhand des Basismodells und der Adapter zusammen validiert.

Voraussetzungen

Zusätzlich zu den Anforderungen Voraussetzungen für einen Empfehlungsauftrag benötigen Sie Folgendes, um Adapter einzubeziehen:

SageMaker AI liest Ihre Adapter mit der IAM-Ausführungsrolle, die Sie übergeben. RoleArn Die Rolle muss in der Lage sein, den Amazon S3-Standort jedes Adapters zu lesen (s3:GetObjectunds3:ListBucket). Dies sind dieselben Berechtigungen, die es für Ihre Basismodellartefakte verwendet. Wenn Sie Adapter als Modellpakete bereitstellen, muss sagemaker:DescribeModelPackage die Rolle auch für jedes Paket gelten, damit die SageMaker KI den Amazon S3-Standort des Adapters ermitteln kann.

Anforderungen und Einschränkungen

Die folgenden Anforderungen und Einschränkungen gelten, wenn Sie einem Empfehlungsjob Adapter hinzufügen:

Fügen Sie einem Empfehlungsjob Adapter hinzu

Um Adapter einzubeziehen, fügen Sie das optionale AdapterSource Objekt zu Ihrer CreateAIRecommendationJob Anfrage hinzu. AdapterSourceist eine Union: Stellen Sie genau eines der folgenden Felder ein, wobei jedes Feld eine Liste von 1—10 Adaptereinträgen enthält:

Das AdapterId ist ein Name, den Sie jedem Adapter zuweisen. Er muss die folgenden Anforderungen erfüllen:

SageMaker AI verwendet den AdapterId als Namen der Inferenzkomponente für diesen Adapter. Dieser Name ist auch das Routing-Handle, das Sie verwenden, um Anfragen an den Adapter zu senden, wenn Sie den bereitgestellten Endpunkt aufrufen.

Python (boto3) — Adapter in Amazon S3

try:
    response = client.create_ai_recommendation_job(
        AIRecommendationJobName="my-lora-recommendation-job",
        ModelSource={
            "S3": {
                "S3Uri": "s3://amzn-s3-demo-bucket/models/my-base-model/",
            }
        },
        OutputConfig={
            "S3OutputLocation": "s3://amzn-s3-demo-bucket/recommendations/"
        },
        AdapterSource={
            "S3Uris": [
                {"AdapterId": "sql", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/sql/"},
                {"AdapterId": "chat", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/chat/"},
            ]
        },
        PerformanceTarget={
            "Constraints": [
                {"Metric": "throughput"}
            ]
        },
        AIWorkloadConfigIdentifier="my-recommendation-workload",
        RoleArn="arn:aws:iam::111122223333:role/ExampleRole",
    )
    print(response["AIRecommendationJobArn"])
except client.exceptions.ResourceInUse as error:
    print(f"A job with this name already exists: {error}")
except Exception as error:
    print(f"Error creating recommendation job: {error}")
    raise
        

Python (boto3) — Adapter als Modellpakete

try:
    response = client.create_ai_recommendation_job(
        AIRecommendationJobName="my-lora-recommendation-job",
        ModelSource={
            "S3": {
                "S3Uri": "s3://amzn-s3-demo-bucket/models/my-base-model/",
            }
        },
        OutputConfig={
            "S3OutputLocation": "s3://amzn-s3-demo-bucket/recommendations/"
        },
        AdapterSource={
            "ModelPackageArns": [
                {
                    "AdapterId": "sql",
                    "ModelPackageArn": "arn:aws:sagemaker:us-west-2:111122223333:model-package/my-sql-adapter/1",
                }
            ]
        },
        PerformanceTarget={
            "Constraints": [
                {"Metric": "throughput"}
            ]
        },
        AIWorkloadConfigIdentifier="my-recommendation-workload",
        RoleArn="arn:aws:iam::111122223333:role/ExampleRole",
    )
    print(response["AIRecommendationJobArn"])
except client.exceptions.ResourceInUse as error:
    print(f"A job with this name already exists: {error}")
except Exception as error:
    print(f"Error creating recommendation job: {error}")
    raise
        

AWS CLI

aws sagemaker create-ai-recommendation-job \
  --ai-recommendation-job-name "my-lora-recommendation-job" \
  --model-source '{"S3": {"S3Uri": "s3://amzn-s3-demo-bucket/models/my-base-model/"}}' \
  --output-config '{"S3OutputLocation": "s3://amzn-s3-demo-bucket/recommendations/"}' \
  --adapter-source '{
    "S3Uris": [
      {"AdapterId": "sql", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/sql/"},
      {"AdapterId": "chat", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/chat/"}
    ]
  }' \
  --performance-target '{"Constraints": [{"Metric": "throughput"}]}' \
  --ai-workload-config-identifier "my-recommendation-workload" \
  --role-arn "arn:aws:iam::111122223333:role/ExampleRole" \
  --region us-west-2
        

Interpretieren Sie die Empfehlungen

Wenn der Job abgeschlossen ist, rufen Sie anDescribeAIRecommendationJob. Zusätzlich zu den unter beschriebenen Feldern enthält Schritt 3: Empfehlungen überprüfen die Antwort adapterspezifische Informationen.

DeploymentConfigurationIn jeder Empfehlung wird die auf Inferenzkomponenten basierende Topologie mit mehreren Adaptern beschrieben (das Basismodell plus eine Inferenzkomponente pro Adapter). ExpectedPerformancemeldet die Benchmark-Metriken für diese Konfiguration.

Das folgende Beispiel zeigt die adapterbezogenen Felder einer DescribeAIRecommendationJob Antwort für einen Job, der mit Amazon S3-Adaptern erstellt wurde.

{
    "AIRecommendationJobName": "my-lora-recommendation-job",
    "AIRecommendationJobStatus": "Completed",
    "AdapterSource": {
        "S3Uris": [
            {"AdapterId": "sql", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/sql/"},
            {"AdapterId": "chat", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/chat/"}
        ]
    },
    "Recommendations": [
        {
            "AdapterDetails": {
                "S3Uris": [
                    {"AdapterId": "sql", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/sql/"},
                    {"AdapterId": "chat", "S3Uri": "s3://amzn-s3-demo-bucket/adapters/chat/"}
                ],
                "ModelPackageArns": [
                    {"AdapterId": "sql", "ModelPackageArn": "arn:aws:sagemaker:us-west-2:111122223333:model-package/my-lora-recommendation-job-adapters/1"},
                    {"AdapterId": "chat", "ModelPackageArn": "arn:aws:sagemaker:us-west-2:111122223333:model-package/my-lora-recommendation-job-adapters/2"}
                ]
            },
            "DeploymentConfiguration": {
                "InstanceType": "ml.g6e.12xlarge",
                "InstanceCount": 1,
                "CopyCountPerInstance": 2,
                "MinCpuMemoryRequiredInMb": 12288,
                "EnvironmentVariables": {
                    "SAGEMAKER_SHM_SIZE_MB": "2048"
                }
            },
            "ExpectedPerformance": [
                {"Metric": "throughput", "Stat": "average", "Value": "512.0", "Unit": "tokens/second"}
            ]
        }
    ]
}

Um einen bereitgestellten Endpunkt mit mehreren Adaptern zu vergleichen oder Adapter miteinander zu vergleichen, zielen Sie in Ihrem Benchmark-Job auf die Inferenzkomponente für jeden Adapter ab. Weitere Informationen finden Sie unter Vergleichen Sie mehrere LORA-Endpunkte.