Anwenden einer Skalierungsrichtlinie - Amazon SageMaker AI
Anwenden einer Skalierungsrichtlinie zur Zielnachverfolgung (AWS CLI)Wenden Sie eine Skalierungsrichtlinie an (Application Auto Scaling API)

Anwenden einer Skalierungsrichtlinie

Nachdem Sie Ihr Modell registriert und eine Skalierungsrichtlinie definiert haben, wenden Sie die Skalierungsrichtlinie auf das registrierte Modell an. In diesem Abschnitt wird gezeigt, wie eine Skalierungsrichtlinie über die AWS Command Line Interface (AWS CLI) oder die Application Auto Scaling API angewendet wird.

Anwenden einer Skalierungsrichtlinie zur Zielnachverfolgung (AWS CLI)

Um eine Skalierungsrichtlinie auf Ihr Modell anzuwenden, verwenden Sie den AWS CLI-Befehl put-scaling-policy mit den folgenden Parametern:

  • --policy-name – Der Name der Skalierungsrichtlinie.

  • --policy-type-Stellen Sie diesen Wert auf TargetTrackingScaling ein.

  • --resource-id- Die Ressourcenkennung für die Variante. Für diesen Parameter ist der Ressourcentyp endpoint und die eindeutige Kennung ist der Name der Variante. Beispiel, endpoint/my-endpoint/variant/my-variant.

  • --service-namespace-Stellen Sie diesen Wert auf sagemaker ein.

  • --scalable-dimension – Stellen Sie diesen Wert auf sagemaker:variant:DesiredInstanceCount ein.

  • --target-tracking-scaling-policy-configuration – Die Konfiguration der Skalierungsrichtlinie für die Zielnachverfolgung, die für das Modell verwendet werden soll.

Im folgenden Beispiel wird eine Skalierungsrichtlinie zur Zielnachverfolgung namens my-scaling-policy auf eine Variante namens my-endpoint angewendet, die auf dem Endpunkt my-variant ausgeführt wird. Geben Sie unter der Option --target-tracking-scaling-policy-configuration die config.json-Datei an, die Sie zuvor erstellt haben. 

aws application-autoscaling put-scaling-policy \
  --policy-name my-scaling-policy \
  --policy-type TargetTrackingScaling \
  --resource-id endpoint/my-endpoint/variant/my-variant \
  --service-namespace sagemaker \
  --scalable-dimension sagemaker:variant:DesiredInstanceCount \
  --target-tracking-scaling-policy-configuration file://config.json

Wenden Sie eine Skalierungsrichtlinie an (Application Auto Scaling API)

Um auf eine Variante mit der Application Auto Scaling API eine Skalierungsrichtlinie anzuwenden, verwenden Sie die Aktion PutScalingPolicy der API von Application Auto Scaling mit den folgenden Parametern:

  • PolicyName – Der Name der Skalierungsrichtlinie.

  • ServiceNamespace-Stellen Sie diesen Wert auf sagemaker ein.

  • ResourceID- Die Ressourcenkennung für die Variante. Für diesen Parameter ist der Ressourcentyp endpoint und die eindeutige Kennung ist der Name der Variante. Beispiel, endpoint/my-endpoint/variant/my-variant.

  • ScalableDimension-Stellen Sie diesen Wert auf sagemaker:variant:DesiredInstanceCount ein.

  • PolicyType-Stellen Sie diesen Wert auf TargetTrackingScaling ein.

  • TargetTrackingScalingPolicyConfiguration-Die für die Variante zu verwendende Konfiguration der Skalierungsrichtlinie für die Zielverfolgung.

Im folgenden Beispiel wird eine Skalierungsrichtlinie zur Zielnachverfolgung namens my-scaling-policy auf eine Variante namens my-endpoint angewendet, die auf dem Endpunkt my-variant ausgeführt wird. Die Richtlinienkonfiguration hält die durchschnittlichen Aufrufe pro Instance bei 70.

POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS

{
    "PolicyName": "my-scaling-policy",
    "ServiceNamespace": "sagemaker",
    "ResourceId": "endpoint/my-endpoint/variant/my-variant",
    "ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
    "PolicyType": "TargetTrackingScaling",
    "TargetTrackingScalingPolicyConfiguration": {
        "TargetValue": 70.0,
        "PredefinedMetricSpecification":
        {
            "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
        }
    }
}