Applicazione di una policy di scalabilità - Amazon SageMaker AI
Applicare una policy di dimensionamento con monitoraggio delle destinazioni (AWS CLI)Applica una policy di dimensionamento (API di Application Auto Scaling)

Applicazione di una policy di scalabilità

Dopo la registrazione di un modello e la definizione di una policy di dimensionamento, applica la policy di dimensionamento al modello registrato. Questa sezione mostra come applicare una policy di dimensionamento utilizzando l’AWS Command Line Interface (AWS CLI) o l’API Application Auto Scaling.

Applicare una policy di dimensionamento con monitoraggio delle destinazioni (AWS CLI)

Per applicare una policy di dimensionamento al tuo modello, utilizza il comando put-scaling-policy dell’AWS CLI con i parametri seguenti:

  • --policy-name – Il nome della policy di dimensionamento.

  • --policy-type – Impostare questo valore su TargetTrackingScaling.

  • --resource-id – L'identificatore di risorsa per la variante. Per questo parametro, il tipo di risorsa è endpoint e l'identificatore univoco è il nome della variante. Ad esempio, endpoint/my-endpoint/variant/my-variant.

  • --service-namespace – Impostare questo valore su sagemaker.

  • --scalable-dimension – Impostare questo valore su sagemaker:variant:DesiredInstanceCount.

  • --target-tracking-scaling-policy-configuration - La configurazione di una policy di dimensionamento con monitoraggio delle destinazioni da utilizzare per il modello.

L’esempio seguente applica una policy di dimensionamento con monitoraggio delle destinazioni denominata my-scaling-policy a una variante denominata my-variant, in esecuzione sull’endpoint my-endpoint. Per l’opzione --target-tracking-scaling-policy-configuration specifica il file config.json creato in precedenza. 

aws application-autoscaling put-scaling-policy \
  --policy-name my-scaling-policy \
  --policy-type TargetTrackingScaling \
  --resource-id endpoint/my-endpoint/variant/my-variant \
  --service-namespace sagemaker \
  --scalable-dimension sagemaker:variant:DesiredInstanceCount \
  --target-tracking-scaling-policy-configuration file://config.json

Applica una policy di dimensionamento (API di Application Auto Scaling)

Per applicare una policy di dimensionamento a una variante con l’API Application Auto Scaling, utilizza l’azione PutScalingPolicy dell’API Application Auto Scaling con i parametri seguenti:

  • PolicyName – Il nome della policy di dimensionamento.

  • ServiceNamespace – Impostare questo valore su sagemaker.

  • ResourceID – L'identificatore di risorsa per la variante. Per questo parametro, il tipo di risorsa è endpoint e l'identificatore univoco è il nome della variante. Ad esempio, endpoint/my-endpoint/variant/my-variant.

  • ScalableDimension – Impostare questo valore su sagemaker:variant:DesiredInstanceCount.

  • PolicyType – Impostare questo valore su TargetTrackingScaling.

  • TargetTrackingScalingPolicyConfiguration – La configurazione di una policy di dimensionamento di monitoraggio dei target da utilizzare per la variante.

L’esempio seguente applica una policy di dimensionamento con monitoraggio delle destinazioni denominata my-scaling-policy a una variante denominata my-variant, in esecuzione sull’endpoint my-endpoint. La configurazione della policy mantiene la media delle invocazioni per istanza a 70.

POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS

{
    "PolicyName": "my-scaling-policy",
    "ServiceNamespace": "sagemaker",
    "ResourceId": "endpoint/my-endpoint/variant/my-variant",
    "ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
    "PolicyType": "TargetTrackingScaling",
    "TargetTrackingScalingPolicyConfiguration": {
        "TargetValue": 70.0,
        "PredefinedMetricSpecification":
        {
            "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
        }
    }
}