Application d’une stratégie de mise à l’échelle - Amazon SageMaker AI
Application d’une stratégie de mise à l’échelle avec suivi de cible (AWS CLI)Application d’une stratégie de mise à l’échelle (API Application Auto Scaling)

Application d’une stratégie de mise à l’échelle

Après avoir enregistré votre modèle et défini une stratégie de mise à l’échelle, appliquez cette stratégie au modèle enregistré. Cette section explique comment appliquer une stratégie de mise à l’échelle à l’aide de l’AWS Command Line Interface (AWS CLI) ou de l’API Application Auto Scaling.

Application d’une stratégie de mise à l’échelle avec suivi de cible (AWS CLI)

Pour appliquer une stratégie de mise à l’échelle à votre modèle, utilisez la commande put-scaling-policy de l’AWS CLI avec les paramètres suivants :

  • --policy-nameNom de la stratégie de mise à l’échelle.

  • --policy-type-Définissez cette valeur sur TargetTrackingScaling.

  • --resource-id- L’identifiant de la ressource pour la variante. Pour ce paramètre, le type de ressource est endpoint et l’identifiant unique est le nom de la variante. Par exemple, endpoint/my-endpoint/variant/my-variant.

  • --service-namespace-Définissez cette valeur sur sagemaker.

  • --scalable-dimension-Définissez cette valeur sur sagemaker:variant:DesiredInstanceCount.

  • --target-tracking-scaling-policy-configuration : la configuration de la stratégie de mise à l’échelle du suivi des cibles à utiliser pour le modèle.

L’exemple suivant applique une stratégie de mise à l’échelle du suivi des cibles nommée my-scaling-policy à une variante nommée my-variant, exécutée sur le point de terminaison my-endpoint. Pour l’option --target-tracking-scaling-policy-configuration, spécifiez le fichier config.json que vous avez créé précédemment. 

aws application-autoscaling put-scaling-policy \
  --policy-name my-scaling-policy \
  --policy-type TargetTrackingScaling \
  --resource-id endpoint/my-endpoint/variant/my-variant \
  --service-namespace sagemaker \
  --scalable-dimension sagemaker:variant:DesiredInstanceCount \
  --target-tracking-scaling-policy-configuration file://config.json

Application d’une stratégie de mise à l’échelle (API Application Auto Scaling)

Pour appliquer une stratégie de mise à l’échelle à une variante à l’aide de l’API Application Auto Scaling, utilisez l’opération d’API Application Auto Scaling PutScalingPolicy avec les paramètres suivants :

  • PolicyNameNom de la stratégie de mise à l’échelle.

  • ServiceNamespace-Définissez cette valeur sur sagemaker.

  • ResourceID- L’identifiant de la ressource pour la variante. Pour ce paramètre, le type de ressource est endpoint et l’identifiant unique est le nom de la variante. Par exemple, endpoint/my-endpoint/variant/my-variant.

  • ScalableDimension-Définissez cette valeur sur sagemaker:variant:DesiredInstanceCount.

  • PolicyType-Définissez cette valeur sur TargetTrackingScaling.

  • TargetTrackingScalingPolicyConfiguration : la configuration de la politique de mise à l’échelle avec suivi des cibles à utiliser pour la variante.

L’exemple suivant applique une stratégie de mise à l’échelle du suivi des cibles nommée my-scaling-policy à une variante nommée my-variant, exécutée sur le point de terminaison my-endpoint. La configuration de la stratégie maintient le nombre moyen d’invocations par instance à 70.

POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS

{
    "PolicyName": "my-scaling-policy",
    "ServiceNamespace": "sagemaker",
    "ResourceId": "endpoint/my-endpoint/variant/my-variant",
    "ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
    "PolicyType": "TargetTrackingScaling",
    "TargetTrackingScalingPolicyConfiguration": {
        "TargetValue": 70.0,
        "PredefinedMetricSpecification":
        {
            "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
        }
    }
}