Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Politiques de mise à l'échelle automatique pour le déploiement de votre HyperPod modèle d'inférence

Les informations suivantes fournissent des exemples pratiques et des configurations pour la mise en œuvre de politiques de dimensionnement automatique sur les déploiements de modèles SageMaker HyperPod d'inférence Amazon.

Vous apprendrez à configurer la mise à l’échelle automatique à l’aide de l’élément autoScalingSpec intégré dans les fichiers YAML de votre déploiement, ainsi qu’à créer des configurations KEDA ScaledObject autonomes pour des scénarios de mise à l’échelle avancés. Les exemples couvrent le dimensionnement des déclencheurs en fonction CloudWatch des métriques, de la longueur des files d'attente Amazon SQS, des requêtes Prometheus et des métriques d'utilisation des ressources telles que le processeur et la mémoire.

Utilisation de autoScalingSpec YAML dans le déploiement

L'opérateur d' SageMaker HyperPod inférence Amazon fournit des fonctionnalités de mise à l'échelle automatique intégrées pour les déploiements de modèles à l'aide des métriques d'Amazon Managed Prometheus (AMP) et d' CloudWatch Amazon Managed Prometheus (AMP). L’exemple de code YAML de déploiement suivant inclut une section autoScalingSpec qui définit les valeurs de configuration pour la mise à l’échelle du déploiement de votre modèle.

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name: deepseek-sample624
  namespace: ns-team-a
spec:
  sageMakerEndpoint:
    name: deepsek7bsme624
  model:
    modelHubName: SageMakerPublicHub
    modelId: deepseek-llm-r1-distill-qwen-1-5b
    modelVersion: 2.0.4
  server:
    instanceType: ml.g5.8xlarge
  metrics:
    enabled: true
  environmentVariables:
    - name: SAMPLE_ENV_VAR
      value: "sample_value"
  maxDeployTimeInSeconds: 1800
  tlsConfig:
    tlsCertificateOutputS3Uri: "s3://{USER}-tls-bucket-{REGION}/certificates"
  autoScalingSpec:
    minReplicaCount: 0
    maxReplicaCount: 5
    pollingInterval: 15
    initialCooldownPeriod: 60
    cooldownPeriod: 120
    scaleDownStabilizationTime: 60
    scaleUpStabilizationTime: 0
    cloudWatchTrigger:
        name: "SageMaker-Invocations"
        namespace: "AWS/SageMaker"
        useCachedMetrics: false
        metricName: "Invocations"
        targetValue: 10.5
        activationTargetValue: 5.0
        minValue: 0.0
        metricCollectionStartTime: 300
        metricCollectionPeriod: 30
        metricStat: "Sum"
        metricType: "Average"
        dimensions:
          - name: "EndpointName"
            value: "deepsek7bsme624"
          - name: "VariantName"
            value: "AllTraffic"
    prometheusTrigger: 
        name: "Prometheus-Trigger"
        useCachedMetrics: false
        serverAddress: http://<prometheus-host>:9090
        query: sum(rate(http_requests_total{deployment="my-deployment"}[2m]))
        targetValue: 10.0
        activationTargetValue: 5.0
        namespace: "namespace"
        customHeaders: "X-Client-Id=cid"
        metricType: "Value"

Explication des champs utilisés dans le code YAML de déploiement

Utilisation des définitions ScaledObject YAML de KEDA via kubectl

Outre la configuration de l'autoscaling dans la autoScalingSpec section de votre fichier YAML de déploiement, vous pouvez créer et appliquer des définitions KEDA ScaledObject YAML autonomes à l'aide de kubectl.

Cette approche offre une plus grande flexibilité pour les scénarios de mise à l’échelle complexes et vous permet de gérer les politiques de mise à l’échelle automatique indépendamment de vos déploiements de modèle. ScaledObjectLes configurations KEDA prennent en charge un large éventail de déclencheurs de dimensionnement, notamment CloudWatch les métriques, la longueur des files d'attente Amazon SQS, les requêtes Prometheus et les métriques basées sur les ressources telles que l'utilisation du processeur et de la mémoire. Vous pouvez appliquer ces configurations aux déploiements de modèles existants en référençant le nom du déploiement dans la scaleTargetRef section de la ScaledObject spécification.

CloudWatch métriques

La politique YAML KEDA suivante utilise les CloudWatch métriques comme déclencheur pour effectuer le dimensionnement automatique sur un déploiement de Kubernetes. La politique interroge le nombre d’invocations pour un point de terminaison Sagemaker et met à l’échelle le nombre de pods de déploiement. La liste complète des paramètres pris en charge par KEDA pour le aws-cloudwatch déclencheur se trouve sur https://keda. sh/docs/2.17/scalers/aws-montre-cloud/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: aws-cloudwatch
    metadata:
      namespace: AWS/SageMaker
      metricName: Invocations
      targetMetricValue: "1"
      minMetricValue: "1"
      awsRegion: "us-west-2"
      dimensionName: EndpointName;VariantName
      dimensionValue: $ENDPOINT_NAME;$VARIANT_NAME
      metricStatPeriod: "30" # seconds
      metricStat: "Sum"
      identityOwner: operator

Métriques Amazon SQS

La politique yaml KEDA suivante utilise les métriques Amazon SQS comme déclencheur pour effectuer la mise à l’échelle automatique sur un déploiement kubernetes. La politique interroge le nombre d’invocations pour un point de terminaison Sagemaker et met à l’échelle le nombre de pods de déploiement. La liste complète des paramètres pris en charge par KEDA pour le aws-cloudwatch déclencheur se trouve sur https://keda. sh/docs/2.17/scalers/aws-sqs/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: aws-sqs-queue
    metadata:
      queueURL: https://sqs.eu-west-1.amazonaws.com/account_id/QueueName
      queueLength: "5"  # Default: "5"
      awsRegion: "us-west-1"
      scaleOnInFlight: true
      identityOwner: operator

Métriques Prometheus

La politique yaml KEDA suivante utilise les métriques Prometheus comme déclencheur pour effectuer la mise à l’échelle automatique sur un déploiement kubernetes. La politique interroge le nombre d’invocations pour un point de terminaison Sagemaker et met à l’échelle le nombre de pods de déploiement. La liste complète des paramètres pris en charge par KEDA pour le aws-cloudwatch déclencheur se trouve sur https://keda. sh/docs/2.17/scalers/prometheus/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://<prometheus-host>:9090
      query: avg(rate(http_requests_total{deployment="$DEPLOYMENT_NAME"}[2m])) # Note: query must return a vector/scalar single element response
      threshold: '100.50'
      namespace: example-namespace  # for namespaced queries, eg. Thanos
      customHeaders: X-Client-Id=cid,X-Tenant-Id=tid,X-Organization-Id=oid # Optional. Custom headers to include in query. In case of auth header, use the custom authentication or relevant authModes.
      unsafeSsl: "false" #  Default is `false`, Used for skipping certificate check when having self-signed certs for Prometheus endpoint    
      timeout: 1000 # Custom timeout for the HTTP client used in this scaler
      identityOwner: operator

Métriques de processeur

La politique yaml KEDA suivante utilise la métrique cpu comme déclencheur pour effectuer la mise à l’échelle automatique sur un déploiement kubernetes. La politique interroge le nombre d’invocations pour un point de terminaison Sagemaker et met à l’échelle le nombre de pods de déploiement. La liste complète des paramètres pris en charge par KEDA pour le aws-cloudwatch déclencheur se trouve sur https://keda. sh/docs/2.17/scalers/prometheus/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: cpu
    metricType: Utilization # Allowed types are 'Utilization' or 'AverageValue'
    metadata:
        value: "60"
        containerName: "" # Optional. You can use this to target a specific container

Métrique de mémoire

La politique yaml KEDA suivante utilise la requête des métriques Prometheus comme déclencheur pour effectuer la mise à l’échelle automatique sur un déploiement kubernetes. La politique interroge le nombre d’invocations pour un point de terminaison Sagemaker et met à l’échelle le nombre de pods de déploiement. La liste complète des paramètres pris en charge par KEDA pour le aws-cloudwatch déclencheur se trouve sur https://keda. sh/docs/2.17/scalers/prometheus/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: memory
    metricType: Utilization # Allowed types are 'Utilization' or 'AverageValue'
    metadata:
        value: "60"
        containerName: "" # Optional. You can use this to target a specific container in a pod

Exemple de politique de Prometheus concernant la réduction verticale à 0 pod

La politique yaml KEDA suivante utilise la requête des métriques prometheus comme déclencheur pour effectuer la mise à l’échelle automatique sur un déploiement kubernetes. Cette politique utilise une valeur minReplicaCount de 0, ce qui permet à KEDA de réduire verticalement le déploiement à 0 pod. Quand minReplicaCount a pour valeur 0, vous devez fournir un critère d’activation afin de faire apparaître le premier pod, une fois les pods réduits verticalement à 0. Pour le déclencheur Prometheus, cette valeur est fournie par activationThreshold. Pour la file d’attente SQS, elle provient de activationQueueLength.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 0 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  cooldownPeriod:  30
  initialCooldownPeriod:  180 # time before scaling down the pods after initial deployment
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://<prometheus-host>:9090
      query: sum(rate(http_requests_total{deployment="my-deployment"}[2m])) # Note: query must return a vector/scalar single element response
      threshold: '100.50'
      activationThreshold: '5.5' # Required if minReplicaCount is 0 for initial scaling
      namespace: example-namespace
      timeout: 1000
      identityOwner: operator