Konfigurieren Sie Auto Scaling für Modelle über die Konsole - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren Sie Auto Scaling für Modelle über die Konsole

So konfigurieren Sie Auto Scaling für ein Modell (Konsole)

  1. Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

  2. Wählen Sie im Navigationsbereich Inferenz und anschließend Endpunkte aus.

  3. Wählen Sie Ihren Endpunkt und dann für Endpunktlaufzeiteinstellungen die Variante aus.

  4. Wählen Sie Configure auto scaling (Auto Scaling konfigurieren) aus.

  5. Gehen Sie auf der Seite Auto Scaling von Varianten konfigurieren unter Varianten-Auto Scaling wie folgt vor:

    1. Geben Sie für Minimale Instance-Anzahl die Mindestzahl an Instances ein, die die Skalierungsrichtlinie beibehalten soll. Es ist mindestens eine Instance erforderlich.

    2. Geben Sie für Maximale Instance-Anzahl die Höchstzahl an Instances ein, die die Skalierungsrichtlinie beibehalten soll.

  6. Gehen Sie unter Integrierte Skalierungsrichtlinie wie folgt vor:

    1. Für die Zielmetrik ist SageMakerVariantInvocationsPerInstance automatisch ausgewählt und kann nicht geändert werden.

    2. Geben Sie für den Zielwert die durchschnittliche Anzahl der Aufrufe pro Instance pro Minute für das Modell ein. Um diesen Wert festzulegen, befolgen Sie die Richtlinien auf Lasttest.

    3. (Optional) Geben Sie für Cooldown für Herunterskalieren (Sekunden) und Cooldown für Hochskalieren (Sekunden) die Zeit für jede Ruhephase in Sekunden ein.

    4. (Optional) Wählen Sie Skalierung deaktivieren aus, wenn Sie nicht möchten, dass Auto Scaling die Instances beendet, wenn der Traffic abnimmt.

  7. Wählen Sie Speichern.

Dieses Verfahren registriert ein Modell als skalierbares Ziel mit Application Auto Scaling. Wenn Sie ein Modell registrieren, nimmt Application Auto Scaling Überprüfungen vor, um sicherzustellen, dass:

  • Das Modell existiert

  • die Berechtigungen ausreichen

  • Sie keine Variante mit einer Instance registrieren, die eine Burstable Performance Instance wie T2 ist

    Anmerkung

    SageMaker KI unterstützt Auto Scaling für Burstable-Instances wie T2 nicht, da sie bereits eine höhere Kapazität bei erhöhten Workloads ermöglichen. Informationen zu Burstable-Performance-Instances finden Sie unter EC2 Amazon-Instance-Typen.