Aktualisieren von Endpunkten, für die das Auto Scaling verwendet wird - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Aktualisieren von Endpunkten, für die das Auto Scaling verwendet wird

Wenn Sie einen Endpunkt aktualisieren, prüft Application Auto Scaling, ob irgendeines der Modelle auf diesem Endpunkt Ziel für das Auto Scaling ist. Ändert die Aktualisierung den Instance-Typ für ein Modell, das ein Ziel für das Auto Scaling darstellt, so schlägt die Aktualisierung fehl.

In der wird eine Warnung angezeigtAWS-Managementkonsole, dass Sie das Modell von Auto Scaling abmelden müssen, bevor Sie es aktualisieren können. Wenn Sie versuchen, den Endpunkt zu aktualisieren, indem Sie die UpdateEndpoint-API aufrufen, schlägt der Aufruf fehl. Bevor Sie den Endpunkt aktualisieren, löschen Sie alle für ihn konfigurierten Skalierungsrichtlinien und heben Sie die Registrierung der Variante als skalierbares Ziel auf, indem Sie die API-Aktion DeregisterScalableTargetApplication Auto Scaling aufrufen. Nachdem Sie den Endpunkt aktualisiert haben, können Sie die aktualisierte Variante als skalierbares Ziel registrieren und eine Skalierungsrichtlinie hinzufügen.

Es gibt eine Ausnahme. Wenn Sie das Modell für eine Variante ändern, die für Auto Scaling konfiguriert ist, ermöglicht Amazon SageMaker AI Auto Scaling das Update. Das liegt daran, dass sich die Änderung des Modells normalerweise nicht stark genug auf die Leistung auswirkt, um die Skalierung zu verändern. Wenn Sie ein Modell für eine Variante aktualisieren, die für das Auto Scaling konfiguriert wurde, stellen Sie sicher, dass die Änderung des Modells keine signifikanten Auswirkungen auf die Leistung und Skalierung hat.

Wenn Sie SageMaker KI-Endpunkte aktualisieren, auf die Auto Scaling angewendet wurde, führen Sie die folgenden Schritte aus:

So aktualisieren Sie einen Endpunkt, bei dem das Auto Scaling angewendet wird

  1. Melden Sie den Endpunkt per Anruf als skalierbares Ziel ab. DeregisterScalableTarget

  2. Da Auto Scaling während des Aktualisierungsvorgangs blockiert wird (oder wenn Sie Auto Scaling im vorangegangenen Schritt deaktiviert haben), sollten Sie als zusätzliche Vorsichtsmaßnahme die Anzahl der Instances für Ihren Endpunkt während der Aktualisierung erhöhen. Aktualisieren Sie dazu die Anzahl der Instances für die am Endpunkt gehosteten Produktionsvarianten, indem Sie UpdateEndpointWeightsAndCapacities aufrufen.

  3. Rufen Sie DescribeEndpoint wiederholt auf, bis der Wert des Feldes EndpointStatus der Antwort InService lautet.

  4. Rufen Sie DescribeEndpointConfig auf, um die Werte der aktuellen Endpunktkonfiguration abzurufen.

  5. Erstellen Sie eine neue Endpunktkonfiguration, indem Sie CreateEndpointConfig aufrufen. Verwenden Sie für die Produktionsvarianten, für die Sie die vorhandene Instance-Zahl oder -Gewichtung beibehalten möchten, denselben Variantennamen aus der Antwort aus dem Aufruf von DescribeEndpointConfig im vorherigen Schritt. Verwenden Sie für alle anderen Werte die Werte, die Sie im vorherigen Schritt beim Aufruf von DescribeEndpointConfig erhalten haben.

  6. Aktualisieren Sie den Endpunkt, indem Sie UpdateEndpoint aufrufen. Geben Sie die Endpunktkonfiguration an, die Sie im vorangegangenen Schritt als EndpointConfig-Feld erstellt haben. Wenn Sie Varianteneigenschaften wie Instance-Zahl oder -Gewichtung beibehalten möchten, legen Sie den Wert des Parameters RetainAllVariantProperties auf True fest. Dies gibt an, dass Produktionsvarianten mit demselben Namen mit der jeweils aktuellen DesiredInstanceCount aus der Antwort auf den Aufruf von DescribeEndpoint aktualisiert werden, unabhängig von den Werten für das Feld InitialInstanceCount in der neuen EndpointConfig.

  7. (Optional) Reaktivieren Sie Auto Scaling, indem Sie RegisterScalableTargetund PutScalingPolicyaufrufen.

Anmerkung

Die Schritte 1 und 7 sind nur erforderlich, wenn Sie einen Endpunkt mit den folgenden Änderungen aktualisieren:

  • Ändern des Instance-Typs für eine Produktionsvariante, für die Auto Scaling konfiguriert ist

  • Entfernen einer Produktionsvariante, für die Auto Scaling konfiguriert ist