Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erstellen Sie ein Shadow Testing
Sie können ein Shadow Testing erstellen, um die Leistung einer Shadow-Variante mit einer Produktionsvariante zu vergleichen. Sie können den Test auf einem vorhandenen Endpunkt ausführen, der Inferenzanforderungen bedient, oder Sie können einen neuen Endpunkt erstellen, auf dem der Test ausgeführt werden soll.
Um einen Shadow-Test zu erstellen, benötigen Sie folgende Informationen:
-
Eine Produktionsvariante, die 100 Prozent der eingehenden Inferenzanfragen empfängt und beantwortet.
-
Eine Shadow-Variante, die einen Prozentsatz der eingehenden Anfragen empfängt, die aus der Produktionsvariante repliziert werden, aber keine Antworten zurückgibt.
Für jede Variante können Sie SageMaker AI verwenden, um das Modell, den Instance-Typ und die Anzahl der Exemplare zu steuern. Sie können den Prozentsatz der eingehenden Anfragen, den sogenannten Traffic Sampling-Prozentsatz, konfigurieren, der auf Ihre Shadow-Variante repliziert werden soll. SageMaker AI verwaltet die Replikation von Anfragen an Ihre Shadow-Variante, und Sie können den Prozentsatz der Traffic-Abtastung ändern, wenn Ihr Test geplant ist oder läuft. Sie können optional auch Data Capture aktivieren, um Anfragen und Antworten Ihrer Produktions- und Shadow-Varianten zu protokollieren.
Anmerkung
SageMaker AI unterstützt maximal eine Shadow-Variante pro Endpunkt. Für einen Endpunkt mit einer Shadow-Variante kann es maximal eine Produktionsvariante geben.
Sie können den Test so planen, dass er zu einem beliebigen Zeitpunkt beginnt und für eine bestimmte Dauer fortgesetzt wird. Die Standarddauer beträgt 7 Tage und die Höchstdauer 30 Tage. Nach Abschluss des Tests kehrt der Endpunkt in den Zustand zurück, in dem er sich vor dem Start des Tests befand. Dadurch wird sichergestellt, dass Sie Ressourcen nach Abschluss des Tests nicht manuell bereinigen müssen.
Sie können einen Test, der gerade ausgeführt wird, über ein Dashboard in der SageMaker-AI-Konsole überwachen. Das Dashboard bietet einen direkten Vergleich der Aufrufmetriken und Instance-Metriken zwischen der Produktions- und der Shadow-Variante sowie eine tabellarische Ansicht mit relevanten Metrikstatistiken. Dieses Dashboard ist auch für abgeschlossene Tests verfügbar. Nachdem Sie die Kennzahlen überprüft haben, können Sie entweder die Shadow-Variante zur neuen Produktionsvariante heraufstufen oder die bestehende Produktionsvariante beibehalten. Sobald Sie die Shadow-Variante hochgestuft haben, beantwortet sie alle eingehenden Anfragen. Weitere Informationen finden Sie unter Hochstufen einer Schattenvariante.
Im folgenden Verfahren wird beschrieben, wie Sie einen Shadow-Test über die SageMaker-AI-Konsole erstellen. Je nachdem, ob Sie einen vorhandenen Endpunkt verwenden oder einen neuen Endpunkt für den Shadow-Test erstellen möchten, gibt es Variationen im Arbeitsablauf.
Themen
Voraussetzungen
Bevor Sie einen Shadow-Test mit der SageMaker-AI-Konsole erstellen, müssen Sie über ein einsatzbereites SageMaker-AI-Modell verfügen. Weitere Informationen, wie Sie ein SageMaker-AI-Modell erstellen können, finden Sie unter Modelle für Echtzeit-Inferenzen bereitstellen.
Sie können mit Shadow Tests mit einem vorhandenen Endpunkt mit einer Produktionsvariante und einer Shadow-Variante, einem vorhandenen Endpunkt mit nur einer Produktionsvariante oder nur mit den SageMaker-AI-Modellen beginnen, die Sie vergleichen möchten. Shadow-Tests unterstützen die Erstellung eines Endpunkts und das Hinzufügen von Varianten, bevor Ihr Test beginnt.
Anmerkung
Bestimmte Endpunkt-Features können dazu führen, dass Ihr Endpunkt nicht mit Schattentests kompatibel ist. Wenn Ihr Endpunkt eine der folgenden Features verwendet, können Sie auf Ihrem Endpunkt keine Schattentests verwenden und Ihre Anfrage zur Einrichtung von Schattentests führt zu Validierungsfehlern.
Serverlose Inferenz
Asynchrone Inferenz
Marketplace Container
Endpunkte mit mehreren Containern
Endpunkte mit mehreren Knoten
Endpunkte, die Inf1-Instances (auf Inferenz basieren) verwenden
Geben Sie die Details zum Shadow-Test ein
Um mit der Erstellung Ihres Shadow-Tests zu beginnen, füllen Sie die Seite Shadow-Testdetails eingeben wie folgt aus:
-
Öffnen Sie die SageMaker-AI-Konsole
. -
Wählen Sie im linken Navigationsbereich Inferenz und anschließend Shadow-Tests aus.
-
Wählen Sie Shadow-Test.
-
Geben Sie für Name einen Namen für den Test ein.
-
(Optional) Geben Sie im Feld Description eine Beschreibung für den Test ein.
-
(Optional) Geben Sie Tags mithilfe von Schlüssel – und Wertepaaren an.
-
Wählen Sie Weiter aus.
Geben Sie die Shadow-Test-Einstellungen ein
Nachdem Sie die Seite Shadow-Test-Details eingeben ausgefüllt haben, füllen Sie die Seite Shadow-Test-Einstellungen eingeben aus. Wenn Sie bereits über einen Endpunkt für SageMaker AI Inference und eine Produktionsvariante verfügen, folgen Sie dem Workflow Verwenden eines vorhandenen Endpunkts. Wenn Sie noch keinen Endpunkt haben, folgen Sie dem Workflow Neuen Endpunkt erstellen.
Nachdem Sie die vorherigen Verfahren abgeschlossen haben, sollte nun ein Test geplant sein, der an dem von Ihnen angegebenen Startdatum und der angegebenen Startzeit beginnt. Sie können den Fortschritt des Tests von einem Dashboard aus verfolgen. Weitere Informationen über das Anzeigen Ihres Tests und die Aktionen, die Sie ergreifen können, finden Sie unter Anzeigen, Überwachen und Bearbeiten von Schattentests.
