Schattentests
Mit Amazon SageMaker AI können Sie alle Änderungen an Ihrem Modell der Serverinfrastruktur bewerten, indem Sie dessen Leistung mit der aktuell bereitgestellten Infrastruktur vergleichen. Diese Vorgehensweise wird als Schattentest bezeichnet. Schattentests können Ihnen helfen, catch Konfigurationsfehler und Leistungsprobleme zu erkennen, bevor sie sich auf Endbenutzer auswirken. Mit SageMaker AI müssen Sie nicht in den Aufbau Ihrer Shadow-Testing-Infrastruktur investieren, sodass Sie sich auf die Modellentwicklung konzentrieren können.
Sie können diese Funktion nutzen, um Änderungen an jeder Komponente Ihrer Produktionsvariante, d. h. am Modell, am Container oder an der Instance, zu validieren, ohne dass sich dies auf den Endbenutzer auswirkt. Dies ist unter anderem in folgenden Situationen nützlich, ist aber nicht darauf beschränkt:
-
Sie erwägen, ein neues Modell, das offline validiert wurde, in der Produktion einzuführen, möchten aber vor dieser Entscheidung betriebliche Leistungskennzahlen wie Latenz und Fehlerrate auswerten.
-
Sie erwägen Änderungen an Ihrem Serverinfrastruktur-Container, z. B. das Patchen von Sicherheitslücken oder das Upgrade auf neuere Versionen, und möchten die Auswirkungen dieser Änderungen abschätzen, bevor Sie zur Produktion übergehen.
-
Sie erwägen, Ihre ML-Instance zu ändern, und möchten evaluieren, wie die neue Instance bei Live-Inferenzanfragen abschneiden würde.
Die SageMaker-AI-Konsole bietet eine geführte Erfahrung zur Verwaltung des Workflows von Shadow Testing. Sie können Schattentests für einen vordefinierten Zeitraum einrichten, den Fortschritt des Tests über ein Live-Dashboard überwachen, nach Abschluss bereinigen und auf der Grundlage der Ergebnisse handeln. Wählen Sie eine Produktionsvariante aus, mit der Sie testen möchten, und SageMaker AI stellt die neue Variante automatisch im Schattenmodus bereit und leitet eine Kopie der Inferenzanfragen in Echtzeit innerhalb desselben Endpunkts an sie weiter. Nur die Antworten der Produktionsvariante werden an die aufrufende Anwendung zurückgegeben. Sie können wählen, ob Sie die Antworten der Schattenvariante verwerfen oder protokollieren möchten, um sie offline vergleichen zu können. Weitere Informationen zu Produktions- und Schattenvarianten finden Sie unter Validieren von Modellen in der Produktion.
Anweisungen zum Erstellen eines Schattentests finden Sie unter Erstellen Sie ein Shadow Testing.
Anmerkung
Bestimmte Endpunkt-Features können dazu führen, dass Ihr Endpunkt nicht mit Schattentests kompatibel ist. Wenn Ihr Endpunkt eine der folgenden Features verwendet, können Sie auf Ihrem Endpunkt keine Schattentests verwenden und Ihre Anfrage zur Einrichtung von Schattentests führt zu Validierungsfehlern.
Serverlose Inferenz
Asynchrone Inferenz
Marketplace Container
Endpunkte mit mehreren Containern
Endpunkte mit mehreren Knoten
Endpunkte, die Inf1-Instances (auf Inferenz basieren) verwenden
