Validieren von Modellen in der Produktion

Mit SageMaker AI können Sie mehrere Modelle oder Modellversionen hinter demselben Endpunkt mithilfe von Produktionsvarianten testen. Eine Variante besteht aus einer ML Instance und den in einem SageMaker-AI-Modell angegebenen Serving-Komponenten. Sie können mehrere Varianten hinter einem Endpunkt haben. Jede Variante kann einen anderen Instance-Typ oder ein SageMaker-AI-Modell haben, das unabhängig von den anderen automatisch skaliert werden kann. Die Modelle innerhalb der Varianten können mithilfe verschiedener Datensätze, verschiedener Algorithmen, verschiedener ML-Frameworks oder einer beliebigen Kombination aus all diesen trainiert werden. Alle Varianten hinter einem Endpunkt haben denselben Inferenzcode. SageMaker AI unterstützt zwei Arten von Varianten: Produktionsvarianten und Schattenvarianten.

Wenn Sie mehrere Produktionsvarianten hinter einem Endpunkt haben, können Sie jeder Variante einen Teil Ihrer Inferenzanfragen zuordnen. Jede Anfrage wird nur an eine der Produktionsvarianten weitergeleitet. Die Produktionsvariante, an die die Anfrage weitergeleitet wurde, liefert dem Anrufer die Antwort. Sie können vergleichen, wie sich die Produktionsvarianten im Vergleich zueinander verhalten.

Sie können auch eine Schattenvariante haben, die einer Produktionsvariante hinter einem Endpunkt entspricht. Ein Teil der Inferenzanfragen, die an die Produktionsvariante gehen, wird in die Schattenvariante repliziert. Die Antworten der Schattenvariante werden zum Vergleich protokolliert und nicht an den Aufrufer zurückgegeben. Auf diese Weise können Sie die Leistung der Schattenvariante testen, ohne den Aufrufer der Antwort der Schattenvariante auszusetzen.