Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Alarme und Protokolle zur Verfolgung von Metriken von asynchronen Endpunkten
Sie können SageMaker AI mit Amazon CloudWatch überwachen, wobei Rohdaten erfasst und in lesbare, nahezu Echtzeit-Metriken verarbeitet werden. Mit Amazon CloudWatch können Sie auf historische Informationen zugreifen und sich einen besseren Überblick über die Leistung Ihrer Webanwendung oder Ihres Services verschaffen. Weitere Informationen zu Amazon CloudWatch finden Sie unter Was ist Amazon CloudWatch?
Überwachung mit CloudWatch
Die folgenden Metriken sind eine vollständige Liste von Metriken für asynchrone Endpunkte und befinden sich im AWS/SageMaker Namespace. Jede Metrik, die unten nicht aufgeführt ist, wird nicht veröffentlicht, wenn der Endpunkt für asynchrone Inferenz aktiviert ist. Zu diesen Metriken gehören u. a.:
Overhead/Latenz
Aufrufe
InvocationsPerInstance
Allgemeine Endpunktmetriken
Diese Metriken entsprechen den Metriken, die heute für Echtzeit-Endpunkte veröffentlicht wurden. Für weitere Informationen zu anderen Metriken in Amazon CloudWatch siehe Überwachen von SageMaker AI mit Amazon CloudWatch.
| Metrikname | Beschreibung | Einheit/Statistik |
|---|---|---|
|
Die Anzahl der -Anforderungen, bei denen das Modell den HTTP-Antwortcode 4xx zurückgegeben hat. Für jede 4xx-Antwort wird der Wert 1 gesendet, andernfalls 0. |
Einheiten: keine Gültige Statistiken: Durchschnitt, Summe |
|
Die Anzahl der InvokeEndpoint-Anforderungen, bei denen das Modell den HTTP-Antwortcode 5xx zurückgegeben hat. Für jede 5xx-Antwort wird der Wert 1 gesendet, andernfalls 0. |
Einheiten: keine Gültige Statistiken: Durchschnitt, Summe |
|
Das Zeitintervall bis zur Reaktion eines Modells, von SageMaker AI aus gesehen. Dieses Intervall enthält die lokale Kommunikationszeitspanne für das Senden der Anforderung und Abrufen der Antwort vom Container eines Modells sowie die Zeitspanne für das Abschließen der Inferenz im Container. |
Einheiten: Mikrosekunden Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl |
Asynchrone Inferenz-Endpunkt-Metriken
Diese Metriken werden für Endpunkte veröffentlicht, für die asynchrone Inferenz aktiviert ist. Die folgenden Metriken werden mit einer EndpointName-Dimension veröffentlicht:
| Metrikname | Beschreibung | Einheit/Statistik |
|---|---|---|
|
Die Anzahl der Elemente in der Warteschlange für einen Endpunkt, die gerade verarbeitet werden oder noch verarbeitet werden müssen. |
Einheiten: Anzahl Gültige Statistiken: Durchschnitt, Maximum und Minimum |
|
Anzahl der Elemente in der Warteschlange geteilt durch die Anzahl der Instances hinter einem Endpunkt. Diese Metrik wird hauptsächlich für die Einrichtung der automatischen Anwendungsskalierung für einen asynchronen Endpunkt verwendet. |
Einheiten: Anzahl Gültige Statistiken: Durchschnitt, Maximum und Minimum |
|
Alter der ältesten Anfrage in der Warteschlange. |
Einheiten: Sekunden Gültige Statistiken: Durchschnitt, Maximum und Minimum |
|
Der Wert dieser Metrik ist |
Einheiten: Anzahl Gültige Statistiken: Durchschnitt |
Die folgenden Metriken werden mit einer EndpointName und VariantName-Dimension veröffentlicht.
| Metrikname | Beschreibung | Einheit/Statistik |
|---|---|---|
|
Wenn aufgrund eines Problems beim Herunterladen der Anfrage von Amazon S3 ein Inferenzfehler auftritt. |
Einheiten: Anzahl Gültige Statistiken: Summe |
|
Wenn aufgrund eines Problems beim Hochladen der Antwort auf Amazon S3 ein Inferenzfehler auftritt. |
Einheiten: Anzahl Gültige Statistiken: Summe |
|
Wenn ein Problem beim Veröffentlichen von Benachrichtigungen auftritt. |
Einheiten: Anzahl Gültige Statistiken: Summe |
|
Gesamtzeit für das Herunterladen der Anforderungsnutzlast. |
Einheiten: Mikrosekunden Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl |
|
Gesamtzeit für das Hochladen der Antwortnutzlast. |
Einheiten: Mikrosekunden Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl |
|
Anzahl der Anfragen in der Warteschlange, die aufgrund des Erreichens der angegebenen Anfrage-TTL fehlschlagen. |
Einheiten: Anzahl Gültige Statistiken: Summe |
|
Wenn ein Aufruf aus irgendeinem Grund fehlschlägt. |
Einheiten: Anzahl Gültige Statistiken: Summe |
|
Anzahl der vom Endpunkt verarbeiteten asynchronen Aufrufe. |
Einheiten: Anzahl Gültige Statistiken: Summe |
|
Gesamtzeit, in der die Anfrage vor der Verarbeitung in die Warteschlange gestellt wurde. Dies beinhaltet nicht die tatsächliche Verarbeitungszeit (d. h. Downloadzeit, Uploadzeit, Modelllatenz). |
Einheiten: Millisekunden Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl |
|
Uhrzeit, zu der die Inferenzanforderung von SageMaker AI empfangen wurde, bis zu dem Zeitpunkt, zu dem die Verarbeitung der Anfrage abgeschlossen wurde. Dies beinhaltet die Zeit im Backlog und die Zeit zum Hochladen und Senden von Antwortbenachrichtigungen, falls vorhanden. |
Einheiten: Millisekunden Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl |
Amazon SageMaker Asynchronous Inference umfasst auch Metriken auf Host-Ebene. Informationen zu Metriken auf Host-Ebene finden Sie unter SageMaker-AI-Jobs und Endpunktmetriken.
Logs (Protokolle)
Zusätzlich zu den Model-Container-Protokollen, die in Ihrem Konto in Amazon CloudWatch veröffentlicht werden, erhalten Sie auch ein neues Plattformprotokoll für die Verfolgung und das Debuggen von Inferenzanfragen.
Die neuen Protokolle werden unter der Endpoint Log Group veröffentlicht:
/aws/sagemaker/Endpoints/[EndpointName]
Der Name des Protokollstreams besteht aus:
[production-variant-name]/[instance-id]/data-log.
Protokollzeilen enthalten die Inferenz-ID der Anfrage, sodass Fehler leicht einer bestimmten Anfrage zugeordnet werden können.
