Alarme und Protokolle zur Verfolgung von Metriken von Serverless-Endpunkten
Um Ihren serverlosen Endpunkt zu überwachen, können Sie Amazon CloudWatch-Alarme verwenden. CloudWatch ist ein Dienst, der Metriken in Echtzeit aus Ihren AWS Anwendungen und Ressourcen sammelt. Ein Alarm überwacht die erfassten Messwerte und gibt Ihnen die Möglichkeit, vorab einen Schwellenwert und die Maßnahmen festzulegen, die bei einer Überschreitung dieses Schwellenwerts zu ergreifen sind. Ihr CloudWatch-Alarm kann Ihnen beispielsweise eine Benachrichtigung senden, wenn Ihr Endpunkt einen Fehlerschwellenwert überschreitet. Durch die Einrichtung von CloudWatch-Alarmen erhalten Sie Einblick in die Leistung und Funktionalität Ihres Endpunkts. Mehr Informationen über CloudWatch-Alarme finden Sie unter Vewenden von Amazon-CloudWatch-Alarmen im Amazon-CloudWatch-Benutzerhandbuch.
Überwachung mit CloudWatch
Die folgenden Metriken sind eine vollständige Liste von Metriken für serverlose Endgeräte. Alle unten nicht aufgeführten Metriken werden nicht für serverlose Endgeräte veröffentlicht. Informationen zu den folgenden Metriken finden Sie unter Überwachen von Amazon SageMaker AI mit Amazon CloudWatch.
Allgemeine Endpunktmetriken
Diese CloudWatch-Metriken entsprechen den für Echtzeit-Endpunkte veröffentlichten Metriken.
Die OverheadLatency-Metrik verfolgt alle zusätzlichen Latenzen, die SageMaker AI hinzugefügt hat, einschließlich der Kaltstartzeit für den Start neuer Rechenressourcen für Ihren Serverless-Endpunkt. Im Vergleich zu serverlosen On-Demand-Endpunkten ist die OverheadLatency bei serverlosen Endpunkten mit paralleler Bereitstellung im Allgemeinen deutlich geringer.
Serverlose Endgeräte können auch die Invocations4XXErrors, Invocations5XXErrors, Invocations, ModelLatency, ModelSetupTime und MemoryUtilization Metriken verwenden. Weitere Informationen zu diesen Metriken finden Sie unter Kennzahlen zum Aufrufen von SageMaker-AI-Endpunkten.
Metriken für serverlose Endgeräte
Diese CloudWatch-Metriken werden sowohl für serverlose On-Demand-Endpunkte als auch für serverlose Endpunkte mit Provisioned Concurrency veröffentlicht.
| Metrikname | Beschreibung | Einheit/Statistik |
|---|---|---|
ServerlessConcurrentExecutionsUtilization |
Die Anzahl der gleichzeitigen Ausführungen geteilt durch die maximale Gleichzeitigkeit. | Einheiten: keine Gültige Statistiken: Durchschnitt, Maximum und Minimum |
Serverloser Endpunkt mit Metriken für Provisioned Concurrency
Diese CloudWatch-Metriken werden für serverlose Endpunkte mit Provisioned Concurrency veröffentlicht.
| Metrikname | Beschreibung | Einheit/Statistik |
|---|---|---|
ServerlessProvisionedConcurrencyExecutions |
Die Anzahl der gleichzeitigen Ausführungen, die vom Endpunkt verarbeitet werden. | Einheiten: Anzahl Gültige Statistiken: Durchschnitt, Maximum und Minimum |
ServerlessProvisionedConcurrencyUtilization |
Die Anzahl der gleichzeitigen Ausführungen geteilt durch die zugewiesene Provisioned Concurrency. | Einheiten: keine Gültige Statistiken: Durchschnitt, Maximum und Minimum |
ServerlessProvisionedConcurrencyInvocations |
Die Anzahl der InvokeEndpoint Anfragen, die von Provisioned Concurrency bearbeitet wurden. |
Einheiten: Anzahl Gültige Statistiken: Durchschnitt, Maximum und Minimum |
ServerlessProvisionedConcurrencySpilloverInvocations |
Die Anzahl der InvokeEndpoint Anfragen, die nicht von Provisioned Concurrency, sondern von On-Demand-serverlose Inferenz bearbeitet werden. |
Einheiten: Anzahl Gültige Statistiken: Durchschnitt, Maximum und Minimum |
Logs (Protokolle)
Wenn Sie die Protokolle von Ihrem Endpunkt aus zum Debuggen oder zur Fortschrittsanalyse überwachen möchten, können Sie Amazon CloudWatch Protokolle verwenden. Die von SageMaker AI bereitgestellte Protokollgruppe, die Sie für Serverless-Endpunkte verwenden können, ist /aws/sagemaker/Endpoints/[EndpointName]. Weitere Informationen zur Verwendung von CloudWatch-Protokollen in SageMaker AI finden Sie unter CloudWatch-Protokolle für Amazon SageMaker AI. Weitere Informationen zu CloudWatch Logs finden Sie unter Was ist Amazon CloudWatch Protokolle im Benutzerhandbuch zu Amazon CloudWatch Protokolle.
