Allarmi e log per il monitoraggio delle metriche da endpoint serverless
Per monitorare il tuo endpoint serverless, puoi utilizzare gli allarmi di Amazon CloudWatch. CloudWatch è un servizio che raccoglie metriche in tempo reale dalle tue applicazioni e risorse AWS. Un allarme controlla i parametri man mano che vengono raccolti e ti dà la possibilità di specificare in anticipo una soglia e le azioni da intraprendere in caso di superamento di tale soglia. Ad esempio, l'allarme CloudWatch può inviarti una notifica se l'endpoint supera una soglia di errore. Configurando gli allarmi CloudWatch, ottieni visibilità sulle prestazioni e sulla funzionalità del tuo endpoint. Per ulteriori informazioni sugli allarmi CloudWatch, consulta Utilizzo degli allarmi di Amazon CloudWatch nella Guida per l'utente di Amazon CloudWatch.
Monitoraggio con CloudWatch
I parametri riportati di seguito sono un elenco esaustivo di parametri per gli endpoint serverless. Qualsiasi parametro non elencato di seguito non viene pubblicato per gli endpoint serverless. Per ulteriori informazioni sulle metriche seguenti, consulta Monitor Amazon SageMaker AI with Amazon CloudWatch.
Parametri degli endpoint comuni
Questi parametri CloudWatch sono gli stessi pubblicati oggi per gli endpoint in tempo reale.
La metrica OverheadLatency tiene traccia di tutta la latenza aggiuntiva aggiunta da SageMaker AI, inclusa l’ora di avvio a freddo per il lancio di nuove risorse di calcolo per l’endpoint serverless. Rispetto agli endpoint serverless on-demand, OverheadLatency per gli endpoint serverless con provisioning di simultaneità sono generalmente significativamente inferiori.
Gli endpoint serverless possono anche utilizzare i parametri Invocations4XXErrors, Invocations5XXErrors, Invocations, ModelLatency, ModelSetupTime e MemoryUtilization. Per ulteriori informazioni su questi parametri, consulta Metriche di invocazione dell’endpoint di SageMaker AI.
Parametri comuni degli endpoint serverless
Questi parametri CloudWatch sono pubblicati sia per gli endpoint serverless on-demand che per gli endpoint serverless con provisioning di simultaneità.
| Nome parametro | Descrizione | Unità/statistiche |
|---|---|---|
ServerlessConcurrentExecutionsUtilization |
Il numero di esecuzioni simultanee diviso per il numero massimo di simultaneità. | Unità: nessuna Statistiche valide: medio, massimo, minimo |
Endpoint serverless con parametri di provisioning di simultaneità
Questi parametri CloudWatch sono pubblicati per gli endpoint serverless con provisioning di simultaneità.
| Nome parametro | Descrizione | Unità/statistiche |
|---|---|---|
ServerlessProvisionedConcurrencyExecutions |
Il numero di esecuzioni simultanee gestite dall'endpoint. | Unità: numero Statistiche valide: medio, massimo, minimo |
ServerlessProvisionedConcurrencyUtilization |
Il numero di esecuzioni simultanee diviso per il numero di simultaneità allocato. | Unità: nessuna Statistiche valide: medio, massimo, minimo |
ServerlessProvisionedConcurrencyInvocations |
Il numero di richieste InvokeEndpoint gestite dal provisioning di simultaneità. |
Unità: numero Statistiche valide: medio, massimo, minimo |
ServerlessProvisionedConcurrencySpilloverInvocations |
Il numero di richieste InvokeEndpoint non gestite dal provisioning di simultaneità, ovvero gestite da Inferenza Serverless on-demand. |
Unità: numero Statistiche valide: medio, massimo, minimo |
Log
Se desideri monitorare i log dal tuo endpoint per il debug o l'analisi dei progressi, puoi utilizzare File di log Amazon CloudWatch. Il gruppo di log fornito da SageMaker AI che è possibile utilizzare per gli endpoint serverless è /aws/sagemaker/Endpoints/[EndpointName]. Per ulteriori informazioni sull’utilizzo dei log CloudWatch in SageMaker AI, consulta Log di CloudWatch per Amazon SageMaker AI. Per ulteriori informazioni sui file di log di CloudWatch, consulta Che cos'è Amazon CloudWatch Logs? nella Guida per l'utente di Amazon CloudWatch Logs.
