Log e parametri della pipeline di inferenza
Il monitoraggio è importante per assicurare l’affidabilità, la disponibilità e le prestazioni delle risorse di Amazon SageMaker AI. Per monitorare e risolvere i problemi relativi alle prestazioni della pipeline di inferenza, utilizza log e messaggi di errore di Amazon CloudWatch. Per informazioni sugli strumenti di monitoraggio forniti da SageMaker AI, consulta Monitoraggio delle risorse AWS in Amazon SageMaker AI.
Utilizzo di parametri per monitorare i modelli multicontainer
Per monitorare i modelli multi-container in Inference Pipelines, usa Amazon CloudWatch. CloudWatch raccoglie ed elabora i dati grezzi trasformandoli in metriche leggibili, quasi in tempo reale. Gli endpoint e i job di addestramento SageMaker AI scrivono le metriche e i log di CloudWatch nel namespace AWS/SageMaker.
Le seguenti tabelle elencano i parametri e le dimensioni per gli elementi seguenti:
-
Invocazioni dell'endpoint
-
Processi di addestramento, processi di trasformazione in batch e istanze di endpoint
Una dimensione è una coppia nome/valore che identifica un parametro in modo univoco. Puoi assegnare a un parametro fino a 10 dimensioni. Per ulteriori informazioni sul monitoraggio con CloudWatch, consulta Metriche di Amazon SageMaker AI in Amazon CloudWatch.
Parametri di invocazione dell'endpoint
Lo spazio dei nomi AWS/SageMaker include i seguenti parametri di richiesta dalle chiamate a InvokeEndpoint.
I parametri sono segnalati a intervalli di 1 minuto.
| Parametro | Descrizione |
|---|---|
Invocation4XXErrors |
Numero di richieste Unità: nessuna Statistiche valide: |
Invocation5XXErrors |
Numero di richieste Unità: nessuna Statistiche valide: |
Invocations |
Richieste Per ottenere il numero totale di richieste inviate a un endpoint di un modello, utilizza la statistica Unità: nessuna Statistiche valide: |
InvocationsPerInstance |
Numero di invocazioni degli endpoint inviate a un modello, normalizzato da Unità: nessuna Statistiche valide: |
ModelLatency |
Il tempo richiesto dal modello o dai modelli per rispondere. Questo include il tempo richiesto per inviare la richiesta, recuperare la risposta dal container di modello e completare l'inferenza nel container. ModelLatency è il tempo totale impiegato da tutti i container in una pipeline di inferenza.Unità: microsecondi Statistiche valide: |
OverheadLatency |
Il tempo aggiunto al tempo richiesto per rispondere a una richiesta client da SageMaker AI per le operazioni di gestione. La misurazione di Unità: microsecondi Statistiche valide: |
ContainerLatency |
Il tempo impiegato da un container delle pipeline di inferenza per rispondere come visualizzato da SageMaker AI. ContainerLatency include il tempo impiegato per inviare la richiesta, recuperare la risposta dal container del modello e completare l’inferenza nel container.Unità: microsecondi Statistiche valide: |
Dimensioni dei parametri di invocazione dell'endpoint
| Dimensione | Descrizione |
|---|---|
EndpointName, VariantName, ContainerName |
Filtra i parametri di invocazione dell'endpoint per un |
Per un endpoint della pipeline di inferenza, CloudWatch elenca le metriche di latenza per container nell’account come Parametri container endpoint e Parametri variante endpoint nel namespace SageMaker AI, come descritto di seguito. Il parametro ContainerLatency viene visualizzato solo per pipeline di inferenza.
Per ogni endpoint e ogni container, i parametri di latenza visualizzano i nomi di container, endpoint, variante e metrica.
Parametri delle istanze endpoint, dei processi di addestramento e dei processi di trasformazione in batch
Gli spazi dei nomi /aws/sagemaker/TrainingJobs, /aws/sagemaker/TransformJobs e /aws/sagemaker/Endpoints includono i seguenti parametri per i processi di addestramento e le istanze endpoint.
I parametri sono segnalati a intervalli di 1 minuto.
| Parametro | Descrizione |
|---|---|
CPUUtilization |
Percentuale di unità CPU utilizzate dai container in esecuzione su un'istanza. Il valore varia da 0% a 100% ed è moltiplicato per il numero di CPU. Ad esempio, se ci sono quattro CPU, Per i processi di addestramento, Per i processi di trasformazione in batch, Per modelli multi-container, Per le varianti di endpoint, Unità: percentuale |
MemoryUtilization |
Percentuale di memoria utilizzata dai container in esecuzione su un'istanza. Questo valore è compreso tra 0% e 100%. Per i processi di addestramento, Per i processi di trasformazione in batch, MemoryUtilization è la somma della memoria utilizzata da tutti i container in esecuzione sull'istanza.Per le varianti di endpoint, Unità: percentuale |
GPUUtilization |
La percentuale di unità GPU utilizzata dai container in esecuzione su un'istanza. Per i processi di addestramento, Per i processi di trasformazione in batch, Per modelli multi-container, Per le varianti di endpoint, Unità: percentuale |
GPUMemoryUtilization |
Percentuale di memoria GPU utilizzata dai container in esecuzione su un'istanza. GPUMemoryUtilization varia da 0% a 100% ed è moltiplicata per il numero di GPU. Ad esempio, se ci sono quattro GPU, Per i processi di addestramento, Per i processi di trasformazione in batch, Per i modelli multi-container, Per le versioni di endpoint, Unità: percentuale |
DiskUtilization |
Percentuale di spazio su disco utilizzata dai container in esecuzione su un'istanza. DiskUtilization varia da 0% a 100%. Questo parametro non è supportato per i processi di trasformazione in batch. Per i processi di addestramento, Per le varianti di endpoint, Unità: percentuale |
Dimensioni dei parametri delle istanze dell'endpoint, dei processi di addestramento e dei processi di trasformazione in batch
| Dimensione | Descrizione |
|---|---|
Host |
Per i processi di addestramento, Per i processi di trasformazione in batch, Per gli endpoint, |
Per semplificare il debug dei job di addestramento, degli endpoint e delle configurazioni del ciclo di vita delle istanze del notebook, SageMaker AI invia inoltre a Amazon CloudWatch Logs tutto ciò che un container di algoritmi, un container di modelli o una configurazione del ciclo di vita delle istanze del notebook invia a stdout o stderr. Puoi utilizzare queste informazioni per il debug e l'analisi dell'avanzamento.
Utilizzo di log per monitorare una pipeline di inferenza
La tabella seguente elenca i gruppi di log e i flussi di log inviati da SageMaker AI ad Amazon CloudWatch
Un flusso di log è una sequenza di eventi di log che condividono la stessa origine. Ciascuna origine di registri separata in CloudWatch costituisce un flusso di log distinto. Un gruppo di log è un gruppo di flussi di log che condividono le stesse impostazioni di conservazione, monitoraggio e controllo degli accessi.
Log
| Nome gruppo di log | Nome flusso di log |
|---|---|
/aws/sagemaker/TrainingJobs |
|
/aws/sagemaker/Endpoints/[EndpointName] |
|
|
|
|
|
|
|
/aws/sagemaker/NotebookInstances |
|
/aws/sagemaker/TransformJobs |
|
|
|
|
|
|
Nota
SageMaker AI crea il gruppo di log /aws/sagemaker/NotebookInstances quando crei un’istanza del notebook con una configurazione del ciclo di vita. Per ulteriori informazioni, consulta Personalizzazione di un’istanza del notebook SageMaker con uno script LCC.
Per ulteriori informazioni sulla registrazione di log di SageMaker AI, consulta Log di CloudWatch per Amazon SageMaker AI.
