Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Implementazione del modello su larga scala
Configura l'auto-scaling CloudWatch e il monitoraggio per il SageMaker tuo endpoint AI per renderlo pronto per la produzione.
Perché il monitoraggio della produzione è importante per la classificazione del testo
I carichi di lavoro di classificazione del testo richiedono il monitoraggio perché:
Sono soggetti a modelli di traffico variabili con picchi di elaborazione.
Richiedono tempi di risposta inferiori al secondo.
Hanno bisogno di ottimizzare i costi attraverso il dimensionamento automatico.
Prerequisiti
Prima di iniziare, assicurati di avere:
Il tuo endpoint di SageMaker intelligenza artificiale implementato nella sezione precedente.
Il nome del tuo endpoint (ad esempio,). jumpstart-dft-hf-tc
Il tuo Regione AWS (ad esempio, us-east-2).
Per la creazione o la risoluzione dei problemi degli endpoint, consulta Inferenza in tempo reale.
Configurazione del monitoraggio in produzione
Configura CloudWatch il monitoraggio per monitorare le prestazioni del modello in produzione.
-
Nel tuo JupyterLab spazio, apri il
sagemaker_production_monitoring.ipynbtaccuino dal pacchetto di valutazione che hai caricato in precedenza. -
Aggiorna il nome e la Regione dell’endpoint nella sezione di configurazione.
-
Per la configurazione, segui le istruzioni del notebook:
Dimensionamento automatico (1-10 istanze in base al traffico).
CloudWatch allarmi per le soglie di latenza e invocazione.
Dashboard di metriche per il monitoraggio visivo.
Verifica della configurazione
Dopo aver completato le fasi del notebook, verifica di avere:
Stato dell’endpoint:
InService.Dimensionamento automatico: 1-10 istanze configurate.
CloudWatch Allarmi: monitoraggio di 2 allarmi.
Metriche: oltre 15 metriche registrate.
Nota
All’inizio, gli allarmi possono visualizzare INSUFFICIENT_DATA. È un comportamento normale e il campo diventerà OK con l’utilizzo.
Monitoraggio dell’endpoint
Accedi al monitoraggio visivo tramite la console di AWS gestione:
Per ulteriori informazioni, consulta Monitor SageMaker AI.
Gestione dei costi e pulizia delle risorse
La configurazione di monitoraggio fornisce preziose informazioni sulla produzione, ma comporta anche AWS costi continui attraverso CloudWatch metriche, allarmi e politiche di auto-scaling. Comprendere come gestire questi costi è essenziale per operazioni economicamente convenienti. Elimina le risorse quando non sono più necessarie.
avvertimento
L’endpoint continua a comportare costi anche quando non elabora le richieste. Per arrestare tutti gli addebiti, è necessario eliminare l’endpoint. Per istruzioni, consulta Eliminazione di endpoint e risorse.
Per configurazioni di monitoraggio avanzate, consulta Metrics for AI. CloudWatch SageMaker
