Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Dettagli dell'agente - Valutazioni

Evaluations fornisce metriche di monitoraggio continuo della qualità per gli agenti di intelligenza artificiale. Puoi utilizzare le informazioni fornite dalla dashboard per valutare le prestazioni, la qualità e l'affidabilità dei tuoi agenti di intelligenza artificiale.

Invece di basarsi su casi di test simulati, le valutazioni acquisiscono sessioni utente e interazioni tra agenti reali, fornendo una visione completa delle prestazioni degli agenti, dall'input all'output finale. Con le valutazioni degli agenti, puoi definire regole di campionamento per valutare solo una percentuale delle sessioni o delle tracce e quindi applicare una serie di valutatori per valutare e valutare le prestazioni operative di un agente AI. Le valutazioni e i punteggi risultanti vengono visualizzati nella dashboard delle valutazioni, che consente di monitorare le tendenze, identificare potenziali problemi di qualità, impostare allarmi e indagare e diagnosticare potenziali problemi.

Il pannello di controllo delle valutazioni elenca tutte le valutazioni che sono state abilitate e configurate per l'agente selezionato. Per ulteriori informazioni sulla configurazione delle valutazioni per un agente, vedere AgentCore valutazioni. È possibile espandere ogni valutazione per visualizzare le sessioni, le tracce e gli intervalli che sono stati valutati.

Dettagli delle valutazioni

Per ogni valutazione, la dashboard include le seguenti sezioni:

Evaluation configuration metrics

Fornisce metriche per la configurazione complessiva della valutazione. Un valutatore definisce come valutare un aspetto specifico delle prestazioni di un agente di intelligenza artificiale. Per visualizzare maggiori dettagli su un valutatore, scegli il suo nome nella colonna Evaluator. Per visualizzare un grafico a barre e analizzare le tendenze per un valutatore, scegliete il valore nella colonna Conteggio.

Session evaluations

Fornisce risultati di valutazione per i valutatori a livello di sessione. Una sessione rappresenta un raggruppamento logico di interazioni correlate da un singolo utente o flusso di lavoro. Una sessione può contenere una o più tracce. Puoi scegliere una sessione da filtrare fino all'elenco delle tracce all'interno di quella sessione nella sezione Trace evaluations.

Trace evaluations

Fornisce risultati di valutazione per i valutatori a livello di traccia. Una traccia è un record completo dell'esecuzione o della richiesta di un singolo agente. Una traccia può contenere uno o più intervalli. Scegliete una traccia per visualizzare i dettagli della traccia insieme a tutti i valutatori che sono stati eseguiti su quella traccia.

Span evaluations

Fornisce risultati di valutazione per i valutatori a livello di span. Uno span rappresenta le singole operazioni eseguite durante l'esecuzione. Scegliete un intervallo per visualizzare i dettagli dell'intervallo insieme a tutte le operazioni eseguite durante quell'intervallo.

Grafici di valutazione

Il pannello di controllo delle valutazioni include anche un grafico a barre per ogni valutatore. I grafici mostrano le tendenze di ogni valutatore nel tempo e consentono di impostare allarmi per valori metrici specifici. Per impostare un allarme, fai clic su una barra nel grafico, quindi scegli l'icona Allarme (campana). Per ulteriori informazioni, consulta Utilizzo degli CloudWatch allarmi Amazon.

Lavora con i risultati della valutazione

Se hai bisogno di accedere direttamente ai dati dei risultati della valutazione o se desideri creare visualizzazioni personalizzate o lavorare al di fuori della console AgentCore Evaluations, puoi accedere ai risultati della valutazione direttamente tramite CloudWatch log, CloudWatch metriche e dashboard. CloudWatch

Accesso ai risultati della valutazione nei registri CloudWatch

I risultati della valutazione vengono pubblicati automaticamente in CloudWatch Logs in Embedded Metric Format (EMF).

Per ulteriori informazioni sull'utilizzo dei gruppi di log e sull'interrogazione dei dati di registro, vedere Utilizzo dei gruppi di log e dei flussi di log e Analisi dei dati di registro con CloudWatch Logs Insights.

Accesso alle metriche di valutazione in Metrics CloudWatch

Le metriche dei risultati della valutazione vengono estratte automaticamente dai log dell'Embedded Metric Format (EMF) e pubblicate su Metrics. CloudWatch

Per ulteriori informazioni sulla visualizzazione e l'utilizzo delle metriche, consulta Utilizzo delle metriche e rappresentazione grafica CloudWatch delle metriche.

Creazione di dashboard personalizzate

Puoi creare dashboard personalizzate per visualizzare le tue metriche di valutazione insieme ad altre metriche operative.

Per istruzioni dettagliate, consulta Creazione e utilizzo dei dashboard personalizzati e Utilizzo dei dashboard. CloudWatch

Impostazione degli allarmi sulle metriche di valutazione

Puoi impostare allarmi per avvisarti quando le metriche di valutazione superano le soglie specificate da te, ad esempio quando la correttezza scende al di sotto dei livelli accettabili.

Per istruzioni dettagliate, consulta Uso degli CloudWatch allarmi e Creazione di un CloudWatch allarme basato su una soglia statica.

Risorse aggiuntive