Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Valutazione
Dopo la formazione, la valutazione conferma che il modello personalizzato migliora le metriche importanti per il tuo caso d'uso, aiutandoti a rilevare le regressioni prima dell'implementazione e a confrontare le tecniche in modo obiettivo. La valutazione è disponibile tramite i percorsi Serverless e Recipes. Opzioni di infrastruttura
Valutazione senza server
Invia lavori di valutazione tramite la stessa infrastruttura Serverless utilizzata per la formazione. Disponibile tramite l'interfaccia utente di Studio (Lavori → Valutazione del modello) o Python SDK.
Per istruzioni dettagliate, consulta i flussi di lavoro di valutazione in. Personalizzazione del modello serverless
SageMaker Lavori di formazione sull'intelligenza artificiale e valutazione HyperPod
Esegui la valutazione utilizzando Recipes con i seguenti tipi di valutazione:
- Valutazione deterministica
Confronta il tuo modello su attività standard tra cui MMLU, MMLU Pro, BBH, GPQA, MATH e iFEval. Supporta strategie zero-shot, few-shot e chain-of-thought.
- LLM-as-Judge valutazione
Utilizza un altro LLM per valutare i risultati del tuo modello in base a criteri soggettivi quali correttezza, completezza, fedeltà e utilità.
- Valutazione dei set di dati personalizzati
Valuta sul tuo set di dati utilizzando metriche personalizzate o funzioni di ricompensa preimpostate (,).
prime_mathprime_code
Per le ricette di valutazione e la configurazione, consulta la documentazione di SageMaker AI Recipes.
