Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Évaluation
Après la formation, l'évaluation confirme que votre modèle personnalisé améliore les indicateurs importants pour votre cas d'utilisation, ce qui vous permet de détecter les régressions avant le déploiement et de comparer les techniques de manière objective. L'évaluation est disponible via les chemins Serverless et Recipes.
Évaluation sans serveur
Soumettez des tâches d'évaluation via la même infrastructure sans serveur que celle utilisée pour la formation. Disponible via l'interface utilisateur de Studio (Jobs → Évaluation du modèle) ou via le Python SDK.
Pour obtenir des instructions détaillées, consultez les flux de travail d'évaluation dansPersonnalisation des modèles sans serveur.
SageMaker Emplois de formation en IA et HyperPod évaluation
Exécutez l'évaluation à l'aide de recettes avec les types d'évaluation suivants :
- Évaluation déterministe
Comparez votre modèle sur des tâches standard, notamment MMLU, MMLU Pro, BBH, GPQA , MATH et IFeval. Prend en charge les stratégies « zéro », « quelques » et « chaîne de pensée ».
- LLM-as-Judge évaluation
Utilisez un autre LLM pour évaluer les résultats de votre modèle en fonction de critères subjectifs tels que l'exactitude, l'exhaustivité, la fidélité et l'utilité.
- Évaluation de jeu de données personnalisé
Évaluez sur votre propre ensemble de données à l'aide de mesures personnalisées ou de fonctions de récompense prédéfinies (
prime_math,prime_code).
Pour les recettes d'évaluation et la configuration, consultez la documentation SageMaker AI Recipes.
