Comprendre les options d'évaluation de grands modèles linguistiques avec SageMaker Clarify

Création de tâches d’évaluation automatique de modèles : les tâches d’évaluation automatique de modèles vous permettent d’évaluer rapidement la capacité d’un modèle à effectuer une tâche. Vous pouvez soit fournir votre propre jeu de données d’invite personnalisé que vous avez pensé pour un cas d’utilisation spécifique, soit utiliser un jeu de données intégré mis à disposition.

Création de tâches d’évaluation de modèle faisant appel à des employés humains dans Studio : les tâches d’évaluation des modèles qui font appel à des employés humains vous permettent d’apporter une contribution humaine au processus d’évaluation des modèles. Il peut s’agir d’employés de votre entreprise ou d’un groupe d’experts, spécialistes de votre secteur d’activité.

Création d’une tâche d’évaluation de modèles automatisée à l’aide de la bibliothèque fmeval : la création d’une tâche à l’aide de fmeval vous permet de contrôler le plus précisément possible vos tâches d’évaluation de modèles. Il prend également en charge l'utilisation de modèles LLMs externes AWS ou non JumpStart basés provenant d'autres services.

Génération ouverte : production de réponses humaines naturelles à un texte qui n’a pas de structure prédéfinie.

Synthétisation de texte : génération d’un résumé concis et condensé qui conserve le sens et les informations clés contenus dans un texte plus grand.

Réponse aux questions : génération d’une réponse pertinente et précise à une invite.

Classification : attribution d’une catégorie, telle qu’une étiquette ou un score, à un texte en fonction de son contenu.