Évaluation et comparaison des performances des modèles - Amazon SageMaker AI
Utilisation de jeux de données intégrésUtilisation de données personnaliséesConfiguration de votre environnement d’évaluation

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Évaluation et comparaison des performances des modèles

Évaluez vos modèles de classification de texte déployés à l’aide du cadre d’évaluation. Ce cadre prend en charge les modes d’évaluation supervisé et non supervisé via une approche basée sur des blocs-notes.

Utilisation de jeux de données intégrés

Nous recommandons d’utiliser le jeu de données d’évaluation supervisée intégrée pour ce didacticiel, car la plupart des utilisateurs ne disposent pas de données d’évaluation étiquetées disponibles. Les jeux de données intégrés fournissent une analyse complète des performances dans différents scénarios :

  • Jeux de données équilibrés : distribution de classe égale pour les performances de référence.

  • Jeux de données asymétriques : classes déséquilibrées pour les tests dans le monde réel.

  • Jeux de données complexes : scénarios limites pour tester la robustesse du modèle.

L’évaluation génère des métriques clés, notamment l’exactitude, la précision, le rappel, le score F1, le coefficient de corrélation de Matthews (MCC) et les scores d’aire sous la courbe ROC, avec des courbes visuelles pour la comparaison des modèles.

Utilisation de données personnalisées

Si vous possédez votre propre jeu de données étiqueté, vous pouvez le remplacer dans le bloc-notes. Le cadre s’adapte automatiquement au format de vos données et génère les mêmes métriques complètes.

Formats de données pris en charge :

  • Format CSV : deux colonnes : text et label

  • Formats d’étiquette : « positif »/« négatif », « LABEL_0 »/« LABEL_1 », « Vrai »/« Faux » ou « 0 »/« 1 »

  • Non supervisé : colonne text individuelle pour l’analyse de confiance

Configuration de votre environnement d’évaluation

Créez un JupyterLab espace dans SageMaker Amazon SageMaker Studio pour exécuter le carnet d'évaluation.

  1. Dans Studio, choisissez JupyterLabdepuis l'écran d'accueil.

  2. Si vous n’avez pas d’espace :

    1. Choisissez Créer un espace.

    2. Donnez-lui un nom descriptif (par exemple, TextModelEvaluation).

    3. Conservez le type d’instance par défaut.

    4. Choisissez Exécuter Space.

    5. Lorsque l'espace a été créé, choisissez Ouvrir JupyterLab.

Accès au bloc-notes d’évaluation

Téléchargez le fichier zip et extrayez-le sur votre ordinateur local. Téléchargez l'intégralité du dossier extrait dans votre JupyterLab espace pour commencer à tester vos modèles. Le package contient le bloc-notes d’évaluation principal, des exemples de jeux de données, des modules Python de prise en charge et des instructions détaillées pour le cadre d’évaluation complet.

Note

Après avoir extrait le package, consultez le fichier README pour obtenir des instructions de configuration détaillées et une vue d’ensemble du cadre.

Passez à l’Interprétation de vos résultats pour découvrir comment analyser la sortie d’évaluation et prendre des décisions de sélection de modèle basées sur les données.