Bewerten und vergleichen Sie die Leistung des Modells - Amazon SageMaker KI
Verwenden integrierter DatensätzeVerwenden benutzerdefinierter DatenEinrichten der Evaluierungsumgebung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bewerten und vergleichen Sie die Leistung des Modells

Evaluieren Sie Ihre eingesetzten Textklassifizierungsmodelle mithilfe des Evaluierungsrahmens. Das Framework unterstützt sowohl überwachte als auch unbeaufsichtigte Bewertungsmodi mithilfe eines Notebook-basierten Ansatzes.

Verwenden integrierter Datensätze

Wir empfehlen, für dieses Tutorial den integrierten Datensatz für überwachte Evaluierung zu verwenden, da die meisten Benutzer nicht sofort über beschriftete Bewertungsdaten verfügen. Die integrierten Datensätze ermöglichen eine umfassende Leistungsanalyse für verschiedene Szenarien:

  • Ausgewogene Datensätze: Gleiche Klassenverteilung bei der Ausgangsleistung.

  • Verzerrte Datensätze: Unausgewogene Klassen für Tests unter realen Bedingungen.

  • Herausfordernde Datensätze: Randfälle für die Robustheit von Stresstest-Modellen.

Bei der Auswertung werden wichtige Kennzahlen wie Genauigkeit, Präzision, Erinnerungsvermögen, F1-Score, Matthews-Korrelationskoeffizient (MCC) und die Betriebseigenschaften des Empfängers für die Fläche unter der Kurve mit visuellen Kurven für den Modellvergleich generiert.

Verwenden benutzerdefinierter Daten

Wenn Sie einen eigenen beschrifteten Datensatz haben, können Sie ihn im Notebook ersetzen. Das Framework passt sich automatisch an Ihr Datenformat an und generiert dieselben umfassenden Metriken.

Unterstützte Datumsformate:

  • CSV-Format: Zwei Spalten: text und label

  • Etikettenformate: „positiv“ /"negativ“, „LABEL_0"/"LABEL_1", „True“ /"False“ oder „0"/"1"

  • textUnbeaufsichtigt: Eine Spalte für die Konfidenzanalyse

Einrichten der Evaluierungsumgebung

Erstellen Sie in SageMaker Amazon SageMaker Studio einen JupyterLab Bereich, in dem Sie das Test-Notizbuch ausführen können.

  1. Wählen Sie in Studio auf dem Startbildschirm JupyterLabaus.

  2. Wenn Sie noch kein Leerzeichen haben:

    1. Wählen Sie Bereich erstellen aus.

    2. Geben Sie einen aussagekräftigen Namen ein (z. B. TextModelEvaluation)

    3. Behalten Sie den standardmäßigen Instance-Typ bei.

    4. Wählen Sie Bereich ausführen aus.

    5. Wenn der Bereich erstellt wurde, wählen Sie Öffnen JupyterLab.

Rufen Sie das Evaluierungs-Notebook auf

Laden Sie die ZIP-Datei herunter und extrahieren Sie auf Ihrem lokalen Computer. Laden Sie den gesamten entpackten Ordner in Ihren JupyterLab Bereich hoch, um mit dem Testen Ihrer Modelle zu beginnen. Das Paket enthält das Haupt-Evaluierungs-Notebook, Beispieldatensätze, unterstützende Python-Module und detaillierte Anweisungen für das komplette Evaluierungs-Framework.

Anmerkung

Nach dem Extrahieren des Pakets finden Sie in der README-Datei detaillierte Anweisungen zur Einrichtung und eine Übersicht über das Framework.

Erfahren Sie Interpretieren Ihrer Ergebnisse weiter, wie Sie die Ergebnisse der Evaluierung analysieren und datengestützte Entscheidungen zur Modellauswahl treffen können.