Verwenden von Prompt-Datensätzen und verfügbaren Bewertungsdimensionen bei Aufträgen zur Modellbewertung

Faktenwissen — Evaluiert, wie gut Ihr Modell Faktenwissen kodiert. FMEval kann Ihr Modell anhand Ihres eigenen benutzerdefinierten Datensatzes messen oder einen integrierten Datensatz verwenden, der TREXauf dem Open-Source-Datensatz basiert.

Semantische Robustheit — Evaluiert, wie stark sich Ihre Modellausgabe als Ergebnis kleiner, semantisch erhaltender Änderungen in der Eingabe ändert. FMEval misst, wie sich Ihre Modellausgabe aufgrund von Tippfehlern auf der Tastatur, zufälligen Änderungen an Großbuchstaben und zufälligem Hinzufügen oder Löschen von Leerräumen ändert.

Prompte Stereotypisierung — Misst die Wahrscheinlichkeit, mit der Ihr Modell in seiner Antwort Verzerrungen kodiert. Zu diesen Vorurteilen gehören Vorurteile in Bezug auf Rasse, Geschlecht, sexuelle Orientierung, Religion, Alter, Nationalität, Behinderung, körperliches Erscheinungsbild und sozioökonomischen Status. FMEval kann Ihre Modellantworten anhand Ihres eigenen benutzerdefinierten Datensatzes messen oder einen integrierten Datensatz verwenden, der auf dem CrowS-PairsOpen-Source-Challenge-Datensatz basiert.

Toxizität — Wertet Text anhand von Modellen zur Toxizitätserkennung aus. FMEval überprüft Ihr Modell auf sexuelle Hinweise, unhöfliche, unangemessene, hasserfüllte oder aggressive Kommentare, Obszönitäten, Beleidigungen, Flirts, Angriffe auf Identitäten und Bedrohungen. FMEval kann Ihr Modell anhand Ihres eigenen benutzerdefinierten Datensatzes messen oder integrierte Datensätze verwenden, die auf den, und Datensätzen basieren. RealToxicityPromptsRealToxicityPromptsChallengingBOLD

RealToxicityPromptsChallengingist eine Teilmenge davonRealToxicityPrompts, die Grenzen eines großen Sprachmodells (LLM) zu testen. Außerdem werden Bereiche identifiziert, in LLMs denen die Gefahr besteht, dass giftiger Text generiert wird.

Sie können Ihr Modell mit den folgenden Toxizitätsdetektoren bewerten:

Genauigkeit — Ein numerischer Wert, der die Ähnlichkeit der Zusammenfassung mit einer Referenzzusammenfassung angibt, die als Goldstandard anerkannt ist. Ein hoher numerischer Wert weist darauf hin, dass die Zusammenfassung von hoher Qualität ist. Ein niedriger numerischer Wert weist auf eine schlechte Zusammenfassung hin. Die folgenden Kennzahlen werden verwendet, um die Genauigkeit einer Zusammenfassung zu bewerten:

Toxizität — Punktzahlen für generierte Zusammenfassungen, die mit einem Toxizitätsdetektormodell berechnet wurden. Weitere Informationen finden Sie im vorherigen Abschnitt zur Generierung von Aufgaben mit offenem Ende im Abschnitt Toxizität.

Semantische Robustheit — Ein Maß dafür, wie stark sich die Qualität der Textzusammenfassung Ihres Modells aufgrund kleiner, semantischer Änderungen in der Eingabe ändert. Beispiele für diese Änderungen sind Tippfehler, zufällige Änderungen an Großbuchstaben und zufälliges Hinzufügen oder Löschen von Leerräumen. Semantische Robustheit basiert auf dem absoluten Genauigkeitsunterschied zwischen einer ungestörten und einer ungestörten Textzusammenfassung. Der Genauigkeitsalgorithmus verwendet die BERTScoreMetriken, und ROUGE-NMeteor, wie zuvor in diesem Abschnitt beschrieben.

Genauigkeit — Ein Durchschnittswert, bei dem die generierte Antwort mit den in den Referenzen angegebenen Frage-Antwort-Paaren verglichen wird. Die Punktzahl wird anhand der folgenden Methoden gemittelt:

Semantische Robustheit — Ein Maß dafür, wie stark sich die Qualität der Textzusammenfassung Ihres Modells aufgrund kleiner, semantischer Änderungen in der Eingabe ändert. Zu diesen Änderungen gehören beispielsweise Tippfehler auf der Tastatur, die ungenaue Umwandlung von Zahlen in Wörter, zufällige Änderungen an Großbuchstaben und zufälliges Hinzufügen oder Löschen von Leerräumen. Semantische Robustheit basiert auf dem absoluten Genauigkeitsunterschied zwischen einer ungestörten und einer ungestörten Textzusammenfassung. Die Genauigkeit wird, wie bereits beschrieben, anhand von Exact-Match, Quasi-Exact Match und F1 im Vergleich zu Wörtern gemessen.

Toxizität — Die Ergebnisse bewerten die generierten Antworten mithilfe eines Toxizitätsdetektormodells. Weitere Informationen finden Sie im vorherigen Abschnitt zur Generierung von Aufgaben mit offenem Ende im Abschnitt Toxizität.

Genauigkeit – eine Punktzahl, die die vorhergesagte Klasse mit ihrer Bezeichnung vergleicht. Die Genauigkeit wird anhand der folgenden Metriken gemessen:

Semantische Robustheit — Evaluiert, wie stark sich Ihre Modellausgabe als Ergebnis kleiner, semantisch erhaltender Änderungen in der Eingabe ändert. FMEval misst Ihre Modellausgabe als Ergebnis von Tippfehlern auf der Tastatur, zufälligen Änderungen der Großschreibung und zufälligen Hinzufügungen oder Löschungen von Leerräumen. Semantische Robustheit bewertet den absoluten Unterschied in der Genauigkeit zwischen einer ungestörten und einer gestörten Textzusammenfassung.

(Vergleichs-) Likert-Skala — Vergleich — Ein menschlicher Bewerter gibt gemäß Ihren Anweisungen auf einer 5-Punkte-Likert-Skala an, welche der beiden Antworten sie bevorzugen. Im Abschlussbericht werden die Ergebnisse als Histogramm der Bewertungen nach Präferenzstärke über Ihren gesamten Datensatz dargestellt. Definieren Sie in Ihren Anweisungen die wichtigen Punkte der 5-Punkte-Skala, damit Ihre Bewerter wissen, wie sie die Antworten erwartungsgemäß bewerten können.

(Vergleichende) Auswahlschaltflächen — Ermöglicht es einem menschlichen Prüfer, anhand von Optionsfeldern gemäß Ihren Anweisungen eine bevorzugte Antwort einer anderen Antwort vorzuziehen. Die Ergebnisse im Abschlussbericht werden als Prozentsatz der Antworten ausgewiesen, die die Mitarbeiter für jedes Modell bevorzugt haben. Erläutern Sie Ihre Auswertungsmethode in der Anleitung klar.

(Vergleichend) Ordinale Reihenfolge – ermöglicht es einem menschlichen Bewerter, seine bevorzugten Antworten auf einen Prompt in der Reihenfolge von 1 beginnend und gemäß Ihren Anweisungen zu ordnen. Im Abschlussbericht werden die Ergebnisse als Histogramm der Bewertungen der Gutachter über den gesamten Datensatz dargestellt. Definieren Sie in Ihren Anweisungen unbedingt, was ein Rang von 1 bedeutet.

(Individuell) Daumen hoch/runter – ermöglicht es einem menschlichen Bewerter, jede Antwort eines Modells gemäß Ihren Anweisungen als akzeptabel oder inakzeptabel zu bewerten. Im Abschlussbericht zeigen die Ergebnisse den Prozentsatz der Gesamtzahl der Bewertungen durch die Bewerter, die für jedes Modell eine positive Bewertung abgegeben haben. Sie können diese Bewertungsmethode für die Auswertung eines oder mehrerer Modelle verwenden. Wenn Sie diese Methode für eine Auswertung mit zwei Modellen verwenden, bietet die Benutzeroberfläche Ihrem Arbeitsteam für jede Modellantwort eine „Daumen hoch“ oder „Daumen runter“. Im Abschlussbericht werden die aggregierten Ergebnisse für jedes Modell einzeln angezeigt. Definieren Sie in Ihren Anweisungen an Ihr Arbeitsteam, was eine akzeptable Antwort ist.

(Individuell) Likert-Skala – individuell – ermöglicht es einem menschlichen Bewerter, anhand Ihrer Anweisungen auf einer 5-Punkte-Likert-Skala anzugeben, wie sehr er die Modellantwort befürwortet. Im Abschlussbericht werden die Ergebnisse in Form eines Histogramms dargestellt, das die 5-Punkte-Bewertungen der Gutachter für Ihren gesamten Datensatz zeigt. Sie können diese Bewertungsmethode für die Auswertung mit einem oder mehreren Modellen verwenden. Wenn Sie diese Bewertungsmethode in einer Bewertung auswählen, die mehr als ein Modell enthält, wird Ihrem Arbeitsteam für jede Modellantwort eine 5-Punkte-Likert-Skala angezeigt. Im Abschlussbericht werden die aggregierten Ergebnisse für jedes Modell einzeln angezeigt. Definieren Sie in Ihren Anweisungen die wichtigen Punkte der 5-Punkte-Skala, damit Ihre Bewerter wissen, wie sie die Antworten erwartungsgemäß bewerten können.