Utilizzo dei set di dati dei prompt e delle dimensioni di valutazione disponibili nei processi di valutazione del modello

Conoscenza fattuale: valuta quanto bene il modello codifica la conoscenza fattuale. FMEval può misurare il modello rispetto al proprio set di dati personalizzato o utilizzare un set di dati integrato basato sul set di dati open source. TREX

Robustezza semantica: valuta quanto cambia l'output del modello a seguito di piccole modifiche nell'input che preservano la semantica. FMEval misura come cambia l'output del modello a seguito di errori di battitura da tastiera, modifiche casuali alle lettere maiuscole e aggiunte o eliminazioni casuali di spazi bianchi.

Stereotipizzazione dei prompt: misura la probabilità che il modello includa bias nella risposta. Questi pregiudizi includono quelli relativi a razza, genere, orientamento sessuale, religione, età, nazionalità, disabilità, aspetto fisico e status socioeconomico. FMEval può misurare le risposte del modello rispetto al proprio set di dati personalizzato o utilizzare un set di dati integrato basato sul set di dati open source Challenge. CrowS-Pairs

Tossicità: valuta il testo utilizzando modelli di rilevamento della tossicità. FMEval verifica la presenza di riferimenti sessuali, commenti maleducati, irragionevoli, odiosi o aggressivi, parolacce, insulti, flirt, attacchi all'identità e minacce. FMEval può misurare il modello rispetto al proprio set di dati personalizzato o utilizzare set di dati integrati basati su, e set di dati. RealToxicityPromptsRealToxicityPromptsChallengingBOLD

RealToxicityPromptsChallenging è un sottoinsieme di RealToxicityPrompts, utilizzato per testare i limiti di un modello linguistico di grandi dimensioni (LLM). Identifica inoltre le aree vulnerabili alla generazione di LLMs testo tossico.

Puoi valutare il modello con i seguenti rilevatori di tossicità:

Accuratezza: un punteggio numerico che indica la somiglianza della sintesi con una sintesi di riferimento accettata come standard di riferimento. Un punteggio numerico elevato indica che la sintesi è di alta qualità. Un punteggio numerico basso indica una sintesi scadente. Le metriche seguenti vengono utilizzate per valutare l’accuratezza di una sintesi:

Tossicità: punteggi per le sintesi generate calcolate utilizzando un modello di rilevatore di tossicità. Per ulteriori informazioni, consulta la sezione Tossicità nella precedente attività Generazione aperta.

Robustezza semantica: misura quanto cambia la qualità della sintesi del testo del modello dopo aver apportato modifiche minori nell’input che preservano la semantica. Esempi di queste modifiche includono errori di battitura, modifiche casuali in lettere maiuscole e aggiunte o eliminazioni casuali di spazi vuoti. La robustezza semantica utilizza la differenza assoluta di accuratezza tra una sintesi del testo imperturbata e una perturbata. L’algoritmo di accuratezza utilizza le metriche ROUGE-N, Meteor e BERTScore, come descritto in precedenza in questa sezione.

Accuratezza: un punteggio medio che confronta la risposta generata con le coppie di domande e risposte fornite nei riferimenti. La media del punteggio viene calcolata in base ai seguenti metodi:

Robustezza semantica: misura quanto cambia la qualità della sintesi del testo del modello dopo aver apportato modifiche minori nell’input che preservano la semantica. Esempi di queste modifiche includono errori di battitura da tastiera, conversione imprecisa di numeri in parole, modifiche casuali in lettere maiuscole e aggiunte o eliminazioni casuali di spazi vuoti. La robustezza semantica utilizza la differenza assoluta di accuratezza tra una sintesi del testo imperturbata e una perturbata. L’accuratezza viene misurata utilizzando la corrispondenza esatta, la corrispondenza quasi esatta e F1 sulle parole, come descritto in precedenza.

Tossicità: i punteggi valutano le risposte generate utilizzando un modello di rilevatore di tossicità. Per ulteriori informazioni, consulta la sezione Tossicità nella precedente attività Generazione aperta.

Accuratezza: un punteggio che confronta la classe prevista con la relativa etichetta. L’accuratezza viene misurata utilizzando le seguenti metriche:

Robustezza semantica: valuta quanto cambia l'output del modello a seguito di piccole modifiche nell'input che preservano la semantica. FMEval misura l'output del modello come risultato di errori di battitura da tastiera, modifiche casuali alle lettere maiuscole e aggiunte o eliminazioni casuali di spazi bianchi. La robustezza semantica misura la differenza assoluta di accuratezza tra una sintesi del testo imperturbata e una perturbata.

(Comparativo) Scala Likert - Confronto: un valutatore umano indicherà la propria preferenza tra due risposte su una scala Likert a cinque punti in base alle tue istruzioni. Nel report finale, i risultati verranno visualizzati sotto forma di istogramma delle valutazioni in base all’intensità delle preferenze sull’intero set di dati. Definisci i punti importanti della scala a cinque punti nelle istruzioni, in modo che i valutatori sappiano come valutare le risposte in base alle tue aspettative.

(Comparativo) Pulsanti di scelta: consentono a un valutatore umano di indicare una risposta preferita rispetto a un’altra utilizzando i pulsanti di opzione, secondo le tue istruzioni. I risultati del report finale verranno visualizzati come percentuale delle risposte preferite dai lavoratori per ciascun modello. Spiega chiaramente il tuo metodo di valutazione nelle istruzioni.

(Comparativo) Classificazione ordinale: consente a un valutatore umano di classificare, secondo le tue istruzioni, le risposte preferite a un prompt in ordine di preferenza a partire da 1. Nel report finale, i risultati vengono visualizzati sotto forma di istogramma delle classificazioni fornite dai valutatori sull’intero set di dati. Assicurati di definire cosa significa una classificazione pari a 1 nelle tue istruzioni.

(Individuale) Pollice su/giù: consente a un valutatore umano di valutare ogni risposta di un modello come accettabile/inaccettabile in base alle tue istruzioni. Nel report finale, i risultati mostrano una percentuale del numero totale di valutazioni con il pollice su condotte dai valutatori per ciascun modello. Puoi utilizzare questo metodo di valutazione per valutare uno o più modelli. Se lo utilizzi in una valutazione che contiene due modelli, l’interfaccia utente offre al team di lavoro l’opzione pollice su o giù per ciascuna risposta del modello. Il report finale mostrerà i risultati aggregati per ogni singolo modello. Definisci nelle istruzioni quali sono le risposte accettabili per il team di lavoro.

(Individuale) Scala Likert - Individuale: consente a un valutatore umano di indicare in che misura approva la risposta del modello, in base alle tue istruzioni, utilizzando una scala Likert a cinque punti. Nel report finale, i risultati mostrano un istogramma delle valutazioni a cinque punti espresse dai valutatori sull’intero set di dati. Puoi utilizzare questo metodo per valutazioni con uno o più modelli. Se selezioni questo metodo per una valutazione che contiene più di un modello, al team di lavoro verrà presentata una scala Likert a cinque punti per ogni risposta del modello. Il report finale mostrerà i risultati aggregati per ogni singolo modello. Definisci i punti importanti della scala a cinque punti nelle istruzioni, in modo che i valutatori sappiano come valutare le risposte in base alle tue aspettative.