Analyse des résultats d’une tâche d’évaluation humaine - Amazon SageMaker AI
Référence de la sortie JSONExemple de sortie d’une tâche d’évaluation de modèles

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Analyse des résultats d’une tâche d’évaluation humaine

Lorsque vous avez créé une tâche d’évaluation de modèles faisant appel à des employés humains, vous avez sélectionné un ou plusieurs types de métriques. Lorsque les membres de l’équipe de travail évaluent une réponse dans le portail des employés, leurs réponses sont enregistrées dans l’objet JSON humanAnswers. La façon dont ces réponses sont stockées change en fonction du type de métrique sélectionné lors de la création de la tâche.

Les sections suivantes expliquent ces différences et fournissent des exemples.

Référence de la sortie JSON

Lorsqu’une tâche d’évaluation de modèles est terminée, les résultats sont enregistrés dans Amazon S3 sous la forme d’un fichier JSON. L’objet JSON contient trois nœuds de haut niveau humanEvaluationResult, inputRecord et modelResponses. La clé humanEvaluationResult est un nœud de haut niveau qui contient les réponses de l’équipe de travail affectée à la tâche d’évaluation de modèles. La clé inputRecord est un nœud de haut niveau qui contient les invites fournies au(x) modèle(s) lors de la création de la tâche d’évaluation de modèles. La clé modelResponses est un nœud de haut niveau qui contient les réponses aux invites du ou des modèles.

Le tableau suivant récapitule les paires clé-valeur trouvées dans la sortie JSON de la tâche d’évaluation de modèles.

Les sections suivantes fournissent des détails plus précis sur chaque paire clé-valeur.

Paramètre Exemple Description

flowDefinitionArn

 arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name

L’ARN du flux de travail de vérification humaine (définition du flux) qu a créé la boucle humaine.
humanAnswers

Une liste d’objets JSON spécifiques aux métriques d’évaluation sélectionnées. Pour en savoir plus, consultez Paires clé-valeur trouvées sous humanAnswers.

Une Liste d’objets JSON qui contiennent les réponses des employés.

humanLoopName

 system-generated-hash Chaîne hexadécimale de 40 caractères générée par le système.
inputRecord 
"inputRecord": {
    "prompt": {
        "text": "Who invented the airplane?"
    },
    "category": "Airplanes",
    "referenceResponse": {
        "text": "Orville and Wilbur Wright"
    },
    "responses":

        [{
            "modelIdentifier": "meta-textgeneration-llama-codellama-7b",
            "text": "The Wright brothers, Orville and Wilbur Wright are widely credited with inventing and manufacturing the world's first successful airplane."
        }]
}
 Objet JSON contenant une requête en entrée issue du jeu de données d’entrée.
modelResponses 
"modelResponses": [{
    "modelIdentifier": "arn:aws:bedrock:us-west-2::foundation-model/model-id",
    "text": "the-models-response-to-the-prompt"
}]
 Réponses individuelles des modèles.
inputContent 
{
    "additionalDataS3Uri":"s3://user-specified-S3-URI-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
    "evaluationMetrics":[
        {
		  "description":"brief-name",
		  "metricName":"metric-name",
		  "metricType":"IndividualLikertScale"
	  }
    ],
    "instructions":"example instructions"
}

Le contenu d’entrée de boucle humaine requis pour démarrer la boucle humaine dans votre compartiment Amazon S3.
modelResponseIdMap 
{
   "0": "sm-margaret-meta-textgeneration-llama-2-7b-1711485008-0612",
   "1": "jumpstart-dft-hf-llm-mistral-7b-ins-20240327-043352"
}

Décrit comment chaque modèle est représenté dans answerContent.

Paires clé-valeur trouvées sous humanEvaluationResult

Les paires clé-valeur suivantes se trouvent sous humanEvaluationResult dans la sortie de votre tâche d’évaluation de modèles.

Pour les paires clé-valeur associées à humanAnswers, consultez Paires clé-valeur trouvées sous humanAnswers.

flowDefinitionArn

  • L’ARN de la définition de flux utilisée pour terminer la tâche d’évaluation de modèles.

  • Exemple :arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name

humanLoopName

  • Chaîne hexadécimale de 40 caractères générée par le système.

inputContent

  • Cette valeur clé décrit les types de métriques et les instructions que vous avez fournies aux employés dans le portail des employés.

    • additionalDataS3Uri : emplacement dans Amazon S3 où les instructions destinées aux employés sont enregistrées.

    • instructions : instructions que vous avez fournies aux employés dans le portail des employés.

    • evaluationMetrics : nom de la métrique et sa description. La valeur clé metricType est l’outil fourni aux employés pour évaluer les réponses des modèles.

modelResponseIdMap

  • Cette paire clé-valeur identifie les noms complets des modèles sélectionnés et indique comment les choix des employés sont mappés aux modèles dans les paires clé-valeur humanAnswers.

Paires clé-valeur trouvées sous inputRecord

Les entrées suivantes décrivent les paires clé-valeur inputRecord.

prompt

  • Texte de l’invite envoyée au modèle.

category

  • Catégorie facultative qui classe l’invite. Visible pour les employés dans le portail des employés au cours de l’évaluation de modèles.

  • Exemple :"American cities"

referenceResponse

  • Champ facultatif du code JSON d’entrée utilisé pour spécifier la vérité factuelle à laquelle vous souhaitez que les employés fassent référence au cours de l’évaluation.

responses

  • Champ facultatif du code JSON d’entrée qui contient les réponses d’autres modèles.

Exemple d’enregistrement d’entrée JSON.

{
  "prompt": {
     "text": "Who invented the airplane?"
  },
  "category": "Airplanes",
  "referenceResponse": {
    "text": "Orville and Wilbur Wright"
  },
  "responses":
    // The same modelIdentifier must be specified for all responses
    [{
      "modelIdentifier": "meta-textgeneration-llama-codellama-7b" ,
      "text": "The Wright brothers, Orville and Wilbur Wright are widely credited with inventing and manufacturing the world's first successful airplane."
    }]
}

Paires clé-valeur trouvées sous modelResponses

Tableau de paires clé-valeur qui contient les réponses des modèles et quel modèle a fourni les différentes réponses.

text

  • Réponse du modèle à l’invite.

modelIdentifier

  • Nom du modèle.

Paires clé-valeur trouvées sous humanAnswers

Tableau de paires clé-valeur qui contient les réponses des modèles, et manière dont les employés ont évalué les modèles.

acceptanceTime

  • Lorsque l’employé a accepté la tâche dans le portail des employés.

submissionTime

  • Quand l’employé a soumis sa réponse.

timeSpentInSeconds

  • Temps que l’employé a passé à exécuter la tâche.

workerId

  • ID de l’employé qui a effectué la tâche.

workerMetadata

  • Métadonnées indiquant quelle équipe de travail a été affectée à cette tâche d’évaluation de modèles.

Format du tableau JSON answerContent

La structure de la réponse dépend des métriques d’évaluation sélectionnées lors de la création de la tâche d’évaluation de modèles. Chaque réponse ou réponse d’employé est enregistrée dans un nouvel objet JSON.

answerContent

  • evaluationResults contient les réponses de l’employé.

    • Quand l’option Boutons de sélection est sélectionnée, les résultats de chaque employé se présentent sous la forme "evaluationResults": "comparisonChoice".

      metricName : nom de la métrique

      result : l’objet JSON indique quel modèle l’employé a sélectionné avec un 0 ou un 1. Pour voir à quelle valeur un modèle est mappé, consultez modelResponseIdMap.

    • Lorsque l’option Échelle de Likert, comparaison est sélectionnée, les résultats de chaque employé se présentent sous la forme "evaluationResults": "comparisonLikertScale".

      metricName : nom de la métrique.

      leftModelResponseId : indique quel élément modelResponseIdMap était affiché sur le côté gauche du portail des employés.

      rightModelResponseId : indique quel élément modelResponseIdMap était affiché sur le côté gauche du portail des employés.

      result : l’objet JSON indique quel modèle l’employé a sélectionné avec un 0 ou un 1. Pour voir à quelle valeur un modèle est mappé, consultez modelResponseIdMap.

    • Quand l’option Rang ordinal est sélectionnée, les résultats de chaque employé se présentent sous la forme "evaluationResults": "comparisonRank".

      metricName : nom de la métrique

      result : tableau d’objets JSON. Pour chaque modèle (modelResponseIdMap), les employés fournissent un rank.

      "result": [{
	"modelResponseId": "0",
	"rank": 1
}, {
	"modelResponseId": "1",
	"rank": 1
}]

    • Lorsque l’option Échelle de Likert, évaluation d’une seule réponse de modèle est sélectionnée, les résultats d’un employé sont enregistrés dans "evaluationResults": "individualLikertScale". Il s’agit d’un tableau JSON contenant les scores pour metricName, spécifié lors de la création de la tâche.

      metricName : nom de la métrique.

      modelResponseId : modèle auquel est affecté un score. Pour voir à quelle valeur un modèle est mappé, consultez modelResponseIdMap.

      result : paire clé-valeur indiquant la valeur de l’échelle de Likert sélectionnée par l’employé.

    • Quand l’option Pouce vers le haut/vers le bas est sélectionnée, les résultats d’un employé sont enregistrés sous la forme d’un tableau JSON "evaluationResults": "thumbsUpDown".

      metricName : nom de la métrique.

      result : true ou false, en ce qui concerne metricName. Lorsqu’un employé choisit le pouce vers le haut, "result" : true.

Exemple de sortie d’une tâche d’évaluation de modèles

L’objet JSON suivant est un exemple de sortie de tâche d’évaluation de modèles, enregistré dans Amazon S3. Pour en savoir plus sur chaque paire clé-valeur, consultez la Référence de la sortie JSON.

Pour plus de clarté, cette tâche ne contient que les réponses de deux employés. Certaines paires clé-valeur peuvent également avoir été tronquées pour des raisons de lisibilité.

{
	"humanEvaluationResult": {
		"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
        "humanAnswers": [
            {
                "acceptanceTime": "2024-06-07T22:31:57.066Z",
                "answerContent": {
                    "evaluationResults": {
                        "comparisonChoice": [
                            {
                                "metricName": "Fluency",
                                "result": {
                                    "modelResponseId": "0"
                                }
                            }
                        ],
                        "comparisonLikertScale": [
                            {
                                "leftModelResponseId": "0",
                                "metricName": "Coherence",
                                "result": 1,
                                "rightModelResponseId": "1"
                            }
                        ],
                        "comparisonRank": [
                            {
                                "metricName": "Toxicity",
                                "result": [
                                    {
                                        "modelResponseId": "0",
                                        "rank": 1
                                    },
                                    {
                                        "modelResponseId": "1",
                                        "rank": 1
                                    }
                                ]
                            }
                        ],
                        "individualLikertScale": [
                            {
                                "metricName": "Correctness",
                                "modelResponseId": "0",
                                "result": 2
                            },
                            {
                                "metricName": "Correctness",
                                "modelResponseId": "1",
                                "result": 3
                            },
                            {
                                "metricName": "Completeness",
                                "modelResponseId": "0",
                                "result": 1
                            },
                            {
                                "metricName": "Completeness",
                                "modelResponseId": "1",
                                "result": 4
                            }
                        ],
                        "thumbsUpDown": [
                            {
                                "metricName": "Accuracy",
                                "modelResponseId": "0",
                                "result": true
                            },
                            {
                                "metricName": "Accuracy",
                                "modelResponseId": "1",
                                "result": true
                            }
                        ]
                    }
                },
                "submissionTime": "2024-06-07T22:32:19.640Z",
                "timeSpentInSeconds": 22.574,
                "workerId": "ead1ba56c1278175",
                "workerMetadata": {
                    "identityData": {
                        "identityProviderType": "Cognito",
                        "issuer": "https://cognito-idp.us-west-2.amazonaws.com/us-west-2_WxGLvNMy4",
                        "sub": "cd2848f5-6105-4f72-b44e-68f9cb79ba07"
                    }
                }
            },
            {
                "acceptanceTime": "2024-06-07T22:32:19.721Z",
                "answerContent": {
                    "evaluationResults": {
                        "comparisonChoice": [
                            {
                                "metricName": "Fluency",
                                "result": {
                                    "modelResponseId": "1"
                                }
                            }
                        ],
                        "comparisonLikertScale": [
                            {
                                "leftModelResponseId": "0",
                                "metricName": "Coherence",
                                "result": 1,
                                "rightModelResponseId": "1"
                            }
                        ],
                        "comparisonRank": [
                            {
                                "metricName": "Toxicity",
                                "result": [
                                    {
                                        "modelResponseId": "0",
                                        "rank": 2
                                    },
                                    {
                                        "modelResponseId": "1",
                                        "rank": 1
                                    }
                                ]
                            }
                        ],
                        "individualLikertScale": [
                            {
                                "metricName": "Correctness",
                                "modelResponseId": "0",
                                "result": 3
                            },
                            {
                                "metricName": "Correctness",
                                "modelResponseId": "1",
                                "result": 4
                            },
                            {
                                "metricName": "Completeness",
                                "modelResponseId": "0",
                                "result": 1
                            },
                            {
                                "metricName": "Completeness",
                                "modelResponseId": "1",
                                "result": 5
                            }
                        ],
                        "thumbsUpDown": [
                            {
                                "metricName": "Accuracy",
                                "modelResponseId": "0",
                                "result": true
                            },
                            {
                                "metricName": "Accuracy",
                                "modelResponseId": "1",
                                "result": false
                            }
                        ]
                    }
                },
                "submissionTime": "2024-06-07T22:32:57.918Z",
                "timeSpentInSeconds": 38.197,
                "workerId": "bad258db224c3db6",
                "workerMetadata": {
                    "identityData": {
                        "identityProviderType": "Cognito",
                        "issuer": "https://cognito-idp.us-west-2.amazonaws.com/us-west-2_WxGLvNMy4",
                        "sub": "84d5194a-3eed-4ecc-926d-4b9e1b724094"
                    }
                }
            }
        ],
        "humanLoopName": "a757 11d3e75a 8d41f35b9873d 253f5b7bce0256e",
        "inputContent": {
            "additionalDataS3Uri": "s3://mgrt-test-us-west-2/test-2-workers-2-model/datasets/custom_dataset/0/task-input-additional-data.json",
            "instructions": "worker instructions provided by the model evaluation job administrator",
            "evaluationMetrics": [
                {
                    "metricName": "Fluency",
                    "metricType": "ComparisonChoice",
                    "description": "Measures the linguistic quality of a generated text."
                },
                {
                    "metricName": "Coherence",
                    "metricType": "ComparisonLikertScale",
                    "description": "Measures the organization and structure of a generated text."
                },
                {
                    "metricName": "Toxicity",
                    "metricType": "ComparisonRank",
                    "description": "Measures the harmfulness of a generated text."
                },
                {
                    "metricName": "Accuracy",
                    "metricType": "ThumbsUpDown",
                    "description": "Indicates the accuracy of a generated text."
                },
                {
                    "metricName": "Correctness",
                    "metricType": "IndividualLikertScale",
                    "description": "Measures a generated answer's satisfaction in the context of the question."
                },
                {
                    "metricName": "Completeness",
                    "metricType": "IndividualLikertScale",
                    "description": "Measures a generated answer's inclusion of all relevant information."
                }
            ],
            "disableRandomization": "true"
        },
        "modelResponseIdMap": {
            "0": "sm-margaret-meta-textgeneration-llama-2-7b-1711485008-0612",
            "1": "jumpstart-dft-hf-llm-mistral-7b-ins-20240327-043352"
        }
    },
    "inputRecord": {
        "prompt": {
            "text": "What is high intensity interval training?"
        },
        "category": "Fitness",
        "referenceResponse": {
            "text": "High-Intensity Interval Training (HIIT)"
        }
    },
    "modelResponses": [
        {
            "text": "High Intensity Interval Training (HIIT) is a form of exercise that alternates between periods of high intensity work and low intensity recovery.HIIT is an excellent way to increase your fitness and improve your health, but it can be difficult to get started.In this article, we will",
            "modelIdentifier": "sm-margaret-meta-textgeneration-llama-2-7b-1711485008-0612"
        },
        {
            "text": "High intensity interval training is a form of exercise consisting of short bursts of maximum effort followed by periods of rest. The theory behind HIIT is that it can often be more effective at improving cardiovascular and metabolic health than longer, lower intensity workouts.The work intervals can range in length depending on the specific type of exercise, but are typically between 20 and 90 seconds. The recovery periods are generally longer, lasting between 1 and 5 minutes. This pattern is then repeated for multiple sets.\n\nSince the work intervals are high intensity, they require more effort from your body and therefore result in a greater calorie burn. The body also continues to burn calories at an increased rate after the workout due to an effect called excess post exercise oxygen consumption (EPOC), also know as the afterburn effect.\n\nHIIT is a versatile form of training that can be adapted to different fitness levels and can be performed using a variety of exercises including cycling, running, bodyweight movements, and even swimming. It can be done in as little as 20 minutes once or twice a week, making it an efficient option for busy individuals.\n\nWhat are the benefits of high intensity interval training",
            "modelIdentifier": "jumpstart-dft-hf-llm-mistral-7b-ins-20240327-043352"
        }
    ]
}