Création d’une tâche d’évaluation de modèles faisant appel à des employés humains

Pour créer un compartiment Amazon S3 et spécifier les autorisations CORS

1. Ouvrez la console Amazon SageMaker AI à l'adresse https://console.aws.amazon.com/sagemaker/.

2. Dans le volet de navigation, entrez S3 dans la barre de recherche en haut de la page.

3. Choisissez S3 sous Services.

4. Choisissez Compartiments dans le volet de navigation.

5. Dans la section Compartiments à usage général, sous Nom, choisissez le nom du compartiment S3 que vous souhaitez utiliser pour stocker les entrées et sorties de votre modèle dans la console. Si vous n’avez pas de compartiment S3, procédez comme suit.

   1. Sélectionnez Créer un compartiment pour ouvrir une nouvelle page Créer un compartiment.

   2. Dans la section Configuration générale, sous Région AWS, sélectionnez la région AWS où se trouve votre modèle de fondation.

   3. Nommez votre compartiment S3 dans la zone de saisie, sous Nom du compartiment.

   4. Acceptez tous les choix par défaut.

   5. Sélectionnez Créer un compartiment.

   6. Dans la section Compartiments à usage général, sous Nom, sélectionnez le nom du compartiment S3 que vous avez créé.

6. Sélectionnez l’onglet Autorisations.

7. Faites défiler l’affichage jusqu’à la section Partage des ressources entre origines (CORS) en bas de la fenêtre. Choisissez Modifier.

8. Voici la politique CORS minimale requise que vous devez ajouter à votre compartiment Amazon S3. Copiez et collez ce qui suit dans la zone de saisie.

   [
   {
       "AllowedHeaders": ["*"],
       "AllowedMethods": [
           "GET",
           "HEAD",
           "PUT"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
         "Access-Control-Allow-Origin"
       ],
       "MaxAgeSeconds": 3000
   }
   ]

9. Sélectionnez Enregistrer les modifications.

Pour ajouter des autorisations à votre politique IAM

Vous souhaiterez peut-être prendre en compte le niveau d’autorisations à attacher à votre rôle IAM.

Si vous souhaitez attacher les politiques existantes à votre rôle IAM, vous pouvez ignorer les instructions définies ici et continuer à suivre les instructions figurant sous Pour ajouter des autorisations à votre rôle IAM.

Les instructions suivantes créent une politique IAM personnalisée adaptée à ce service avec un minimum d’autorisations.

1. Ouvrez la console Amazon SageMaker AI à l'adresse https://console.aws.amazon.com/sagemaker/.

2. Dans la barre de recherche en haut de la page, entrez IAM.

3. Sous Services, sélectionnez Identity and Access Management (IAM).

4. Choisissez Politiques dans le volet de navigation.

5. Choisissez Create Policy (Créer une politique). Quand l’Éditeur de politique s’ouvre, choisissez JSON.

6. Assurez-vous que les autorisations suivantes apparaissent dans l’Éditeur de politique. Vous pouvez également copier et coller ce qui suit dans l’Éditeur de politique.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::{input_bucket}/*",
                   "arn:aws:s3:::{input_bucket}",
                   "arn:aws:s3:::{output_bucket}/*",
                   "arn:aws:s3:::{output_bucket}",
                   "arn:aws:s3:::jumpstart-cache-prod-{region}/*",
                   "arn:aws:s3:::jumpstart-cache-prod-{region}"
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:CreateEndpoint",
                   "sagemaker:DeleteEndpoint",
                   "sagemaker:CreateEndpointConfig",
                   "sagemaker:DeleteEndpointConfig"
               ],
               "Resource": [
                   "arn:aws:sagemaker:us-east-1:111122223333:endpoint/sm-margaret-*",
                   "arn:aws:sagemaker:us-east-1:111122223333:endpoint-config/sm-margaret-*"
               ],
               "Condition": {
                   "ForAnyValue:StringEquals": {
                       "aws:TagKeys": "sagemaker-sdk:jumpstart-model-id"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:DescribeProcessingJob",
                   "sagemaker:DescribeEndpoint",
                   "sagemaker:InvokeEndpoint"
               ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:DescribeInferenceComponent",
                   "sagemaker:AddTags",
                   "sagemaker:CreateModel",
                   "sagemaker:DeleteModel"
               ],
               "Resource": "arn:aws:sagemaker:us-east-1:111122223333:model/*",
               "Condition": {
                   "ForAnyValue:StringEquals": {
                       "aws:TagKeys": "sagemaker-sdk:jumpstart-model-id"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:DescribeFlowDefinition",
                   "sagemaker:StartHumanLoop",
                   "sagemaker:DescribeHumanLoop"
               ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "logs:CreateLogStream",
                   "logs:PutLogEvents",
                   "logs:CreateLogGroup",
                   "logs:DescribeLogStreams"
               ],
               "Resource": "arn:aws:logs:us-east-1:111122223333:log-group:/aws/sagemaker/ProcessingJobs:*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "cloudwatch:PutMetricData"
               ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "ecr:GetAuthorizationToken",
                   "ecr:BatchCheckLayerAvailability",
                   "ecr:GetDownloadUrlForLayer",
                   "ecr:BatchGetImage"
               ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "kms:DescribeKey",
                   "kms:GetPublicKey",
                   "kms:Decrypt",
                   "kms:Encrypt"
               ],
               "Resource": [
                   "arn:aws:kms:us-east-1:111122223333:key/{kms-key-id}"
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "iam:PassRole"
               ],
               "Resource": "arn:aws:iam::111122223333:role/{this-role-created-by-customer}",
               "Condition": {
                   "StringEquals": {
                       "aws:PrincipalAccount": [
                           "111122223333"
                       ]
                   }
               }
           }
       ]
   }
   

7. Choisissez Suivant.

8. Entrez un nom de politique dans la section Détails de la politique, sous Nom de la politique. Vous pouvez également saisir une description facultative. Vous rechercherez ce nom de politique lorsque vous l’attribuerez à un rôle.

9. Choisissez Create Policy (Créer une politique).

Pour ajouter des autorisations à votre rôle IAM

1. Ouvrez la console Amazon SageMaker AI à l'adresse https://console.aws.amazon.com/sagemaker/.

2. Dans la barre de recherche en haut de la page, entrez IAM.

3. Sous Services, sélectionnez Identity and Access Management (IAM).

4. Choisissez Rôles dans le panneau de navigation.

5. Si vous créez un nouveau rôle :

   1. Choisissez Créer un rôle.

   2. Dans l’étape Sélectionner une entité de confiance, sous Type d’entité approuvée, choisissez Politique d’approbation personnalisée.

   3. Dans l’éditeur de politique d’approbation personnalisée, à côté de Ajouter un principal, choisissez Ajouter.

   4. Dans la fenêtre contextuelle Ajouter un principal, sous Type de principal, sélectionnez Services AWS dans la liste déroulante des options.

   5. Sous ARN, remplacez {ServiceName} par sagemaker.

   6. Choisissez Ajouter un principal.

   7. Choisissez Suivant.

   8. (Facultatif) Sous Politiques des autorisations, sélectionnez les politiques que vous souhaitez ajouter à votre rôle.

   9. (Facultatif) Sous Définir une limite d’autorisations – facultatif, choisissez votre paramètre de limite d’autorisations.

   10. Choisissez Suivant.

   11. Dans l’étape Nommer, vérifier et créer, sous Détails du rôle, spécifiez vos Nom du rôle et Description.

   12. (Facultatif) Sous Ajouter des balises – facultatif, vous pouvez ajouter des balises en choisissant Ajouter une nouvelle balise et en saisissant une paire Clé et Valeur – facultatif.

   13. Vérifiez vos paramètres.

   14. Choisissez Créer un rôle.

6. Si vous ajoutez la politique à un rôle existant :

   1. Sélectionnez le nom du rôle sous Nom du rôle. La fenêtre principale change pour afficher les informations relatives à votre rôle.

   2. Dans la section Politiques d’autorisations, choisissez la flèche vers le bas en regard de Ajouter des autorisations.

   3. Parmi les options qui s’affichent, choisissez Attacher des politiques.

   4. Dans la liste des politiques qui s’affichent, recherchez et sélectionnez la politique que vous avez créée sous Pour ajouter des autorisations à votre politique IAM et cochez la case à côté du nom de votre politique. Si vous n’avez pas créé de politique IAM personnalisée, recherchez et cochez les cases situées à côté des politiques AmazonSageMakerFullAccess et AmazonS3FullAccess fournies par AWS. Vous souhaiterez peut-être prendre en compte le niveau d’autorisations à attacher à votre rôle IAM. Les instructions relatives à la politique IAM personnalisée sont moins permissives, tandis que les autres sont plus permissives. Pour plus d'informations sur cette AmazonSageMakerFullAccess politique, consultez AmazonSageMakerFullAccess.

   5. Choisissez Ajouter des autorisations. Une bannière en haut de la page doit indiquer La stratégie a été attachée au rôle une fois terminé.

Pour ajouter une politique d’approbation à votre rôle IAM

La politique de confiance suivante permet aux administrateurs d'autoriser l' SageMaker IA à assumer ce rôle. Vous devez ajouter cette politique à votre rôle IAM. Pour cela, utilisez la procédure suivante :

1. Ouvrez la console Amazon SageMaker AI à l'adresse https://console.aws.amazon.com/sagemaker/.

2. Dans la barre de recherche en haut de la page, entrez IAM.

3. Sous Services, sélectionnez Identity and Access Management (IAM).

4. Choisissez Rôles dans le panneau de navigation.

5. Sélectionnez le nom du rôle sous Nom du rôle. La fenêtre principale change pour afficher les informations relatives à votre rôle.

6. Choisissez l’onglet Relation d’approbation.

7. Choisissez Modifier la politique d’approbation.

8. Assurez-vous que la politique suivante apparaît sous Modifier la politique d’approbation. Vous pouvez également copier et coller ce qui suit dans l’éditeur.

   JSON

   {
   "Version":"2012-10-17",		 	 	 
   "Statement": [
       {
           "Sid": "",
           "Effect": "Allow",
           "Principal": {
               "Service": [
                   "sagemaker.amazonaws.com"
               ]
           },
           "Action": "sts:AssumeRole"
       }
   ]
   }
   

9. Choisissez Mettre à jour une politique. Une bannière en haut de la page doit indiquer Politique d’approbation mise à jour une fois terminé.

Pour lancer JumpStart

1. Ouvrez la console Amazon SageMaker AI à l'adresse https://console.aws.amazon.com/sagemaker/.

2. Dans la barre de recherche en haut de la page, entrez SageMaker AI.

3. Sous Services, sélectionnez Amazon SageMaker AI.

4. Choisissez Studio dans le volet de navigation.

5. Choisissez votre domaine dans la section Mise en route, après avoir développé la flèche vers le bas sous Sélectionner un domaine.

6. Choisissez votre profil utilisateur dans la section Mise en route, après avoir développé la flèche vers le bas sous Sélectionner un profil utilisateur.

7. Choisissez Ouvrir Studio pour ouvrir la page de destination de Studio.

8. Choisissez Tâches dans le volet de navigation.

Pour configurer une tâche d’évaluation

1. Sur la page d’accueil d’évaluation de modèles, choisissez Évaluer un modèle.

2. Spécifiez les détails des tâches.

   1. Entrez le nom de l’évaluation de votre évaluation de modèles. Ce nom vous permet d’identifier votre tâche d’évaluation de modèles une fois qu’elle a été soumise.

   2. Entrez une description pour ajouter plus de contexte au nom.

   3. Choisissez Suivant.

3. Configurez l’évaluation.

   1. Sous Choisir un type d’évaluation, sélectionnez la case d’option à côté de Humain.

   2. Sous Choisissez le ou les modèles que vous souhaitez évaluer, choisissez Ajouter un modèle à l’évaluation. Vous pouvez évaluer jusqu’à deux modèles pour chaque évaluation.

      1. Pour utiliser un modèle pré-entraîné, choisissez le JumpStart modèle de JumpStart base pré-entraîné. Si vous souhaitez utiliser un JumpStart modèle que vous avez précédemment déployé sur un point de terminaison, choisissez Endpoints with JumpStart foundation models.

      2. Si le modèle nécessite un accord légal, cochez la case pour confirmer que vous êtes d’accord.

      3. Si vous souhaitez ajouter un autre modèle, répétez l’étape précédente.

   3. Pour modifier le comportement du modèle lors de l’inférence, choisissez Définir les paramètres.

      Les paramètres définis contiennent une liste de paramètres d’inférence qui affectent le degré de hasard dans la sortie de votre modèle, la longueur de la sortie de votre modèle et les mots que le modèle choisira ensuite.

   4. Sélectionnez ensuite un type de tâche. Vous pouvez sélectionner les éléments suivants :

      • Synthétisation de texte

      • Réponses aux questions (Q&R)

      • Classification du texte

      • Génération ouverte

      • Personnalisé

   5. Dans la section Métriques d’évaluation, choisissez une dimension d’évaluation et entrez un contexte supplémentaire concernant la dimension dans la zone de texte sous Description. Vous pouvez choisir parmi les dimensions suivantes :

      • Fluidité : mesure la qualité linguistique d’un texte généré.

      • Cohérence : mesure l’organisation et la structure d’un texte généré.

      • Toxicité : mesure la nocivité d’un texte généré.

      • Exactitude : indique l’exactitude d’un texte généré.

      • Une dimension d’évaluation personnalisée dont vous pouvez définir le nom et la description pour votre équipe de travail.

        Pour ajouter une dimension d’évaluation personnalisée, procédez comme suit :

        • Choisissez Ajouter une dimension d’évaluation.

        • Dans la zone de texte contenant Fournir une dimension d’évaluation, saisissez le nom de votre dimension personnalisée.

        • Dans la zone de texte contenant Fournir une description pour cette dimension d’évaluation, saisissez une description afin que votre équipe de travail comprenne comment évaluer votre dimension personnalisée.

      Sous chacune de ces métriques se trouvent des métriques de création de rapports que vous pouvez choisir à l’aide de la flèche vers le bas Choisir un type de métrique. Si vous avez deux modèles à évaluer, vous pouvez choisir des métriques de création de rapports comparatives ou individuelles. Si vous avez un seul modèle à évaluer, vous pouvez choisir uniquement des métriques de création de rapports individuelles. Vous pouvez choisir les types de métriques de création de rapports suivants pour chacune des métriques ci-dessus.

      • (Comparatif) Échelle de Likert – comparaison : un évaluateur humain indiquera sa préférence entre deux réponses sur une échelle de Likert à 5 points, en fonction de vos instructions. Les résultats du rapport final se présentent sous la forme d’un histogramme des degrés de préférence établis par les évaluateurs pour l’ensemble du jeu de données. Définissez les points importants de l’échelle à 5 points dans vos instructions, de sorte que vos évaluateurs sachent comment évaluer les réponses en fonction de vos attentes. Dans la sortie JSON enregistrée dans Amazon S3, ce choix est représenté par ComparisonLikertScale correspondant à la paire clé-valeur "evaluationResults":"ComparisonLikertScale".

      • (Comparatif) Boutons de choix : permet à un évaluateur humain d’indiquer sa réponse préférée par rapport à une autre. Les évaluateurs indiquent leur préférence entre deux réponses, en fonction de vos instructions, via des cases d’option. Les résultats du rapport final se présentent sous la forme d’un pourcentage de réponses que les employés ont préférées pour chaque modèle. Expliquez clairement votre méthode d’évaluation dans vos instructions. Dans la sortie JSON enregistrée dans Amazon S3, ce choix est représenté par ComparisonChoice correspondant à la paire clé-valeur "evaluationResults":"ComparisonChoice".

      • (Comparatif) Classement ordinal : permet à un évaluateur humain de classer les réponses à une invite par ordre de préférence, en partant de 1, conformément à vos instructions. Les résultats du rapport final se présentent sous la forme d’un histogramme des classements des évaluateurs pour l’ensemble du jeu de données. Définissez la signification d’un classement de 1 dans vos instructions. Dans la sortie JSON enregistrée dans Amazon S3, ce choix est représenté par ComparisonRank correspondant à la paire clé-valeur "evaluationResults":"ComparisonRank".

      • (Individuel) Pouce vers le haut/vers le bas : permet à un évaluateur humain d’évaluer chaque réponse d’un modèle comme acceptable ou inacceptable, conformément à vos instructions. Les résultats du rapport final se présentent sous la forme d’un pourcentage du nombre total d’évaluations approuvées (pouce vers le haut) par les évaluateurs, pour chaque modèle. Vous pouvez utiliser cette méthode d’évaluation pour évaluer un ou plusieurs modèles. Si vous l’utilisez pour une évaluation qui compte deux modèles, un pouce vers le haut ou vers le bas sera présenté à votre équipe de travail pour chaque réponse de modèle et le rapport final affichera les résultats agrégés individuellement pour chaque modèle. Définissez ce qui est acceptable comme évaluation positive (pouce vers le haut) ou négative (pouce vers le bas) dans vos instructions. Dans la sortie JSON enregistrée dans Amazon S3, ce choix est représenté par ThumbsUpDown correspondant à la paire clé-valeur "evaluationResults":"ThumbsUpDown".

      • (Individuel) Échelle de Likert – individuelle : permet à un évaluateur humain d’indiquer dans quelle mesure il approuve la réponse du modèle, en fonction de vos instructions, sur une échelle de Likert à 5 points. Les résultats du rapport final se présentent sous la forme d’un histogramme des évaluations en 5 points établies par les évaluateurs pour l’ensemble du jeu de données. Vous pouvez utiliser cette échelle pour une évaluation comportant un ou plusieurs modèles. Si vous sélectionnez cette méthode d’évaluation pour une évaluation qui compte plusieurs modèles, une échelle de Likert en 5 points sera présentée à votre équipe de travail pour chaque réponse de modèle et le rapport final présentera les résultats agrégés individuellement pour chaque modèle. Définissez les points importants de l’échelle à 5 points dans vos instructions, de sorte que vos évaluateurs sachent comment évaluer les réponses en fonction de vos attentes. Dans la sortie JSON enregistrée dans Amazon S3, ce choix est représenté par IndividualLikertScale correspondant à la paire clé-valeur "evaluationResults":"IndividualLikertScale".

   6. Choisissez un jeu de données d’invite. Ce jeu de données d’invite est obligatoire et sera utilisé par votre équipe de travail humaine pour évaluer les réponses de votre modèle. Fournissez l’URI S3 d’un compartiment Amazon S3 qui contient votre jeu de données d’invite dans la zone de texte située sous l’URI S3 de votre fichier de jeu de données d’entrée. Votre jeu de données doit être au format jsonlines et contenir les clés suivantes pour identifier les parties de votre jeu de données que l’interface utilisateur utilisera pour évaluer votre modèle :

      • prompt : la demande pour laquelle vous souhaitez que votre modèle génère une réponse.

      • (Facultatif) category : étiquettes de catégorie pour votre invite. La clé category est utilisée pour classer vos invites afin que vous puissiez filtrer vos résultats d’évaluation ultérieurement par catégorie pour mieux comprendre les résultats de l’évaluation. Elle ne participe pas à l’évaluation elle-même et les employés ne la voient pas dans l’interface utilisateur de l’évaluation.

      • (Facultatif) referenceResponse : la réponse de référence pour vos évaluateurs humains. La réponse de référence n’est pas évaluée par vos employés, mais elle peut être utilisée pour comprendre quelles réponses sont acceptables ou inacceptables, en fonction de vos instructions.

      • (Facultatif) responses — Utilisé pour spécifier les inférences d'un modèle en dehors de l' SageMaker IA ou en dehors deAWS.

        Cet objet nécessite deux paires clé-valeur supplémentaires : "modelIdentifier, une chaîne identifiant le modèle, et "text", qui constitue l’inférence du modèle.

        Si vous spécifiez une clé "responses" dans une entrée quelconque du jeu de données d’invite personnalisé, elle doit être spécifiée dans toutes les entrées.

      • L’exemple de code json suivant montre les paires clé-valeur acceptées dans un jeu de données d’invite personnalisé. La case à cocher Apporter votre propre inférence doit être cochée si une clé de réponse est fournie. Si elle est cochée, la clé responses doit toujours être spécifiée dans chaque invite. L’exemple suivant pourrait être utilisé dans un scénario de questions-réponses.

        {
            "prompt": {
                "text": "Aurillac is the capital of"
            },
            "category": "Capitals",
            "referenceResponse": {
                "text": "Cantal"
            },
            "responses": [
                // All responses must come from a single model. If specified it must be present in all JSON objects. modelIdentifier and text are then also required.
                {
                    "modelIdentifier": "meta-textgeneration-llama-codellama-7b",
                    "text": "The capital of Aurillac is Cantal."
                }
            ]
        }

   7. Entrez un emplacement de compartiment S3 où vous souhaitez enregistrer les résultats d’évaluation obtenus dans la zone de texte située sous Choisir un emplacement S3 pour enregistrer vos résultats d’évaluation. Le fichier de sortie écrit dans cet emplacement S3 sera au format JSON, se terminant par l’extension, .json.

   8. Note

      Si vous souhaitez inclure vos propres données d’inférence dans la tâche d’évaluation de modèles, vous ne pouvez utiliser qu’un seul modèle.

      (Facultatif) Cochez la case située sous Apporter votre propre inférence pour indiquer que votre jeu de données d’invite contient la clé responses. Si vous spécifiez la clé responses dans le cadre de toute invite, elle doit être présente dans chacune d’elles.

   9. Configurez votre processeur dans la section Configuration du processeur à l’aide des paramètres suivants :

      • Utilisez Nombre d’instances pour spécifier le nombre d’instances de calcul à utiliser pour exécuter votre modèle. Si vous utilisez plus de 1 instance, votre modèle s’exécutera dans des instances parallèles.

      • Utilisez le type d'instance pour choisir le type d'instance de calcul que vous souhaitez utiliser pour exécuter votre modèle. AWSpossède des instances de calcul générales et des instances optimisées pour le calcul et la mémoire. Pour plus d’informations sur les types d’instance, consultez Types d'instances disponibles pour une utilisation avec les blocs-notes Amazon SageMaker Studio Classic.

      • Si vous souhaitez que l' SageMaker IA utilise votre propre clé de chiffrement AWS Key Management Service (AWS KMS) au lieu de la clé de service AWS géré par défaut, sélectionnez Activé sous la clé Volume KMS, puis saisissez la AWS KMS clé. SageMaker L'IA utilisera votre AWS KMS clé pour chiffrer les données sur le volume de stockage. Pour plus d’informations sur les clés, consultez AWS Key Management Service.

      • Si vous souhaitez que l' SageMaker IA utilise votre propre clé de chiffrement AWS Key Management Service (AWS KMS) au lieu de la clé de service AWS géré par défaut, sélectionnez Activé sous Output KMS key et saisissez la AWS KMS clé. SageMaker L'IA utilisera votre AWS KMS clé pour chiffrer le résultat de la tâche de traitement.

      • Utilisez un rôle IAM pour spécifier l’accès et les autorisations pour le processeur par défaut. Entrez le rôle IAM que vous avez configuré dans la section Configurer votre rôle IAM de cette section Exécuter une évaluation humaine.

   10. Après avoir spécifié votre modèle et vos critères, sélectionnez Suivant.

Configuration de votre équipe de travail

1. Choisissez une équipe existante ou créez une nouvelle équipe dans la zone de saisie de texte Sélectionner une équipe.

2. Spécifiez le nom de votre organisation dans Nom de l’organisation. Ce champ n’apparaît que lorsque vous créez la première équipe de travail dans le compte.

3. Spécifiez une adresse e-mail de contact. Vos employés utiliseront cet adresse e-mail pour communiquer avec vous au sujet de la tâche d’évaluation que vous leur confierez. Ce champ n’apparaît que lorsque vous créez la première équipe de travail dans le compte.

4. Spécifiez un nom d’équipe. Vous ne pourrez pas modifier ce nom ultérieurement.

5. Spécifiez une liste d’adresses e-mail pour chacun de vos employés humains qui évaluera votre grand modèle de langage (LLM). Lorsque vous spécifiez les adresses e-mail pour votre équipe, celle-ci est informée d’une nouvelle tâche uniquement lorsqu’elle vient d’être ajoutée à une équipe de travail. Si vous faites appel à la même équipe pour une tâche ultérieure, vous devez la notifier manuellement.

6. Spécifiez ensuite le nombre d’employés par invite.

Octroi d’instructions à votre équipe de travail

1. Fournissez des instructions détaillées à votre personnel humain afin qu’il puisse évaluer votre modèle selon vos métriques et normes. Un modèle dans la fenêtre principale présente des exemples d’instructions que vous pouvez fournir. Pour plus d’informations sur la manière de donner des instructions, consultez Création d’instructions appropriées à l’intention des employés.

2. Pour minimiser les biais dans votre évaluation humaine, cochez la case en regard de Rendre les positions de réponse aléatoires.

3. Sélectionnez Suivant.

Soumission de votre demande de tâche d’évaluation et visualisation de l’avancement de la tâche

1. Pour soumettre votre demande de tâche d’évaluation, choisissez Créer une ressource.

2. Pour consulter le statut de toutes vos tâches, choisissez Tâches dans le volet de navigation. Ensuite, choisissez Évaluation des modèles. Le statut de l’évaluation s’affiche comme Terminé, Échec ou En cours.

   Les éléments suivants s’affichent également :

   • Exemples de blocs-notes pour évaluer un modèle dans SageMaker AI et Amazon Bedrock.

   • Liens vers des informations supplémentaires, notamment de la documentation, des vidéos, des actualités et des blogs sur le processus d’évaluation des modèles.

   • L’URL de votre Portail des employés privés est également disponible.

3. Sélectionnez votre évaluation de modèles sous Nom pour afficher un résumé de votre évaluation.

   • Ce résumé fournit des informations sur le statut de la tâche, le type de tâche d’évaluation que vous avez exécutée sur quel modèle et la date de son exécution. Après ce résumé, les scores des évaluations humaines sont triés et résumés par métrique.

Visualisation du bulletin de votre tâche d’évaluation de modèles faisant appel à des employés humains

1. Pour consulter le rapport de vos tâches, choisissez Tâches dans le volet de navigation.

2. Ensuite, choisissez Évaluation des modèles. Sur la page d’accueil Évaluations de modèles, utilisez le tableau pour rechercher votre tâche d’évaluation de modèles. Une fois que le statut de la tâche est devenu Terminé, vous pouvez visualiser votre bulletin.

3. Choisissez le nom de la tâche d’évaluation de modèles sur son bulletin.

Pour ajouter vos propres données d’inférence à une tâche d’évaluation de modèles humains.

1. Dans Étape 1 : Spécification des détails de la tâche, ajoutez le nom de votre tâche d’évaluation de modèles et une description facultative.

2. Dans Étape 2 : Configuration de l’évaluation, choisissez Humain.

3. Ensuite, sous Choisissez le ou les modèles que vous souhaitez évaluer, vous pouvez choisir le modèle que vous souhaitez utiliser. Vous pouvez utiliser un JumpStart modèle déjà déployé ou choisir un modèle de base Jumpstart pré-entraîné.

4. Choisissez ensuite un type de tâche.

5. Vous pouvez ensuite ajouter des métriques d’évaluation.

6. Ensuite, sous Jeu de données rapide, cochez la case sous Apporter votre propre inférence pour indiquer que vos invites contiennent des clés de réponse.

7. Poursuivez ensuite la configuration de votre tâche d’évaluation de modèles.