Utilisation de la bibliothèque fmeval pour exécuter une évaluation automatique

Conditions préalables

• Pour effectuer une évaluation de modèles dans une interface utilisateur de Studio, votre rôle Gestion des identités et des accès AWS (IAM) et tous les jeux de données d’entrée doivent disposer des autorisations correctes. Si vous n'avez pas de rôle SageMaker AI Domain ou IAM, suivez les étapes décrites dansGuide de configuration d'Amazon SageMaker AI.

Pour définir des autorisations pour votre compartiment Amazon S3

Une fois votre domaine et votre rôle créés, suivez les étapes ci-dessous pour ajouter les autorisations nécessaires à l’évaluation de votre modèle.

1. Ouvrez la console Amazon SageMaker AI à l'adresse https://console.aws.amazon.com/sagemaker/.

2. Dans le volet de navigation, entrez S3 dans la barre de recherche en haut de la page.

3. Choisissez S3 sous Services.

4. Choisissez Compartiments dans le volet de navigation.

5. Dans la section Compartiments à usage général, sous Nom, choisissez le nom du compartiment S3 que vous souhaitez utiliser pour stocker les entrées et sorties de votre modèle dans la console. Si vous n’avez pas de compartiment S3, procédez comme suit :

   1. Sélectionnez Créer un compartiment pour ouvrir une nouvelle page Créer un compartiment.

   2. Dans la section Configuration générale, sous Région AWS, sélectionnez la région AWS où se trouve votre modèle de fondation.

   3. Nommez votre compartiment S3 dans la zone de saisie, sous Nom du compartiment.

   4. Acceptez tous les choix par défaut.

   5. Sélectionnez Créer un compartiment.

   6. Dans la section Compartiments à usage général, sous Nom, sélectionnez le nom du compartiment S3 que vous avez créé.

6. Sélectionnez l’onglet Autorisations.

7. Faites défiler l’affichage jusqu’à la section Partage des ressources entre origines (CORS) en bas de la fenêtre. Choisissez Modifier.

8. Pour ajouter des autorisations à votre compartiment pour les évaluations de la fondation, assurez-vous que le code suivant apparaît dans la zone de saisie. Vous pouvez également copier et coller ce qui suit dans la zone de saisie.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Sélectionnez Enregistrer les modifications.

Pour ajouter des autorisations à votre politique IAM

1. Dans la barre de recherche en haut de la page, entrez IAM.

2. Sous Services, sélectionnez Identity and Access Management (IAM).

3. Choisissez Politiques dans le volet de navigation.

4. Entrez AmazonSageMakerFullAccessdans la barre de recherche. Sélectionnez la case d’option en regard de la politique qui apparaît. Le bouton Actions peut désormais être sélectionné.

5. Choisissez la flèche vers le bas à côté de Actions. Deux options apparaissent.

6. Choisissez Attacher.

7. Dans la liste IAM qui apparaît, recherchez le nom du rôle que vous avez créé. Cochez la case en regard de ce nom.

8. Choisissez Attach policy (Attacher la politique).

Prise en main de Studio

1. Dans la barre de recherche en haut de la page, entrez SageMaker AI.

2. Sous Services, sélectionnez Amazon SageMaker AI.

3. Choisissez Studio dans le volet de navigation.

4. Choisissez votre domaine dans la section Mise en route, après avoir développé la flèche vers le bas sous Sélectionner un domaine.

5. Choisissez votre profil utilisateur dans la section Mise en route, après avoir développé la flèche vers le bas sous Sélectionner un profil utilisateur.

6. Choisissez Ouvrir Studio pour ouvrir la page de destination de Studio.

7. Sélectionnez l’explorateur de fichiers dans le volet de navigation et accédez au répertoire racine.

8. Sélectionnez Créer un bloc-notes.

9. Dans la boîte de dialogue d’environnement de bloc-notes qui s’ouvre, sélectionnez l’image Data Science 3.0.

10. Choisissez Select (Sélectionner).

11. Installez le package fmeval dans votre environnement de développement, comme illustré dans l’exemple de code suivant :

    !pip install fmeval

    Note

    Installez la bibliothèque fmeval dans un environnement qui utilise Python 3.10. Pour plus d’informations sur les conditions requises pour exécuter fmeval, consultez les dépendances de fmeval.

Définissez un JumpStart modèle et configurez un ModelRunner

1. Fournissez un point de terminaison en effectuant l’une des actions suivantes :

   • Spécifiez le EndpointNameà un point de JumpStart terminaison existant, lemodel_id, etmodel_version.

   • Spécifiez le model_id et model_version pour votre modèle, puis créez un JumpStart point de terminaison.

   L'exemple de code suivant montre comment créer un point de terminaison pour un Llama 2 foundation modelqui est disponible via JumpStart.

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   L'exemple de code précédent fait référence à EULA, qui signifie end-use-license-agreement (EULA). Le CLUF se trouve dans la description de la carte de modèle du modèle que vous utilisez. Pour utiliser certains JumpStart modèles, vous devez spécifieraccept_eula=true, comme indiqué dans l'appel précédent àpredict. Pour plus d’informations sur le CLUF, consultez la section Licences et sources de modèle dans Modèles de sources et de contrats de licence.

   Vous trouverez une liste des JumpStart modèles disponibles dans la section Algorithmes intégrés avec tableau des modèles pré-entraînés.

2. Configurez ModelRunner à l’aide du JumpStartModelRunner, comme indiqué dans l’exemple de configuration suivant :

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   Dans l’exemple de configuration précédent, utilisez les mêmes valeurs pour endpoint_name, model_id et model_version que celles que vous avez utilisées pour créer le point de terminaison.

3. Testez votre élément ModelRunner. Envoyez un exemple de demande à votre modèle, comme indiqué dans l’exemple de code suivant :

   js_model_runner.predict("What is the capital of London")

Définissez un modèle Amazon Bedrock et configurez un ModelRunner

1. Pour définir et afficher les détails du modèle, utilisez l’exemple de code suivant pour un modèle Titan disponible via Amazon Bedrock :

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   Dans l’exemple de code précédent, le paramètre accept indique le format des données que vous souhaitez utiliser pour évaluer votre LLM. contentType spécifie le format des données d’entrée dans la demande. Seul MIME_TYPE_JSON est pris en charge pour accept et contentType pour les modèles Amazon Bedrock. Pour obtenir plus d’informations sur ces paramètres, consultez InvokeModelWithResponseStream.

2. Pour configurer ModelRunner, utilisez BedrockModelRunner, comme indiqué dans l’exemple de configuration suivant :

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   Paramétrez la configuration de ModelRunner comme suit.

   • Utilisez les mêmes valeurs pour model_id que celles que vous avez utilisées pour déployer le modèle.

   • Utilisez output pour spécifier le format de la réponse json générée. Par exemple, si votre LLM a fourni la réponse [{"results": "this is the output"}], alors output='results[0].outputText' renvoie this is the output.

   • Utilisez content_template pour spécifier la manière dont votre LLM interagit avec les demandes. Le modèle de configuration suivant est détaillé uniquement pour expliquer l’exemple de configuration précédent, et il n’est pas obligatoire.

     • Dans l’exemple de configuration précédent, la variable inputText spécifie l’invite, qui capture la demande faite par l’utilisateur.

     • La variable textGenerationConfig indique comment le LLM génère les réponses comme suit :

       • Le paramètre maxTokenCount est utilisé pour limiter la longueur de la réponse en limitant le nombre de jetons renvoyés par le LLM.

       • Le paramètre stopSequences est utilisé pour spécifier une liste de séquences de caractères qui indiquent à votre LLM d’arrêter de générer une réponse. La sortie du modèle est arrêtée la première fois que l’une des chaînes répertoriées est rencontrée dans la sortie. Par exemple, vous pouvez utiliser une séquence de retour chariot pour limiter la réponse du modèle à une seule ligne.

       • Le paramètre topP contrôle le degré de hasard en limitant l’ensemble de jetons à prendre en compte lors de la génération du jeton suivant. Ce paramètre accepte des valeurs comprises entre 0.0 et 1.0. Des valeurs plus élevées de topP autorisent un ensemble contenant un vocabulaire plus large et des valeurs plus faibles limitent l’ensemble de jetons à des mots plus probables.

       • Le paramètre temperature contrôle le degré de hasard du texte généré et accepte les valeurs positives. Des valeurs plus élevées de temperature indiquent au modèle de générer des réponses plus aléatoires et plus diverses. Des valeurs plus faibles génèrent des réponses plus prévisibles. Les plages typiques pour temperature se situent entre 0.2 et 2.0.

       Pour plus d’informations sur les paramètres d’un modèle de fondation Amazon Bedrock spécifique, consultez Paramètres d’inférence pour les modèles de fondation.

     Le format du paramètre content_template dépend des entrées et des paramètres pris en charge par votre LLM. Par exemple, le modèle Anthropic’s Claude 2 peut prendre en charge l’élément content_template suivant :

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     Autre exemple, le modèle Falcon 7b peut prendre en charge l’élément content_template suivant.

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     Enfin, testez votre ModelRunner. Envoyez un exemple de demande à votre modèle, comme indiqué dans l’exemple de code suivant :

     bedrock_model_runner.predict("What is the capital of London?")