Evaluación del modelo automática

Puede crear una evaluación del modelo automática en Studio o usar la biblioteca fmeval dentro de su propio código. Studio utiliza un asistente para crear el trabajo de evaluación del modelo. La biblioteca fmeval proporciona herramientas para personalizar aún más el flujo de trabajo.

Ambos tipos de trabajos de evaluación del modelo automática admiten el uso de modelos de JumpStart disponibles de forma pública y modelos de JumpStart que se hayan implementado previamente en un punto de conexión. Si utiliza un modelo de JumpStart que no se haya implementado anteriormente, SageMaker AI se encargará de crear el recurso necesario y de cerrarlo una vez finalizado el trabajo de evaluación del modelo.

Para utilizar LLM basados en texto de otro servicio de AWS o un modelo alojado fuera de AWS, debe utilizar la biblioteca fmeval.

Cuando se completan los trabajos, los resultados se guardan en el bucket de Amazon S3 especificado cuando se creó el trabajo. Para obtener más información sobre cómo interpretar los resultados, consulte Explicación de los resultados del trabajo de evaluación del modelo.