Tutoriales de cuadernos de evaluación de modelos

Cómo evaluar un modelo de JumpStart para realizar el estereotipado de peticiones.

Cómo evaluar la exactitud del resumen de texto de un modelo de Amazon Bedrock.

bedrock-claude-factual-knowledge.ipnyb: evalúa un modelo Anthropic Claude 2 alojado en Amazon Bedrock para obtener conocimiento fáctico.

byo-model-outputs.ipynb: evalúa un modelo Falcon 7b alojado en JumpStart para obtener un conocimiento fáctico, en el que usted aporta las salidas de su propio modelo en lugar de enviar solicitudes de inferencia a su modelo.

custom_model_runner_chat_gpt.ipnyb: evalúa un modelo de ChatGPT 3.5 personalizado alojado en Hugging Face para obtener conocimiento fáctico.