Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Evaluación mediante RFT

¿Qué es la evaluación RFT?

La evaluación RFT le permite evaluar el rendimiento de su modelo mediante funciones de recompensa personalizadas antes, durante o después del entrenamiento de aprendizaje reforzado. A diferencia de las evaluaciones estándar que utilizan métricas predefinidas, la evaluación RFT le permite definir sus propios criterios de éxito mediante una función Lambda que puntúa los resultados del modelo en función de sus requisitos específicos.

¿Por qué evaluar con la RFT?

La evaluación es crucial para determinar si el proceso de ajuste fino de la RL tiene:

¿Cuándo utilizar la evaluación RFT

Utilice la evaluación RFT en los siguientes escenarios:

Requisitos del formato de los datos

Estructura de datos de entrada

Los datos de entrada de la evaluación RFT deben seguir el formato OpenAI Reinforcement Fine-Tuning. Cada ejemplo es un objeto JSON que contiene:

Ejemplo de formato de datos

{  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "type": "text",  
          "text": "Solve for x. Return only JSON like {\"x\": <number>}. Equation: 2x + 5 = 13"  
        }  
      ]  
    }  
  ],  
  "reference_answer": {  
    "x": 4  
  }  
}

Limitaciones actuales

Preparando su receta de evaluación

Cuaderno de ejemplo

Para ver un ejemplo completo, consulte los cuadernos de evaluación.

Ejemplo de configuración de recetas

run:  
  name: nova-lite-rft-eval-job    
  model_type: amazon.nova-lite-v1:0:300k    
  model_name_or_path: s3://escrow_bucket/model_location # [MODIFIABLE] S3 path to your model or model identifier  
  replicas: 1 # [MODIFIABLE] For SageMaker Training jobs only; fixed for HyperPod jobs  
  data_s3_path: "" # [REQUIRED FOR HYPERPOD] Leave empty for SageMaker Training jobs and use TrainingInput in sagemaker python SDK  
  output_s3_path: "" # [REQUIRED] Output artifact S3 path for evaluation results  
  
evaluation:  
  task: rft_eval # [FIXED] Do not modify  
  strategy: rft_eval # [FIXED] Do not modify  
  metric: all # [FIXED] Do not modify  
  
# Inference Configuration  
inference:  
  max_new_tokens: 8192 # [MODIFIABLE] Maximum tokens to generate  
  top_k: -1 # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0 # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0 # [MODIFIABLE] Sampling temperature (0 = deterministic)  
  top_logprobs: 0 # [MODIFIABLE] Set between 1-20 to enable logprobs output  
  
# =============================================================================  
# Bring Your Own Reinforcement Learning Environment  
# =============================================================================  
rl_env:  
  reward_lambda_arn: arn:aws:lambda:<region>:<account_id>:function:<reward-function-name>

Funciones de recompensa preestablecidas

Dos funciones de recompensa predefinidas (prime_codeyprime_math) de la biblioteca verl de código abierto están disponibles como capa Lambda para una fácil integración con las funciones de RFT Lambda.

Descripción general de

Estas funciones predefinidas proporcionan out-of-the-box capacidades de evaluación para:

Configuración rápida

función prime_code

Evalúa las tareas de generación de código de Python ejecutando el código comparándolo con casos de prueba y midiendo la corrección.

Ejemplo de formato de conjunto de datos de entrada

{"messages":[{"role":"user","content":"Write a function that returns the sum of two numbers."}],"reference_answer":{"inputs":["3\n5","10\n-2","0\n0"],"outputs":["8","8","0"]}}
{"messages":[{"role":"user","content":"Write a function to check if a number is even."}],"reference_answer":{"inputs":["4","7","0","-2"],"outputs":["True","False","True","True"]}}

Características principales

función prime_math

Evalúa el razonamiento matemático y las capacidades de resolución de problemas con apoyo matemático simbólico.

Formato de entrada

{"messages":[{"role":"user","content":"What is the derivative of x^2 + 3x?."}],"reference_answer":"2*x + 3"}

Características principales

Requisitos del formato de los datos

Para la evaluación del código

Para la evaluación matemática

Prácticas recomendadas

Gestión de errores

Ambas funciones incluyen una sólida gestión de errores para:

Creando tu función de recompensa

Requisitos de ARN de Lambda

Su ARN de Lambda debe seguir este formato:

"arn:aws:lambda:*:*:function:*SageMaker*"

Si la Lambda no tiene este esquema de nombres, el trabajo fallará y mostrará este error:

[ERROR] Unexpected error: lambda_arn must contain one of: ['SageMaker', 'sagemaker', 'Sagemaker'] when running on SMHP platform (Key: lambda_arn)

Formato de solicitud Lambda

La función Lambda recibe datos en este formato:

[  
  {  
    "id": "sample-001",  
    "messages": [  
      {  
        "role": "user",  
        "content": [  
          {  
            "type": "text",  
            "text": "Do you have a dedicated security team?"  
          }  
        ]  
      },  
      {  
        "role": "nova_assistant",  
        "content": [  
          {  
            "type": "text",  
            "text": "As an AI developed by Company, I don't have a dedicated security team..."  
          }  
        ]  
      }  
    ],  
    "reference_answer": {  
      "compliant": "No",  
      "explanation": "As an AI developed by Company, I do not have a traditional security team..."  
    }  
  }  
]

Formato de respuesta Lambda

La función Lambda debe devolver datos en este formato:

[  
  {  
    "id": "sample-001",  
    "aggregate_reward_score": 0.75,  
    "metrics_list": [  
      {  
        "name": "accuracy",  
        "value": 0.85,  
        "type": "Metric"  
      },  
      {  
        "name": "fluency",  
        "value": 0.90,  
        "type": "Reward"  
      }  
    ]  
  }  
]

Campos de respuesta

Permisos de IAM

Permisos necesarios

Su función de SageMaker ejecución debe tener permisos para invocar la función Lambda. Añada esta política a su función de SageMaker ejecución:

{  
  "Version": "2012-10-17",		 	 	   
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "lambda:InvokeFunction"  
      ],  
      "Resource": "arn:aws:lambda:region:account-id:function:function-name"  
    }  
  ]  
}

Rol de ejecución de Lambda

La función de ejecución de la función Lambda necesita permisos básicos de ejecución de Lambda:

{  
  "Version": "2012-10-17",		 	 	   
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "logs:CreateLogGroup",  
        "logs:CreateLogStream",  
        "logs:PutLogEvents"  
      ],  
      "Resource": "arn:aws:logs:*:*:*"  
    }  
  ]  
}

Si su función Lambda accede a otros AWS servicios (por ejemplo, S3 para datos de referencia o DynamoDB para registro), añada esos permisos a la función de ejecución de Lambda.

Ejecutar el trabajo de evaluación

Entender los resultados de la evaluación

Formato de salida

El trabajo de evaluación envía los resultados a la ubicación S3 especificada en formato JSONL. Cada línea contiene los resultados de la evaluación de una muestra:

{  
  "id": "sample-001",  
  "aggregate_reward_score": 0.75,  
  "metrics_list": [  
    {  
      "name": "accuracy",  
      "value": 0.85,  
      "type": "Metric"  
    },  
    {  
      "name": "fluency",  
      "value": 0.90,  
      "type": "Reward"  
    }  
  ]  
}

Interpretación de los resultados

Puntuación de recompensa agregada

Métricas individuales

Puntos de referencia de rendimiento

Lo que constituye un rendimiento «bueno» depende del caso de uso:

Resolución de problemas

Problemas comunes

Lista de verificación de depuración

Prácticas recomendadas

Siguientes pasos

Tras completar la evaluación de la RFT: