Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Evaluación y comparación del rendimiento del modelo
Evalúe los modelos de clasificación de texto implementados con el marco de evaluación. El marco admite modos de evaluación supervisados y no supervisados en un enfoque basado en cuadernos.
Uso de conjuntos de datos integrados
Recomendamos utilizar el conjunto de datos de evaluación supervisada integrado para este tutorial, ya que la mayoría de los usuarios no tienen los datos de evaluación etiquetados fácilmente. Los conjuntos de datos integrados proporcionan un análisis integral del rendimiento en diferentes escenarios:
Conjuntos de datos equilibrados: distribución de clases equitativa para el rendimiento de referencia.
Conjuntos de datos sesgados: clases desequilibradas para pruebas en el mundo real.
Conjuntos de datos complejos: casos límite para probar la solidez del modelo.
La evaluación genera métricas clave, como la exactitud, la precisión, la exhaustividad, la puntuación F1, el coeficiente de correlación de Matthews (MCC) y las puntuaciones de las características operativas del receptor Área bajo la curva, con curvas visuales para comparar los modelos.
Uso de datos personalizados
Si tiene su propio conjunto de datos etiquetado, puede sustituirlo dentro del cuaderno. El marco se adapta automáticamente al formato de sus datos y genera las mismas métricas integrales.
Formatos de datos admitidos:
Formato CSV: dos columnas:
textylabelFormatos de etiqueta: “positive”/”negative”, “LABEL_0”/”LABEL_1”, “True”/”False” o “0”/”1”
Sin supervisión: una única columna de
textpara un análisis de confianza
Configuración del entorno de evaluación
Cree un JupyterLab espacio en SageMaker Amazon SageMaker Studio para ejecutar el cuaderno de evaluación.
-
En Studio, elige una opción JupyterLaben la pantalla de inicio.
-
Si no tiene ningún espacio:
-
Elija Crear espacio.
-
Introduzca un nombre de paso descriptivo (por ejemplo,
TextModelEvaluation). -
Mantenga el tipo de instancia predeterminado.
-
Seleccione Ejecutar espacio.
-
Cuando se haya creado el espacio, selecciona Abrir JupyterLab.
-
Acceso al cuaderno de evaluación
Descargue el archivo zip y extráigalo en el equipo local. Sube toda la carpeta extraída a tu JupyterLab espacio para empezar a probar tus modelos. El paquete contiene el cuaderno de evaluación principal, conjuntos de datos de muestra, módulos de Python compatibles e instrucciones detalladas del marco de evaluación completo.
nota
Después de extraer el paquete, revise el archivo README para obtener instrucciones de configuración detalladas y una descripción general del marco.
Continúe con Interpretación de los resultados para aprender a analizar el resultado de la evaluación y tomar decisiones de selección de modelos basadas en datos.
