Validación de modelos en producción

Con SageMaker AI puede probar varios modelos o versiones de modelos detrás del mismo punto de conexión utilizando variantes. Una variante consiste en una instancia de ML y los componentes de servicio especificados en un modelo de SageMaker AI. Puede disponer de varias variantes detrás de un punto de conexión. Cada variante puede tener un tipo de instancia diferente o un modelo de SageMaker AI al que se puede ajustar automáticamente la escala de forma independiente de las demás. Los modelos de las variantes se pueden entrenar utilizando diferentes conjuntos de datos, diferentes algoritmos, diferentes marcos de ML o cualquier combinación de todos ellos. Todas las variantes de un punto de conexión comparten el mismo código de inferencia. SageMaker AI admite dos tipos de variantes, las variantes de producción y las variantes ocultas.

Si tiene varias variantes de producción detrás de un punto de conexión, puede asignar una parte de sus solicitudes de inferencia a cada variante. Cada solicitud se envía a una sola de las variantes de producción. La variante de producción a la que se envió la solicitud proporciona la respuesta a la persona que llama. Puede comparar el rendimiento de las variantes de producción entre sí.

También puede disponer de una variante oculta correspondiente a una variante de producción situada detrás de un punto de conexión. Una parte de las solicitudes de inferencia que se destinan a la variante de producción se replica en la variante oculta. Las respuestas de la variante oculta se registran para compararlas y no se devuelven a la persona que llama. Esto le permite probar el rendimiento de la variante oculta sin exponer a la persona que llama a la respuesta producida por la variante oculta.