View a markdown version of this page

Implementación de modelos fundacionales y modelos de ajuste fino personalizados - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Implementación de modelos fundacionales y modelos de ajuste fino personalizados

Ya sea que esté implementando modelos básicos de peso abierto o cerrados previamente entrenados de Amazon SageMaker JumpStart o sus propios modelos personalizados o ajustados almacenados en Amazon S3 o Amazon FSx, SageMaker HyperPod proporciona la infraestructura flexible y escalable que necesita para las cargas de trabajo de inferencia de producción.

Implemente modelos de bases abiertas y cerradas desde JumpStart Implementación de modelos personalizados y de ajuste fino de Amazon S3 y Amazon FSx Implemente modelos desde el almacenamiento NVMe local
Descripción

Implemente desde un catálogo completo de modelos fundacionales previamente entrenados con políticas de escalado y optimización automáticas adaptadas a cada familia de modelos.

Traiga sus propios modelos personalizados y ajustados y utilice la infraestructura empresarial para realizar inferencias a escala SageMaker HyperPod de producción. Elija entre un almacenamiento rentable con Amazon S3 o un sistema de archivos de alto rendimiento con Amazon FSx. Cargue los pesos de los modelos desde el almacenamiento NVMe local de un nodo para eliminar la latencia de la red durante el arranque del pod. Útil para eventos de escalado automático, cargas de trabajo que se escalan desde cero y conmutaciones por error sensibles a la latencia.
Ventajas principales
  • One-click despliegue a través de la interfaz de usuario de Amazon SageMaker Studio

  • Auto-scaling basado en las solicitudes entrantes, se habilita automáticamente

  • Pre-optimized contenedores y configuraciones para cada familia de modelos

  • Gestión del EULA para los modelos cerrados

  • Compatibilidad con numerosos backends de almacenamiento: Amazon S3 y Amazon FSx

  • Compatibilidad flexible con contenedores y marcos

  • Políticas de escalado personalizadas en función de las características de su modelo

  • Se ha reducido el tiempo de arranque en frío mediante la lectura local de las pesas

  • No hay dependencia de la red para cargar el modelo

  • Recurso opcional a Amazon S3 cuando falta la memoria caché de NVMe

  • Volúmenes e InitContainers personalizados de Kubernetes

Opciones de implementación
  • Amazon SageMaker Studio para despliegue visual

  • kubectl para operaciones Kubernetes-native

  • SDK de Python para la integración programática

  • HyperPod CLI para la automatización de la línea de comandos

  • kubectl para operaciones Kubernetes-native

  • SDK de Python para la integración programática

  • HyperPod CLI para la automatización de la línea de comandos

  • kubectl para operaciones Kubernetes-native

  • SDK de Python para la integración programática

  • HyperPod CLI para la automatización de la línea de comandos

En las siguientes secciones, se explica cómo implementar modelos de Amazon SageMaker JumpStart, Amazon S3 y Amazon FSx, y del almacenamiento NVMe local.