Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Implementación de la observabilidad de inferencias en clústeres HyperPod

Amazon SageMaker HyperPod ofrece capacidades integrales de observabilidad de inferencias que permiten a los científicos de datos y a los ingenieros de aprendizaje automático monitorear y optimizar sus modelos implementados. Esta solución se habilita a través de SageMaker HyperPod Observability y recopila automáticamente métricas de rendimiento para las cargas de trabajo de inferencia, lo que ofrece una supervisión lista para la producción a través de los paneles integrados de Prometheus y Grafana.

Con las métricas habilitadas de forma predeterminada, la plataforma captura datos esenciales de rendimiento del modelo, como la latencia de invocación, las solicitudes simultáneas, las tasas de error y las métricas de los token, al tiempo que proporciona puntos de conexión de Prometheus estándar para los clientes que prefieren implementar soluciones de observabilidad personalizadas.

Esta guía proporciona step-by-step instrucciones para implementar y usar la observabilidad de inferencias en sus clústeres. HyperPod Aprenderá a configurar las métricas en los archivos YAML de implementación, a acceder a los paneles de supervisión en función de su rol (administrador, científico de datos o ingeniero de machine learning), a integrarse con soluciones de observabilidad personalizadas mediante puntos de conexión de Prometheus y a solucionar problemas de supervisión comunes.

Métricas de inferencia admitidas

Métricas de invocación

Estas métricas capturan los datos de solicitud y respuesta de inferencia del modelo, lo que proporciona una visibilidad universal independientemente del tipo de modelo o del marco de servicio. Cuando las métricas de inferencia están activas, estas métricas se calculan en el momento de la invocación y se exportan a la infraestructura de supervisión.

Métricas de contenedor del modelo

Estas métricas proporcionan información sobre las operaciones internas de los contenedores del modelo, incluido el procesamiento de los tokens, la administración de las colas y los indicadores de rendimiento específicos del marco. Las métricas disponibles dependen del marco de servicio del modelo:

Dimensiones métricas

Todas las métricas de inferencia incluyen etiquetas completas que permiten filtrar y analizar con detalle todas las implementaciones:

Configuración de las métricas en el YAML de implementación

Amazon SageMaker HyperPod habilita las métricas de inferencia de forma predeterminada para todas las implementaciones de modelos, lo que proporciona una observabilidad inmediata sin necesidad de configuración adicional. Puede personalizar el comportamiento de las métricas modificando la configuración de YAML de la implementación para habilitar o deshabilitar la recopilación de métricas en función de sus requisitos específicos.

Implemente un modelo desde JumpStart

Usa la siguiente configuración de YAML para implementar un JuJumpStartmpStart modelo con las métricas habilitadas:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Implemente modelos personalizados y ajustados desde Amazon S3 o Amazon FSx

Configure puntos de conexión de inferencia personalizados con parámetros de métricas detallados mediante el siguiente YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

Supervise y solucione los problemas de las cargas de trabajo de inferencia por rol

Amazon SageMaker HyperPod proporciona capacidades de observabilidad integrales que admiten diferentes flujos de trabajo de usuario, desde la configuración inicial del clúster hasta la solución avanzada de problemas de rendimiento. Utilice las siguientes instrucciones según su rol y los requisitos de supervisión.

HyperPod administrador

Su responsabilidad: activar la infraestructura de observabilidad y garantizar el buen estado del sistema en todo el clúster.

Qué debe saber:

Qué debe hacer:

Esta única acción implementa automáticamente el complemento EKS, configura los operadores de observabilidad y aprovisiona paneles prediseñados en Grafana.

Científico de datos

Su responsabilidad: implementar los modelos de manera eficiente y supervisar su rendimiento básico.

Qué debe saber:

Qué debe hacer:

Una vez completado este proceso, tendrá una visibilidad inmediata del rendimiento de su modelo sin que sea necesaria ninguna configuración adicional, lo que le permitirá identificar rápidamente los problemas de implementación o los cambios en el rendimiento.

Ingeniero de machine learning (MLE)

Su responsabilidad: mantener el rendimiento del modelo de producción y resolver problemas de rendimiento complejos.

Qué debe saber:

Escenario hipotético: el modelo de chat de un cliente genera respuestas lentas e intermitentes. Los usuarios se quejan de retrasos de entre 5 a 10 segundos. El MLE puede aprovechar la observabilidad de la inferencia para llevar a cabo una investigación sistemática del rendimiento.

Qué debe hacer:

Puede diagnosticar problemas de rendimiento complejos sistemáticamente usando métricas exhaustivas, implementar correcciones específicas y establecer medidas preventivas para mantener un rendimiento uniforme del modelo de producción.

Implementación de su propia integración de observabilidad

Amazon SageMaker HyperPod expone las métricas de inferencia a través de puntos de enlace Prometheus estándares del sector, lo que permite la integración con su infraestructura de observabilidad existente. Utilice este enfoque cuando prefiera implementar soluciones de supervisión personalizadas o integrarlas con plataformas de observabilidad de terceros en lugar de utilizar la pila integrada de Grafana y Prometheus.

Acceso a los puntos de conexión de las métricas de inferencia

Qué debe saber:

Configuración del punto de conexión de las métricas de inferencia:

Métricas de instancia disponibles:

Acceda a las métricas del contenedor del modelo

Qué debe saber:

Para despliegues de JumpStart modelos que utilizan contenedores de inferencia de generación de texto (TGI):

Para despliegues de JumpStart modelos que utilizan contenedores de inferencia de modelos grandes (LMI):

Para puntos de conexión de inferencia personalizados (BYOD):

Implementación de una integración de observabilidad personalizada

Con una integración de observabilidad personalizada, usted es responsable de:

Solución de problemas de observabilidad de inferencias

El panel no muestra datos

Si el panel de Grafana está vacío y todos los paneles muestran “Sin datos”, lleve a cabo los siguientes pasos para investigar:

Otros problemas comunes