Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

HyperPod solución de problemas de inferencias

Esta guía de solución de problemas aborda los problemas más comunes que pueden producirse durante el despliegue y el funcionamiento de las HyperPod inferencias de SageMaker IA. Estos problemas suelen estar relacionados con la configuración de las redes de VPC, los permisos de IAM, la administración de recursos de Kubernetes y los problemas de conectividad del operador que pueden impedir la implementación exitosa del modelo o provocar que las implementaciones fallen o permanezcan en estados pendientes.

Esta guía de solución de problemas utiliza la siguiente terminología: los pasos de solución de problemas son procedimientos de diagnóstico para identificar e investigar los problemas, la resolución proporciona las acciones específicas para solucionar los problemas identificados y la verificación confirma que la solución ha funcionado correctamente.

Se ha agotado el tiempo de espera de descarga

Al implementar un punto final de SageMaker IA, el proceso de creación falla debido a la imposibilidad de descargar el certificado de la autoridad de certificación (CA) en un entorno de VPC. Para ver los pasos de configuración detallados, consulta la guía de administración.

Mensaje de error:

Aparece el siguiente error en los CloudWatch registros de puntos finales de la SageMaker IA:

Error downloading CA certificate: Connect timeout on endpoint URL: "https://****.s3.<REGION>.amazonaws.com/****/***.pem"

Causa principal:

Solución:

La implementación del modelo está atascada en estado pendiente

Al implementar un modelo, la implementación permanece en estado «pendiente» durante un período prolongado. Esto indica que el operador de inferencia no puede iniciar la implementación del modelo en el HyperPod clúster.

Componentes afectados:

Durante el despliegue normal, el operador de inferencia debe:

Pasos para la solución de problemas:

Qué buscar:

Solución de problemas de estado de implementación del modelo

Cuando la implementación de un modelo entra en un estado «fallido», el error puede producirse en uno de los tres componentes:

Pasos para la solución de problemas:

Qué buscar:

Los registros del operador indicarán qué componente falló:

Comprobar el progreso de la implementación del modelo

Para supervisar el progreso de la implementación de su modelo e identificar posibles problemas, puede usar los comandos kubectl para comprobar el estado de varios componentes. Esto ayuda a determinar si la implementación avanza con normalidad o si ha tenido problemas durante las fases de creación del módulo del modelo, configuración del equilibrador de carga o SageMaker configuración de los terminales de IA.

Método 1: compruebe el estado del modelo JumpStart

kubectl describe jumpstartmodel.inference.sagemaker.aws.amazon.com/<model-name> -n <namespace>

Indicadores de estado clave que deben supervisarse:

Método 2: compruebe la configuración del punto final de inferencia

kubectl describe inferenceendpointconfig.inference.sagemaker.aws.amazon.com/<deployment_name> -n <namespace>

Estados de estado comunes:

Emisión de permisos VPC ENI

SageMaker Se produce un error en la creación de puntos finales de IA debido a la falta de permisos para crear interfaces de red en la VPC.

Mensaje de error:

Please ensure that the execution role for variant AllTraffic has sufficient permissions for creating an endpoint variant within a VPC

Causa raíz:

La función de ejecución del operador de inferencia carece del EC2 permiso de Amazon necesario para crear interfaces de red (ENI) en la VPC.

Solución:

Añada el siguiente permiso de IAM a la función de ejecución del operador de inferencia:

{
    "Effect": "Allow",
    "Action": [
        "ec2:CreateNetworkInterfacePermission",
        "ec2:DeleteNetworkInterfacePermission"
     ],
    "Resource": "*"
}

Verificación:

Tras añadir el permiso:

Problema con la relación de confianza de IAM

HyperPod El operador de inferencia no puede comenzar con un AssumeRoleWithWebIdentity error de STS, lo que indica un problema de configuración de la relación de confianza de IAM.

Mensaje de error:

failed to enable inference watcher for HyperPod cluster *****: operation error SageMaker: UpdateClusterInference, 
get identity: get credentials: failed to refresh cached credentials, failed to retrieve credentials, 
operation error STS: AssumeRoleWithWebIdentity, https response error StatusCode: 403, RequestID: ****, 
api error AccessDenied: Not authorized to perform sts:AssumeRoleWithWebIdentity

Solución:

Actualice la relación de confianza de la función de ejecución de IAM del operador de inferencia con la siguiente configuración.

Reemplace los siguientes marcadores de posición:

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
            "Federated": "arn:aws:iam::111122223333:oidc-provider/oidc.eks.us-east-2.amazonaws.com/id/<OIDC_ID>"
            },
            "Action": "sts:AssumeRoleWithWebIdentity",
            "Condition": {
                "StringLike": {
                    "oidc.eks.us-east-2.amazonaws.com/id/<OIDC_ID>:sub": "system:serviceaccount:<namespace>:<service-account-name>",
                    "oidc.eks.us-east-2.amazonaws.com/id/<OIDC_ID>:aud": "sts.amazonaws.com"
                }
            }
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "sagemaker.amazonaws.com"
                ]
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Verificación:

Tras actualizar la relación de confianza:

Falta un error en el complemento de la GPU NVIDIA

La implementación del modelo falla debido a un error de insuficiencia de la GPU a pesar de tener nodos de GPU disponibles. Esto ocurre cuando el complemento del dispositivo NVIDIA no está instalado en el HyperPod clúster.

Mensaje de error:

0/15 nodes are available: 10 node(s) didn't match Pod's node affinity/selector, 
5 Insufficient nvidia.com/gpu. preemption: 0/15 nodes are available: 
10 Preemption is not helpful for scheduling, 5 No preemption victims found for incoming pod.

Causa raíz:

Solución:

Instala el complemento de GPU de NVIDIA ejecutando:

kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/refs/tags/v0.17.1/deployments/static/nvidia-device-plugin.yml

Pasos de verificación:

El operador de inferencia no se puede iniciar

El módulo del operador de inferencia no se pudo iniciar y está provocando el siguiente mensaje de error. Este error se debe a que la política de permisos sobre la función de ejecución del operador no está autorizada a desempeñarsts:AssumeRoleWithWebIdentity. Debido a esto, la parte del operador que se ejecuta en el plano de control no se inicia.

Mensaje de error:

Warning Unhealthy 5m46s (x22 over 49m) kubelet Startup probe failed: Get "http://10.1.100.59:8081/healthz": context deadline exceeded (Client.Timeout exceeded while awaiting headers)

Causa raíz:

Solución:

Establezca la siguiente política de la función de ejecución del EXECUTION_ROLE_ARN operador de HyperPod inferencia:

HyperpodInferenceAccessPolicy-ml-cluster to include all resources

JSON

{
    "Version":"2012-10-17",		 	 	 		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:PutObject",
                "s3:GetObject",
                "s3:DeleteObject"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "ecr:GetAuthorizationToken"
            ],
            "Resource": "*"
        }
    ]
}

Pasos de verificación: