View a markdown version of this page

Risoluzione dei problemi - Amazon SageMaker AI
Scheda Pannello di controlloScheda AttivitàPolicyEliminazione dei clusterCondivisione di risorse non allocateAdd-on l'aggiornamento dalla v1.3.x alla v1.5.0 non riesce

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Risoluzione dei problemi

La pagina seguente contiene soluzioni note per la risoluzione dei problemi dei cluster HyperPod EKS.

Scheda Pannello di controllo

Installazione non riuscita del componente aggiuntivo EKS

Per installare correttamente il componente aggiuntivo EKS, è necessaria una versione di Kubernets >= 1.30. Per l’aggiornamento, consulta Update Kubernetes version.

Per installare correttamente il componente aggiuntivo EKS, tutti i nodi devono essere in stato Pronto e tutti i pod devono essere in stato In esecuzione.

Per verificare lo stato dei tuoi nodi, usa il list-cluster-nodes AWS CLI comando o accedi al tuo cluster EKS nella console EKS e visualizza lo stato dei tuoi nodi. Risolvi il problema per ogni nodo o contatta il tuo amministratore. Se lo stato del nodo è Sconosciuto, elimina il nodo. Una volta che tutti gli stati dei nodi sono pronti, riprova a installare il componente aggiuntivo EKS HyperPod dalla console Amazon SageMaker AI.

Per controllare lo stato dei pod, utilizza il comando della CLI di Kubernetes kubectl get pods -n cloudwatch-agent o accedi al cluster EKS nella console EKS e visualizza lo stato dei pod con il namespace cloudwatch-agent. Risolvi il problema dei pod o contatta il tuo amministratore. Una volta che tutti gli stati dei pod sono in esecuzione, riprova a installare il componente aggiuntivo EKS dalla console Amazon AI. HyperPod SageMaker

Per ulteriori informazioni sulla risoluzione dei problemi, consulta Risoluzione dei problemi del componente aggiuntivo Amazon Observability EKS. CloudWatch

Scheda Attività

Se viene visualizzato il messaggio di errore relativo alla mancata configurazione della Definizione di risorse personalizzate (CRD) nel cluster, assegna le policy EKSAdminViewPolicy e ClusterAccessRole al ruolo di esecuzione del dominio.

Policy

Di seguito sono elencate le soluzioni agli errori relativi alle policy che utilizzano le API o la HyperPod console.

  • Se la policy è in stato CreateFailed o CreateRollbackFailed, devi eliminare la policy non riuscita e crearne una nuova.

  • Se la policy è in stato UpdateFailed, prova a eseguire di nuovo l’aggiornamento con lo stesso ARN della policy.

  • Se la policy è in stato UpdateRollbackFailed, devi eliminare la policy non riuscita e crearne una nuova.

  • Se la policy è in stato DeleteFailed o DeleteRollbackFailed, prova a eliminarla di nuovo con lo stesso ARN della policy.

    • Se hai riscontrato un errore durante il tentativo di eliminare la priorità di Compute o la policy del cluster utilizzando la HyperPod console, prova a eliminare l'utilizzo dell'cluster-scheduler-configAPI. Per verificare lo stato della risorsa, vai alla pagina dei dettagli di un’allocazione delle risorse di calcolo.

Per visualizzare maggiori dettagli sull’errore, utilizza l’API describe.

Eliminazione dei cluster

Di seguito sono elencate le soluzioni note per gli errori relativi all’eliminazione dei cluster.

  • Se l'eliminazione del cluster non riesce a causa delle politiche di governance delle SageMaker HyperPod attività allegate, sarà necessario farlo. Eliminazione delle policy

  • Se l’eliminazione del cluster non riesce perché mancano le autorizzazioni seguenti, devi aggiornare il set minimo di autorizzazioni dell’amministratore del cluster. Consulta la scheda Amazon EKS nella sezione Utenti IAM per l’amministratore del cluster.

    • sagemaker:ListComputeQuotas

    • sagemaker:ListClusterSchedulerConfig

    • sagemaker:DeleteComputeQuota

    • sagemaker:DeleteClusterSchedulerConfig

Condivisione di risorse non allocate

Se la capacità del pool di risorse non allocate è inferiore al previsto:

  1. Verifica lo stato di disponibilità del nodo 

    kubectl get nodes

    Verifica che tutti i nodi mostrino Ready lo stato nella colonna STATUS.

  2. Controlla lo stato programmabile del nodo 

    kubectl get nodes -o custom-columns=NAME:.metadata.name,UNSCHEDULABLE:.spec.unschedulable

    Verifica che i nodi siano visualizzati <none> o false menotrue.

  3. Elenca la condivisione delle risorse non allocate: ClusterQueues 

    kubectl get clusterqueue | grep hyperpod-ns-idle-resource-sharing

    Questo mostra tutte le condivisioni di risorse non allocate. ClusterQueues Se non ClusterQueues vengono visualizzati, controlla la FailureReason seguente ClusterSchedulerConfig policy per vedere se ci sono messaggi di errore per continuare il debug.

  4. Verifica la quota di condivisione delle risorse non allocate: 

    kubectl describe clusterqueue hyperpod-ns-idle-resource-sharing-<index>

    Controlla la spec.resourceGroups[].flavors[].resources sezione per vedere la quota allocata per ogni tipo di risorsa.

    ClusterQueues Può esistere una condivisione di più risorse non allocate a seconda del numero di varianti di risorse nel cluster.

  5. Controlla lo stato della configurazione MIG (nodi GPU): 

    kubectl get nodes -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.metadata.labels.nvidia\.com/mig\.config\.state}{"\n"}{end}'

    Verifica che i MIG-enabled nodi success mostrino lo stato.

Add-on l'aggiornamento dalla v1.3.x alla v1.5.0 non riesce

Sintomo: quando si aggiorna il componente aggiuntivo per la governance delle attività direttamente dalla v1.3.x (Kueue v0.12) alla v1.5.0 (Kueue v0.18) utilizzando, il componente aggiuntivo entra in stato con il seguente errore: aws eks update-addon UPDATE_FAILED

CustomResourceDefinition.apiextensions.k8s.io "cohorts.kueue.x-k8s.io" is invalid:
status.storedVersions[0]: Invalid value: "v1alpha1": missing from spec.versions;
v1alpha1 was previously a storage version, and must remain in spec.versions until
a storage migration ensures no data remains persisted in v1alpha1 and removes
v1alpha1 from status.storedVersions

Risoluzione: utilizza l'opzione di aggiornamento nella console AI. SageMaker HyperPod La console gestisce automaticamente la migrazione CRD eseguendo il backup delle risorse esistenti, migrando StoredVersions, aggiornando il componente aggiuntivo e ripristinando le risorse. Per eseguire la migrazione manualmente tramite l'interfaccia aggiuntiva Amazon EKS, consulta. Aggiornamento dalla v1.3.x alla v1.5