Fehlerbehebung - Amazon SageMaker KI
Registerkarte DashboardRegisterkarte „Aufgaben“RichtlinienLöschen von ClusternGemeinsame Nutzung nicht zugewiesener Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fehlerbehebung

Die folgende Seite enthält bekannte Lösungen zur Fehlerbehebung bei Ihren HyperPod EKS-Clustern.

Registerkarte Dashboard

Die Installation des EKS-Add-ons ist fehlgeschlagen.

Damit die Installation des EKS-Add-ons erfolgreich ist, benötigen Sie eine Kubernets-Version >= 1.30. Informationen zum Update finden Sie unter Kubernetes-Version aktualisieren.

Damit die Installation des EKS-Add-ons erfolgreich ist, müssen sich alle Knoten im Status Bereit und alle Pods im Status Running befinden.

Um den Status Ihrer Knoten zu überprüfen, verwenden Sie den list-cluster-nodes AWS CLI Befehl oder navigieren Sie in der EKS-Konsole zu Ihrem EKS-Cluster und sehen Sie sich den Status Ihrer Knoten an. Beheben Sie das Problem für jeden Knoten oder wenden Sie sich an Ihren Administrator. Wenn der Knotenstatus Unbekannt ist, löschen Sie den Knoten. Sobald der Status aller Knoten „Bereit“ lautet, versuchen Sie erneut, das EKS-Add-on HyperPod von der Amazon SageMaker AI-Konsole aus zu installieren.

Um den Status Ihrer Pods zu überprüfen, verwenden Sie den Kubernetes-CLI-Befehl kubectl get pods -n cloudwatch-agent oder navigieren Sie in der EKS-Konsole zu Ihrem EKS-Cluster und zeigen Sie den Status Ihrer Pods mit dem Namespace cloudwatch-agent an. Beheben Sie das Problem mit den Pods oder wenden Sie sich an Ihren Administrator, um das Problem zu lösen. Sobald alle Pod-Status „Wird ausgeführt“ lauten, versuchen Sie erneut, das EKS-Add-on HyperPod von der Amazon SageMaker AI-Konsole aus zu installieren.

Weitere Informationen zur Fehlerbehebung finden Sie unter Fehlerbehebung beim Amazon CloudWatch Observability EKS-Add-on.

Registerkarte „Aufgaben“

Wenn Ihnen die Fehlermeldung angezeigt wird, dass die benutzerdefinierte Ressourcendefinition (CRD) auf dem Cluster nicht konfiguriert ist, gewähren Sie Ihrer Domain-Ausführungsrolle Rechte EKSAdminViewPolicy und ClusterAccessRole Richtlinien.

Richtlinien

Im Folgenden werden Lösungen für Fehler im Zusammenhang mit Richtlinien aufgeführt, die die HyperPod APIs OR-Konsole verwenden.

  • Wenn sich die Richtlinie in CreateFailed oder im CreateRollbackFailed Status befindet, müssen Sie die fehlgeschlagene Richtlinie löschen und eine neue erstellen.

  • Wenn die Richtlinie im Status UpdateFailed ist, versuchen Sie die Aktualisierung mit derselben Richtlinien-ARN erneut.

  • Wenn die Richtlinie den UpdateRollbackFailed Status hat, müssen Sie die fehlgeschlagene Richtlinie löschen und anschließend eine neue erstellen.

  • Wenn die Richtlinie im Status DeleteFailed und ist, versuchen Sie erneut, sie mit derselben Richtlinien-ARN zu löschen.

    • Wenn Sie beim Versuch, die Compute-Priorisierung oder Cluster-Richtlinie über die HyperPod Konsole zu löschen, auf einen Fehler gestoßen sind, versuchen Sie, diese cluster-scheduler-config mithilfe der API zu löschen. Um den Status der Ressource zu überprüfen, rufen Sie die Detailseite einer Rechenzuweisung auf.

Verwenden Sie die Describe-API, um weitere Informationen zu dem Fehler zu erhalten.

Löschen von Clustern

Im Folgenden sind bekannte Lösungen für Fehler im Zusammenhang mit dem Löschen von Clustern aufgeführt.

  • Wenn das Löschen des Clusters aufgrund der beigefügten SageMaker HyperPod Task-Governance-Richtlinien fehlschlägt, müssen Sie dies tunLöschen von Richtlinien.

  • Wenn das Löschen eines Clusters fehlschlägt, weil die folgenden Berechtigungen fehlen, müssen Sie die Mindestberechtigungen Ihres Clusteradministrators aktualisieren. Weitere Informationen finden Sie im IAM-Benutzer für den Clusteradministrator Abschnitt auf der Registerkarte Amazon EKS.

    • sagemaker:ListComputeQuotas

    • sagemaker:ListClusterSchedulerConfig

    • sagemaker:DeleteComputeQuota

    • sagemaker:DeleteClusterSchedulerConfig

Gemeinsame Nutzung nicht zugewiesener Ressourcen

Wenn die Kapazität Ihres nicht zugewiesenen Ressourcenpools geringer als erwartet ist:

  1. Überprüfen Sie den Status des Knotens bereit

    kubectl get nodes

    Stellen Sie sicher, dass alle Knoten Ready den Status in der STATUS-Spalte anzeigen.

  2. Überprüfen Sie den Status des Knotens, der planbar ist

    kubectl get nodes -o custom-columns=NAME:.metadata.name,UNSCHEDULABLE:.spec.unschedulable

    Überprüfen Sie, ob die Knoten angezeigt <none> werden false oder nichttrue.

  3. Listet die gemeinsame Nutzung ClusterQueues nicht zugewiesener Ressourcen auf:

    kubectl get clusterqueue | grep hyperpod-ns-idle-resource-sharing

    Dies zeigt alle nicht zugewiesenen Ressourcen, die gemeinsam genutzt werden. ClusterQueues Wenn sie nicht angezeigt ClusterQueues werden, überprüfen Sie in der FailureReason nachfolgenden ClusterSchedulerConfig Richtlinie, ob es Fehlermeldungen gibt, um das Debuggen fortzusetzen.

  4. Überprüfen Sie das Kontingent für die gemeinsame Nutzung nicht zugewiesener Ressourcen

    kubectl describe clusterqueue hyperpod-ns-idle-resource-sharing-<index>

    In dem spec.resourceGroups[].flavors[].resources Abschnitt finden Sie das für die einzelnen Ressourcenarten zugewiesene Kontingent.

    Abhängig von der Anzahl der Ressourcenvarianten in Ihrem Cluster ClusterQueues können mehrere nicht zugewiesene Ressourcen gemeinsam genutzt werden.

  5. Überprüfen Sie den MIG-Konfigurationsstatus (GPU-Knoten):

    kubectl get nodes -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.metadata.labels.nvidia\.com/mig\.config\.state}{"\n"}{end}'

    Überprüfen Sie, ob MIG-fähige Knoten den Status anzeigensuccess.