View a markdown version of this page

Automatische GPU-Reparatur für von Amazon ECS verwaltete Instances - Amazon Elastic Container Service

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Automatische GPU-Reparatur für von Amazon ECS verwaltete Instances

Amazon ECS überwacht den Zustand der NVIDIA-GPU auf Amazon ECS Managed Instances, die GPU-Hardware verwenden. Wenn Amazon ECS einen GPU-Hardwarefehler feststellt, kann es die beeinträchtigte Instance automatisch ersetzen. Die automatische GPU-Reparatur ist für Amazon ECS Managed Instances standardmäßig aktiviert.

Funktionsweise

Amazon ECS verwendet NVIDIA Data Center GPU Manager (DCGM), um den NVIDIA-GPU-Zustand auf verwalteten Instances mit GPU-Hardware zu überwachen. Wenn DCGM einen kritischen GPU-Ausfall meldet, markiert Amazon ECS die Instance als beeinträchtigt.

Amazon ECS überwacht auch die NVIDIA MPS Daemon auf Instances, die GPU-Sharing verwenden. Wenn der MPS Der Daemon schlägt fehl, Amazon ECS markiert die Instance als beeinträchtigt und ersetzt sie mithilfe desselben Workflows.

Wenn die automatische GPU-Reparatur aktiviert ist, ersetzt Amazon ECS die beeinträchtigte Instance mithilfe eines Workflows, bei dem das Starten vor dem Stoppen erfolgt:

  1. Amazon ECS setzt die beeinträchtigte Instance auf DRAINING. Neue Aufgaben werden der Instance nicht zugewiesen.

  2. Amazon ECS stellt eine Ersatz-Instance bereit.

  3. Amazon ECS ermöglicht das reibungslose Beenden vorhandener Aufgaben. Amazon ECS berücksichtigt das Timeout beim Stoppen von Aufgaben auf der Instance.

  4. Nach Ablauf der Belastungszeit beendet Amazon ECS die beeinträchtigte Instance.

Amazon ECS begrenzt Reparaturmaßnahmen auf eine Ratenbegrenzung, um einen kaskadierenden Austausch zu verhindern. Es können nicht mehr als 20% der Instances, die dem Kapazitätsanbieter gehören, gleichzeitig entleert werden. Wenn der Kapazitätsanbieter weniger als 9 Instances enthält, wird maximal eine Instance gleichzeitig entleert.

Überwachung des GPU-Zustands

Sie können das verwenden DescribeContainerInstances API zur Überprüfung des GPU-Zustands. Weitere Informationen finden Sie unter Überwachung des Zustands von Amazon-ECS-Container-Instances. Sie können die Änderungen des GPU-Zustands auch über das Ereignisse, die den Zustand der Amazon ECS-Container-Instance ändern.

Überwachte XID-Fehlercodes

Amazon ECS überwacht die folgenden NVIDIA Xid-Fehlercodes. Wenn Amazon ECS einen dieser Fehler erkennt, markiert es die Instance als beeinträchtigt und ersetzt die Instance.

Xid Description

46

Die GPU hat die Verarbeitung beendet

48

Doppelbit-ECC-Fehler

54

Der Hilfsstromanschluss ist nicht angeschlossen

62

Interner Mikrocontroller angehalten

64

Fehler bei der Neuzuweisung des GPU-Speichers

74

NVLink-Fehler

79

Die GPU ist aus dem Bus gefallen

95

Unbegrenzter Speicherfehler

109

Timeout beim Kontextwechsel

110

Die GPU ist aus dem Bus verschwunden

136

Das Limit für die Sperrung von Seiten im GPU-Speicher

140

Nicht behebbarer ECC-Fehler

142

Die GPU-Speicherseite wurde aufgrund eines nicht behebbaren Fehlers eingestellt

143

Die GPU-Speicherseite wurde aufgrund eines korrigierbaren Fehlerschwellenwerts geschlossen

151

Fehler bei der Verbindung zwischen GPU und CPU

155

GPU NVLink flirt CRC-Fehler

156

GPU NVLink-Spurfehler

158

GPU-InfoM ist beschädigt

Weitere Informationen zu XID-Fehlern finden Sie unter XID-Fehler in der Dokumentation zur Bereitstellung und Verwaltung von NVIDIA-GPUs. Weitere Informationen zu den einzelnen XID-Meldungen finden Sie unter XID-Meldungen verstehen in der Dokumentation zur Bereitstellung und Verwaltung von NVIDIA-GPUs.

Automatische Reparatur deaktivieren

Die automatische GPU-Reparatur ist für Amazon ECS Managed Instances standardmäßig aktiviert. Um die automatische GPU-Reparatur zu deaktivieren, setzen Sie actionsStatus zu DISABLED in autoRepairConfiguration wenn Sie einen Kapazitätsanbieter erstellen oder aktualisieren. Sie können die automatische GPU-Reparatur auch in der Amazon ECS-Konsole deaktivieren, wenn Sie einen Kapazitätsanbieter erstellen oder aktualisieren.

Wenn die automatische GPU-Reparatur deaktiviert ist, überwacht Amazon ECS weiterhin den Zustand der GPU, aber die betroffenen Instanzen werden nicht automatisch ersetzt.

Anmerkung

Durch die Deaktivierung der automatischen GPU-Reparatur wird auch die automatische Reparatur von Amazon ECS Managed Daemons deaktiviert. Weitere Informationen finden Sie unter Automatische Reparatur von Amazon ECS Managed Daemons.

Um die automatische GPU-Reparatur zu deaktivieren

aws ecs update-capacity-provider \ --name my-gpu-capacity-provider \ --managed-instances-provider '{ "infrastructureRoleArn": "arn:aws:iam::111122223333:role/ecsInfrastructureRole", "instanceLaunchTemplate": { "ec2InstanceProfileArn": "arn:aws:iam::111122223333:instance-profile/ecsInstanceRole", "networkConfiguration": { "subnets": ["subnet-0123456789abcdef0"], "securityGroups": ["sg-0123456789abcdef0"] } }, "autoRepairConfiguration": { "actionsStatus": "DISABLED" } }'

Um die automatische GPU-Reparatur zu aktivieren

aws ecs update-capacity-provider \ --name my-gpu-capacity-provider \ --managed-instances-provider '{ "infrastructureRoleArn": "arn:aws:iam::111122223333:role/ecsInfrastructureRole", "instanceLaunchTemplate": { "ec2InstanceProfileArn": "arn:aws:iam::111122223333:instance-profile/ecsInstanceRole", "networkConfiguration": { "subnets": ["subnet-0123456789abcdef0"], "securityGroups": ["sg-0123456789abcdef0"] } }, "autoRepairConfiguration": { "actionsStatus": "ENABLED" } }'

Um die Konfiguration zu überprüfen

aws ecs describe-capacity-providers \ --capacity-providers my-gpu-capacity-provider