Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Automatische GPU-Reparatur für von Amazon ECS verwaltete Instances
Amazon ECS überwacht den Zustand der NVIDIA-GPU auf Amazon ECS Managed Instances, die GPU-Hardware verwenden. Wenn Amazon ECS einen GPU-Hardwarefehler feststellt, kann es die beeinträchtigte Instance automatisch ersetzen. Die automatische GPU-Reparatur ist für Amazon ECS Managed Instances standardmäßig aktiviert.
Funktionsweise
Amazon ECS verwendet NVIDIA Data Center GPU Manager (DCGM), um den NVIDIA-GPU-Zustand auf verwalteten Instances mit GPU-Hardware zu überwachen. Wenn DCGM einen kritischen GPU-Ausfall meldet, markiert Amazon ECS die Instance als beeinträchtigt.
Amazon ECS überwacht auch die NVIDIA MPS Daemon auf Instances, die GPU-Sharing verwenden. Wenn der MPS Der Daemon schlägt fehl, Amazon ECS markiert die Instance als beeinträchtigt und ersetzt sie mithilfe desselben Workflows.
Wenn die automatische GPU-Reparatur aktiviert ist, ersetzt Amazon ECS die beeinträchtigte Instance mithilfe eines Workflows, bei dem das Starten vor dem Stoppen erfolgt:
-
Amazon ECS setzt die beeinträchtigte Instance auf DRAINING. Neue Aufgaben werden der Instance nicht zugewiesen.
-
Amazon ECS stellt eine Ersatz-Instance bereit.
-
Amazon ECS ermöglicht das reibungslose Beenden vorhandener Aufgaben. Amazon ECS berücksichtigt das Timeout beim Stoppen von Aufgaben auf der Instance.
-
Nach Ablauf der Belastungszeit beendet Amazon ECS die beeinträchtigte Instance.
Amazon ECS begrenzt Reparaturmaßnahmen auf eine Ratenbegrenzung, um einen kaskadierenden Austausch zu verhindern. Es können nicht mehr als 20% der Instances, die dem Kapazitätsanbieter gehören, gleichzeitig entleert werden. Wenn der Kapazitätsanbieter weniger als 9 Instances enthält, wird maximal eine Instance gleichzeitig entleert.
Überwachung des GPU-Zustands
Sie können das verwenden DescribeContainerInstances API zur Überprüfung des GPU-Zustands. Weitere Informationen finden Sie unter Überwachung des Zustands von Amazon-ECS-Container-Instances. Sie können die Änderungen des GPU-Zustands auch über das Ereignisse, die den Zustand der Amazon ECS-Container-Instance ändern.
Überwachte XID-Fehlercodes
Amazon ECS überwacht die folgenden NVIDIA Xid-Fehlercodes. Wenn Amazon ECS einen dieser Fehler erkennt, markiert es die Instance als beeinträchtigt und ersetzt die Instance.
| Xid | Description |
|---|---|
46 |
Die GPU hat die Verarbeitung beendet |
48 |
Doppelbit-ECC-Fehler |
54 |
Der Hilfsstromanschluss ist nicht angeschlossen |
62 |
Interner Mikrocontroller angehalten |
64 |
Fehler bei der Neuzuweisung des GPU-Speichers |
74 |
NVLink-Fehler |
79 |
Die GPU ist aus dem Bus gefallen |
95 |
Unbegrenzter Speicherfehler |
109 |
Timeout beim Kontextwechsel |
110 |
Die GPU ist aus dem Bus verschwunden |
136 |
Das Limit für die Sperrung von Seiten im GPU-Speicher |
140 |
Nicht behebbarer ECC-Fehler |
142 |
Die GPU-Speicherseite wurde aufgrund eines nicht behebbaren Fehlers eingestellt |
143 |
Die GPU-Speicherseite wurde aufgrund eines korrigierbaren Fehlerschwellenwerts geschlossen |
151 |
Fehler bei der Verbindung zwischen GPU und CPU |
155 |
GPU NVLink flirt CRC-Fehler |
156 |
GPU NVLink-Spurfehler |
158 |
GPU-InfoM ist beschädigt |
Weitere Informationen zu XID-Fehlern finden Sie unter XID-Fehler
Automatische Reparatur deaktivieren
Die automatische GPU-Reparatur ist für Amazon ECS Managed Instances standardmäßig aktiviert. Um die automatische GPU-Reparatur zu deaktivieren, setzen Sie actionsStatus zu DISABLED in autoRepairConfiguration wenn Sie einen Kapazitätsanbieter erstellen oder aktualisieren. Sie können die automatische GPU-Reparatur auch in der Amazon ECS-Konsole deaktivieren, wenn Sie einen Kapazitätsanbieter erstellen oder aktualisieren.
Wenn die automatische GPU-Reparatur deaktiviert ist, überwacht Amazon ECS weiterhin den Zustand der GPU, aber die betroffenen Instanzen werden nicht automatisch ersetzt.
Durch die Deaktivierung der automatischen GPU-Reparatur wird auch die automatische Reparatur von Amazon ECS Managed Daemons deaktiviert. Weitere Informationen finden Sie unter Automatische Reparatur von Amazon ECS Managed Daemons.
Um die automatische GPU-Reparatur zu deaktivieren
aws ecs update-capacity-provider \ --namemy-gpu-capacity-provider\ --managed-instances-provider '{ "infrastructureRoleArn": "arn:aws:iam::111122223333:role/ecsInfrastructureRole", "instanceLaunchTemplate": { "ec2InstanceProfileArn": "arn:aws:iam::111122223333:instance-profile/ecsInstanceRole", "networkConfiguration": { "subnets": ["subnet-0123456789abcdef0"], "securityGroups": ["sg-0123456789abcdef0"] } }, "autoRepairConfiguration": { "actionsStatus": "DISABLED" } }'
Um die automatische GPU-Reparatur zu aktivieren
aws ecs update-capacity-provider \ --namemy-gpu-capacity-provider\ --managed-instances-provider '{ "infrastructureRoleArn": "arn:aws:iam::111122223333:role/ecsInfrastructureRole", "instanceLaunchTemplate": { "ec2InstanceProfileArn": "arn:aws:iam::111122223333:instance-profile/ecsInstanceRole", "networkConfiguration": { "subnets": ["subnet-0123456789abcdef0"], "securityGroups": ["sg-0123456789abcdef0"] } }, "autoRepairConfiguration": { "actionsStatus": "ENABLED" } }'
Um die Konfiguration zu überprüfen
aws ecs describe-capacity-providers \ --capacity-providersmy-gpu-capacity-provider