Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Réparation automatique du processeur graphique pour les instances gérées par Amazon ECS
Amazon ECS surveille l'état des GPU NVIDIA sur les instances gérées Amazon ECS qui utilisent du matériel GPU. Lorsqu'Amazon ECS détecte une défaillance matérielle du GPU, il peut automatiquement remplacer l'instance défectueuse. La réparation automatique du GPU est activée par défaut pour les instances gérées Amazon ECS.
Comment ça marche
Amazon ECS utilise NVIDIA Data Center GPU Manager (DCGM) pour surveiller l'état des GPU NVIDIA sur les instances gérées dotées d'un matériel GPU. Lorsque DCGM signale une défaillance critique du GPU, Amazon ECS marque l'instance comme étant altérée.
Amazon ECS surveille également les NVIDIA MPS démon sur les instances qui utilisent le partage GPU. Si le MPS le démon échoue, Amazon ECS marque l'instance comme étant altérée et la remplace en utilisant le même flux de travail.
Lorsque la réparation automatique du GPU est activée, Amazon ECS remplace l'instance altérée en utilisant un flux de travail « démarrer-before-stop » :
-
Amazon ECS définit l'instance altérée sur DRAINING. Aucune nouvelle tâche n'est placée sur l'instance.
-
Amazon ECS fournit une instance de remplacement.
-
Amazon ECS permet aux tâches existantes de s'arrêter correctement. Amazon ECS respecte le délai d'arrêt des tâches pour les tâches de l'instance.
-
Une fois la période de vidange terminée, Amazon ECS met fin à l'instance altérée.
Amazon ECS limite les actions de réparation afin d'empêcher les remplacements en cascade. Pas plus de 20 % des instances appartenant au fournisseur de capacité ne peuvent être vidées à la fois. S'il y a moins de 9 instances dans le fournisseur de capacité, au plus une instance est vidée à la fois.
Surveillance de l'état du GPU
Vous pouvez utiliser le DescribeContainerInstances API pour vérifier l'état du GPU. Pour plus d’informations, consultez Surveillance de l’état des instances de conteneurs Amazon ECS. Vous pouvez également surveiller l'évolution de l'état de santé du GPU via Événements de modification de l'état de santé des instances de conteneurs Amazon ECS.
Codes d'erreur XID surveillés
Amazon ECS surveille les codes d'erreur NVIDIA Xid suivants. Si Amazon ECS détecte l'une de ces erreurs, il marque l'instance comme étant défectueuse et la remplace.
| Xid | Description |
|---|---|
46 |
Le processeur graphique a arrêté le traitement |
48 |
Erreur ECC à double bit |
54 |
Connecteur d'alimentation auxiliaire non connecté |
62 |
Arrêt du microcontrôleur interne |
64 |
Échec de remappage de la mémoire GPU |
74 |
Erreur NVLink |
79 |
Le GPU est tombé du bus |
95 |
Erreur de mémoire non contenue |
109 |
Délai d'expiration du changement de contexte |
110 |
Le GPU a disparu du bus |
136 |
La limite de retrait des pages de mémoire GPU est dépassée |
140 |
Erreur ECC irrécupérable |
142 |
Page de mémoire GPU supprimée en raison d'une erreur non corrigible |
143 |
Page de mémoire GPU supprimée en raison d'un seuil d'erreur corrigible |
151 |
Erreur d'interconnexion entre GPU et CPU |
155 |
Erreur GPU NVLink flit CRC |
156 |
Erreur de voie GPU NVLink |
158 |
GPU InfoRoom endommagé |
Pour plus d’informations sur les erreurs XID, consultez Erreurs XID
Désactivation de la réparation automatique
La réparation automatique du GPU est activée par défaut pour les instances gérées Amazon ECS. Pour désactiver la réparation automatique du GPU, définissez actionsStatus pour DISABLED dans autoRepairConfiguration lorsque vous créez ou mettez à jour un fournisseur de capacité. Vous pouvez également désactiver la réparation automatique du GPU dans la console Amazon ECS lorsque vous créez ou mettez à jour un fournisseur de capacité.
Lorsque la réparation automatique du GPU est désactivée, Amazon ECS continue de surveiller l'état de santé du GPU, mais ne remplace pas automatiquement les instances altérées.
La désactivation de la réparation automatique du GPU désactive également la réparation automatique d'Amazon ECS Managed Daemons. Pour plus d'informations, voir Réparation automatique d'Amazon ECS Managed Daemons.
Pour désactiver la réparation automatique du GPU
aws ecs update-capacity-provider \ --namemy-gpu-capacity-provider\ --managed-instances-provider '{ "infrastructureRoleArn": "arn:aws:iam::111122223333:role/ecsInfrastructureRole", "instanceLaunchTemplate": { "ec2InstanceProfileArn": "arn:aws:iam::111122223333:instance-profile/ecsInstanceRole", "networkConfiguration": { "subnets": ["subnet-0123456789abcdef0"], "securityGroups": ["sg-0123456789abcdef0"] } }, "autoRepairConfiguration": { "actionsStatus": "DISABLED" } }'
Pour activer la réparation automatique du GPU
aws ecs update-capacity-provider \ --namemy-gpu-capacity-provider\ --managed-instances-provider '{ "infrastructureRoleArn": "arn:aws:iam::111122223333:role/ecsInfrastructureRole", "instanceLaunchTemplate": { "ec2InstanceProfileArn": "arn:aws:iam::111122223333:instance-profile/ecsInstanceRole", "networkConfiguration": { "subnets": ["subnet-0123456789abcdef0"], "securityGroups": ["sg-0123456789abcdef0"] } }, "autoRepairConfiguration": { "actionsStatus": "ENABLED" } }'
Pour vérifier la configuration
aws ecs describe-capacity-providers \ --capacity-providersmy-gpu-capacity-provider