View a markdown version of this page

Réparation automatique du processeur graphique pour les instances gérées par Amazon ECS - Amazon Elastic Container Service

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Réparation automatique du processeur graphique pour les instances gérées par Amazon ECS

Amazon ECS surveille l'état des GPU NVIDIA sur les instances gérées Amazon ECS qui utilisent du matériel GPU. Lorsqu'Amazon ECS détecte une défaillance matérielle du GPU, il peut automatiquement remplacer l'instance défectueuse. La réparation automatique du GPU est activée par défaut pour les instances gérées Amazon ECS.

Comment ça marche

Amazon ECS utilise NVIDIA Data Center GPU Manager (DCGM) pour surveiller l'état des GPU NVIDIA sur les instances gérées dotées d'un matériel GPU. Lorsque DCGM signale une défaillance critique du GPU, Amazon ECS marque l'instance comme étant altérée.

Amazon ECS surveille également les NVIDIA MPS démon sur les instances qui utilisent le partage GPU. Si le MPS le démon échoue, Amazon ECS marque l'instance comme étant altérée et la remplace en utilisant le même flux de travail.

Lorsque la réparation automatique du GPU est activée, Amazon ECS remplace l'instance altérée en utilisant un flux de travail « démarrer-before-stop » :

  1. Amazon ECS définit l'instance altérée sur DRAINING. Aucune nouvelle tâche n'est placée sur l'instance.

  2. Amazon ECS fournit une instance de remplacement.

  3. Amazon ECS permet aux tâches existantes de s'arrêter correctement. Amazon ECS respecte le délai d'arrêt des tâches pour les tâches de l'instance.

  4. Une fois la période de vidange terminée, Amazon ECS met fin à l'instance altérée.

Amazon ECS limite les actions de réparation afin d'empêcher les remplacements en cascade. Pas plus de 20 % des instances appartenant au fournisseur de capacité ne peuvent être vidées à la fois. S'il y a moins de 9 instances dans le fournisseur de capacité, au plus une instance est vidée à la fois.

Surveillance de l'état du GPU

Vous pouvez utiliser le DescribeContainerInstances API pour vérifier l'état du GPU. Pour plus d’informations, consultez Surveillance de l’état des instances de conteneurs Amazon ECS. Vous pouvez également surveiller l'évolution de l'état de santé du GPU via Événements de modification de l'état de santé des instances de conteneurs Amazon ECS.

Codes d'erreur XID surveillés

Amazon ECS surveille les codes d'erreur NVIDIA Xid suivants. Si Amazon ECS détecte l'une de ces erreurs, il marque l'instance comme étant défectueuse et la remplace.

Xid Description

46

Le processeur graphique a arrêté le traitement

48

Erreur ECC à double bit

54

Connecteur d'alimentation auxiliaire non connecté

62

Arrêt du microcontrôleur interne

64

Échec de remappage de la mémoire GPU

74

Erreur NVLink

79

Le GPU est tombé du bus

95

Erreur de mémoire non contenue

109

Délai d'expiration du changement de contexte

110

Le GPU a disparu du bus

136

La limite de retrait des pages de mémoire GPU est dépassée

140

Erreur ECC irrécupérable

142

Page de mémoire GPU supprimée en raison d'une erreur non corrigible

143

Page de mémoire GPU supprimée en raison d'un seuil d'erreur corrigible

151

Erreur d'interconnexion entre GPU et CPU

155

Erreur GPU NVLink flit CRC

156

Erreur de voie GPU NVLink

158

GPU InfoRoom endommagé

Pour plus d’informations sur les erreurs XID, consultez Erreurs XID dans la Documentation sur le déploiement et la gestion des GPU NVIDIA. Pour plus d’informations sur les messages XID individuels, consultez Comprendre les messages XID dans la Documentation sur le déploiement et la gestion des GPU NVIDIA.

Désactivation de la réparation automatique

La réparation automatique du GPU est activée par défaut pour les instances gérées Amazon ECS. Pour désactiver la réparation automatique du GPU, définissez actionsStatus pour DISABLED dans autoRepairConfiguration lorsque vous créez ou mettez à jour un fournisseur de capacité. Vous pouvez également désactiver la réparation automatique du GPU dans la console Amazon ECS lorsque vous créez ou mettez à jour un fournisseur de capacité.

Lorsque la réparation automatique du GPU est désactivée, Amazon ECS continue de surveiller l'état de santé du GPU, mais ne remplace pas automatiquement les instances altérées.

Note

La désactivation de la réparation automatique du GPU désactive également la réparation automatique d'Amazon ECS Managed Daemons. Pour plus d'informations, voir Réparation automatique d'Amazon ECS Managed Daemons.

Pour désactiver la réparation automatique du GPU

aws ecs update-capacity-provider \ --name my-gpu-capacity-provider \ --managed-instances-provider '{ "infrastructureRoleArn": "arn:aws:iam::111122223333:role/ecsInfrastructureRole", "instanceLaunchTemplate": { "ec2InstanceProfileArn": "arn:aws:iam::111122223333:instance-profile/ecsInstanceRole", "networkConfiguration": { "subnets": ["subnet-0123456789abcdef0"], "securityGroups": ["sg-0123456789abcdef0"] } }, "autoRepairConfiguration": { "actionsStatus": "DISABLED" } }'

Pour activer la réparation automatique du GPU

aws ecs update-capacity-provider \ --name my-gpu-capacity-provider \ --managed-instances-provider '{ "infrastructureRoleArn": "arn:aws:iam::111122223333:role/ecsInfrastructureRole", "instanceLaunchTemplate": { "ec2InstanceProfileArn": "arn:aws:iam::111122223333:instance-profile/ecsInstanceRole", "networkConfiguration": { "subnets": ["subnet-0123456789abcdef0"], "securityGroups": ["sg-0123456789abcdef0"] } }, "autoRepairConfiguration": { "actionsStatus": "ENABLED" } }'

Pour vérifier la configuration

aws ecs describe-capacity-providers \ --capacity-providers my-gpu-capacity-provider