Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

CloudWatch solution : charge de travail du GPU NVIDIA sur Amazon EC2

Cette solution vous permet de configurer la collecte de out-of-the-box métriques à l'aide d' CloudWatch agents pour les charges de travail GPU NVIDIA exécutées sur des EC2 instances. En outre, il vous aide à configurer un tableau de CloudWatch bord préconfiguré. Pour des informations générales sur toutes les solutions CloudWatch d'observabilité, consultezCloudWatch solutions d'observabilité.

Prérequis

Cette solution est pertinente pour les conditions suivantes :

Avantages

La solution assure la surveillance de NVIDIA et fournit des informations précieuses pour les cas d’utilisation suivants :

Vous trouverez ci-dessous les principaux avantages de la solution :

L’image suivante est un exemple de tableau de bord pour cette solution.

Coûts

Cette solution crée et utilise des ressources dans votre compte. Les coûts d’utilisation standard vous sont facturés, y compris les éléments suivants :

Pour plus d'informations sur CloudWatch les tarifs, consultez Amazon CloudWatch Pricing.

Le calculateur de prix peut vous aider à estimer les coûts mensuels approximatifs de l’utilisation de cette solution.

CloudWatch configuration de l'agent pour cette solution

L' CloudWatch agent est un logiciel qui s'exécute de manière continue et autonome sur vos serveurs et dans des environnements conteneurisés. Il collecte des métriques, des journaux et des traces à partir de votre infrastructure et de vos applications et les envoie à CloudWatch X-Ray.

Pour plus d'informations sur l' CloudWatch agent, consultezCollectez des métriques, des journaux et des traces à l'aide de l' CloudWatchagent.

La configuration de l’agent dans cette solution collecte un ensemble de métriques pour vous aider à démarrer la surveillance et l’observation de votre GPU NVIDIA. L' CloudWatch agent peut être configuré pour collecter plus de métriques du GPU NVIDIA que ce que le tableau de bord affiche par défaut. Pour obtenir une liste de toutes les métriques du GPU NVIDIA que vous pouvez collecter, consultez Collecter des métriques GPU NVIDIA .

Configuration de l’agent pour cette solution

Les métriques collectées par l’agent sont définies dans la configuration de l’agent. La solution fournit des configurations d’agent pour collecter les métriques recommandées avec des dimensions appropriées pour le tableau de bord de la solution.

Utilisez la configuration d' CloudWatch agent suivante sur EC2 les instances avec NVIDIA GPUs. La configuration sera stockée en tant que paramètre dans le magasin de paramètres de SSM, comme détaillé plus loin dans Étape 2 : enregistrer le fichier de configuration d' CloudWatch agent recommandé dans le magasin de paramètres de Systems Manager.

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

Déployer l’agent pour votre solution

Il existe plusieurs approches pour installer l' CloudWatch agent, selon le cas d'utilisation. Nous vous recommandons d’utiliser Systems Manager pour cette solution. Il fournit une expérience de console et simplifie la gestion d'un parc de serveurs gérés au sein d'un seul AWS compte. Les instructions de cette section utilisent Systems Manager et sont destinées aux situations où l' CloudWatch agent n'est pas exécuté avec des configurations existantes. Vous pouvez vérifier si l' CloudWatch agent est en cours d'exécution en suivant les étapes décrites dansVérifiez que l' CloudWatch agent est en cours d'exécution.

Si vous exécutez déjà l' CloudWatch agent sur les EC2 hôtes sur lesquels la charge de travail est déployée et que vous gérez les configurations de l'agent, vous pouvez ignorer les instructions de cette section et suivre votre mécanisme de déploiement existant pour mettre à jour la configuration. Veillez à fusionner la configuration de l’agent de GPU NVIDIA avec votre configuration d’agent existante, puis déployez la configuration fusionnée. Si vous utilisez Systems Manager pour stocker et gérer la configuration de l' CloudWatch agent, vous pouvez fusionner la configuration avec la valeur de paramètre existante. Pour plus d'informations, consultez la section Gestion des fichiers de configuration des CloudWatch agents.

Le processus de déploiement comprend les étapes suivantes :

Étape 1 : Assurez-vous que les EC2 instances cibles disposent des autorisations IAM requises

Vous devez autoriser Systems Manager à installer et configurer l' CloudWatch agent. Vous devez également autoriser l' CloudWatch agent à publier des données télémétriques depuis votre EC2 instance vers. CloudWatch Assurez-vous que le rôle IAM associé à l'instance est associé aux politiques Amazon SSMManaged InstanceCore IAM CloudWatchAgentServerPolicyet Amazon.

Étape 2 : enregistrer le fichier de configuration d' CloudWatch agent recommandé dans le magasin de paramètres de Systems Manager

Parameter Store simplifie l'installation de l' CloudWatch agent sur une EC2 instance en stockant et en gérant de manière sécurisée les paramètres de configuration, éliminant ainsi le besoin de valeurs codées en dur. Cela garantit un processus de déploiement plus sûr et plus flexible, permettant une gestion centralisée et des mises à jour plus faciles des configurations sur plusieurs instances.

Procédez comme suit pour enregistrer le fichier de configuration d' CloudWatch agent recommandé en tant que paramètre dans Parameter Store.

Étape 3 : Installation de l' CloudWatch agent et application de la configuration à l'aide d'un CloudFormation modèle

Vous pouvez l'utiliser AWS CloudFormation pour installer l'agent et le configurer de manière à utiliser la configuration d' CloudWatch agent que vous avez créée lors des étapes précédentes.

Si vous voulez d’abord modifier le fichier modèle pour le personnaliser, choisissez l’option Charger un fichier modèle sous Assistant de création de pile pour charger le modèle modifié. Pour plus d'informations, consultez Création d'une pile sur CloudFormation console.

Étape 4 : vérifiez que la configuration de l’agent est correcte

Vous pouvez vérifier si l' CloudWatch agent est installé en suivant les étapes décrites dansVérifiez que l' CloudWatch agent est en cours d'exécution. Si l' CloudWatch agent n'est pas installé et n'est pas en cours d'exécution, assurez-vous que tout est correctement configuré.

Si tout est correctement configuré, vous devriez voir les métriques du GPU NVIDIA publiées sur CloudWatch. Vous pouvez consulter la CloudWatch console pour vérifier qu'ils sont publiés.

Créer le tableau de bord de la solution de GPU NVIDIA

Le tableau de bord fourni par cette solution présente les GPUs métriques NVIDIA en les agrégeant et en les présentant pour toutes les instances. Le tableau de bord présente une répartition des principaux contributeurs (les 10 premiers par widget de métrique) pour chaque métrique. Cela vous aide à identifier rapidement les valeurs aberrantes ou les instances qui contribuent de manière significative aux métriques observées.

Pour créer le tableau de bord, vous pouvez utiliser les options suivantes :

En utilisant la CloudWatch console pour créer un tableau de bord, vous pouvez prévisualiser le tableau de bord avant de le créer et de le débiter.

Si vous voulez modifier le fichier modèle pour l’adapter à vos besoins, vous pouvez utiliser l’option Charger un fichier modèle sous Assistant de création de pile pour charger le modèle modifié. Pour plus d’informations, consultez Création d’une pile sur la console CloudFormation. Vous pouvez utiliser ce lien pour télécharger le modèle : https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json.

Démarrer avec le tableau de bord du GPU NVIDIA

Voici quelques tâches que vous pouvez essayer avec le nouveau tableau de bord du GPU NVIDIA. Ces tâches vous permettent de vérifier que le tableau de bord fonctionne correctement et de vous fournir une expérience pratique de son utilisation pour surveiller votre NVIDIA GPUs. Au fur et à mesure de vos essais, vous vous familiariserez avec la navigation dans le tableau de bord et l’interprétation des métriques visualisées.

Examiner l’utilisation du GPU

Dans la section Utilisation, trouvez les widgets Utilisation du GPU et Utilisation de la mémoire. Ils indiquent le pourcentage de temps pendant lequel le GPU est activement utilisé pour les calculs et le pourcentage de mémoire globale en cours de lecture ou d’écriture, respectivement. Une utilisation élevée peut indiquer des goulets d’étranglement potentiels au niveau des performances ou le besoin de ressources GPU supplémentaires.

Analyser l’utilisation de la mémoire du GPU

Dans la section Mémoire, vous trouverez les widgets Mémoire totale, Mémoire utilisée et Mémoire libre. Ils fournissent des informations sur la capacité de mémoire globale de la GPUs et sur la quantité de mémoire actuellement consommée ou disponible. La pression de la mémoire peut entraîner des problèmes de performances ou out-of-memory des erreurs. Il est donc important de surveiller ces indicateurs et de s'assurer que suffisamment de mémoire est disponible pour vos charges de travail.

Surveiller la température et la consommation d’énergie

Dans la section Température/Puissance, vous trouverez les widgets Température du GPU et Consommation d’énergie. Ces paramètres sont essentiels pour garantir que vous fonctionnez GPUs dans des limites thermiques et de puissance sûres.

Identifier les performances de l’encodeur

Dans la section Encodeur, vous trouverez les widgets Nombre de sessions d’encodage, FPS moyen et Latence moyenne. Ces statistiques sont pertinentes si vous exécutez des charges de travail d'encodage vidéo sur votre GPUs. Surveillez ces métriques pour vous assurer que vos encodeurs fonctionnent de manière optimale et pour identifier tout goulot d’étranglement potentiel ou problème de performance.

Vérifier l'état du PCIe lien

Dans la PCIesection, trouvez les widgets de génération de PCIe liens et de largeur de PCIe lien. Ces métriques fournissent des informations sur le PCIe lien reliant le GPU au système hôte. Assurez-vous que le lien fonctionne à la génération et à la largeur prévues afin d'éviter d'éventuelles limitations de performances dues à des PCIe goulots d'étranglement.

Examiner les horloges du GPU

Dans la section Horloge, vous trouverez les widgets Horloge graphique, Horloge SM, Horloge mémoire et Horloge vidéo. Ces métriques indiquent les fréquences de fonctionnement actuelles des différents composants du GPU. La surveillance de ces horloges peut aider à identifier les problèmes potentiels liés à la mise à l’échelle de l’horloge du GPU ou au limiteur de fréquence, qui pourraient avoir un impact sur les performances.