View a markdown version of this page

Installation von Metrik-Exporter-Paketen auf Ihrem Cluster HyperPod - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Installation von Metrik-Exporter-Paketen auf Ihrem Cluster HyperPod

In der Basiskonfiguration enthalten die vom SageMaker HyperPod Team bereitgestellten Lebenszyklus-Skripts auch die Installation verschiedener Metrik-Exporter-Pakete. Um den Installationsschritt zu aktivieren, müssen Sie lediglich den Parameter enable_observability=True in der Datei config.py festlegen. Die Lebenszyklusskripte dienen dazu, Ihren Cluster mit den folgenden Metrik-Exporter-Paketen (Open Source) zu booten.

Name Zielknoten für die Skriptbereitstellung Beschreibung des Exporters
Slurm-Exporteur für Prometheus Hauptknoten (Controller)

Exportiert die Buchhaltungsmetriken von Slurm

Knoten-Exporter von Elastic Fabric Adapter (EFA)

Rechenknoten

Exportiert Metriken aus Clusterknoten und EFA. Das Paket ist eine Vergabelung des Prometheus-Knoten-Exporters.

Exporter für NVIDIA Data Center GPU Management (DCGM)

 Rechenknoten

Exportiert NVIDIA-DCGM-Metriken zum Zustand und zur Leistung von NVIDIA-GPUs.

Mit enable_observability=True in der Datei config.py wird der folgende Installationsschritt im lifecycle_script.py-Skript aktiviert. 

# Install metric exporting software and Prometheus for observability
if Config.enable_observability:
    if node_type == SlurmNodeType.COMPUTE_NODE:
        ExecuteBashScript("./utils/install_docker.sh").run()
        ExecuteBashScript("./utils/install_dcgm_exporter.sh").run()
        ExecuteBashScript("./utils/install_efa_node_exporter.sh").run()

    if node_type == SlurmNodeType.HEAD_NODE:
        wait_for_scontrol()
        ExecuteBashScript("./utils/install_docker.sh").run()
        ExecuteBashScript("./utils/install_slurm_exporter.sh").run()
        ExecuteBashScript("./utils/install_prometheus.sh").run()

Auf den Rechenknoten installiert das Skript den NVIDIA Data Center GPU Management (DCGM)-Exporter und den Elastic Fabric Adapter (EFA)-Knoten-Exporter. Der DCGM-Exporter ist ein Exporter für Prometheus, der Metriken von NVIDIA-GPUs erfasst und so die Überwachung der GPU-Auslastung, -Leistung und -Funktionsfähigkeit ermöglicht. Der EFA-Knoten-Exporter hingegen erfasst Metriken zur EFA-Netzwerkschnittstelle, die für eine Kommunikation mit geringer Latenz und hoher Bandbreite in HPC-Clustern unerlässlich ist.

Auf dem Hauptknoten installiert das Skript den Slurm-Exporter für Prometheus und die Open-Source-Software Prometheus. Der Slurm-Exporter stellt Prometheus Metriken zu Slurm-Aufträgen, Partitionen und Knotenstatus zur Verfügung.

Beachten Sie, dass die Lebenszyklusskripte so konzipiert sind, dass sie alle Exportpakete als Docker-Container installieren. Daher sollte das Docker-Paket auch sowohl auf dem Haupt- als auch auf dem Compute-Knoten installiert werden. Die Skripte für diese Komponenten werden praktischerweise im utils Ordner des Awsome Distributed GitHub Training-Repositorys bereitgestellt.

Nachdem Sie Ihren HyperPod Cluster mit den Exportpaketen erfolgreich eingerichtet haben, fahren Sie mit dem nächsten Thema fort, um die Einrichtung von Amazon Managed Service für Prometheus und Amazon Managed Grafana abzuschließen.