Basis-Lifecycle-Skripts bereitgestellt von HyperPod

provisioning_parameters.json— Das ist einKonfigurationsformular für provisioning_parameters.json. Das on_create.sh-Skript findet diese JSON-Datei und definiert eine Umgebungsvariable, um den Pfad zu ihr zu identifizieren. Über diese JSON-Datei können Sie Slurm-Knoten und Speicheroptionen wie Amazon FSx für Lustre für Slurm konfigurieren, mit denen Slurm kommunizieren soll. Stellen Sie sicherprovisioning_parameters.json, dass Sie die HyperPod Cluster-Instanzgruppen unter Verwendung der von Ihnen angegebenen Namen create_cluster.json den Slurm-Knoten entsprechend der Art und Weise zuweisen, wie Sie sie einrichten möchten.

Das folgende Diagramm zeigt ein Beispiel dafür, wie die beiden JSON-Konfigurationsdateien create_cluster.json geschrieben werden provisioning_parameters.json sollten, um den HyperPod Slurm-Knoten Instanzgruppen zuzuweisen. In diesem Beispiel gehen wir von der Einrichtung von drei Slurm-Knoten aus: Controller-Knoten (Verwaltung), Anmeldeknoten (optional) und Rechenknoten (Worker).

Abbildung: Direkter Vergleich zwischen create_cluster.json der HyperPod Cluster-Erstellung und provisiong_params.json der Slurm-Konfiguration. Die Anzahl der Instance-Gruppen in create_cluster.json sollte der Anzahl der Knoten entsprechen, die Sie als Slurm-Knoten konfigurieren möchten. Im Beispiel in der Abbildung werden drei Slurm-Knoten in einem HyperPod Cluster von drei Instanzgruppen konfiguriert. Sie sollten die HyperPod Cluster-Instanzgruppen Slurm-Knoten zuweisen, indem Sie die Instanzgruppennamen entsprechend angeben.

resource_config.json— Während der Cluster-Erstellung wird das lifecycle_script.py Skript so geschrieben, dass es eine resource_config.json Datei von erwartet HyperPod. Diese Datei enthält Informationen über den Cluster, z. B. Instance-Typen und IP-Adressen.

Wenn Sie die CreateCluster API ausführen, HyperPod erstellt es eine Ressourcenkonfigurationsdatei unter, die auf der create_cluster.json Datei /opt/ml/config/resource_config.json basiert. Der Dateipfad wird in der Umgebungsvariablen namens SAGEMAKER_RESOURCE_CONFIG_PATH gespeichert.

{

    "ClusterConfig": {
        "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde01234yz",
        "ClusterName": "your-hyperpod-cluster"
    },
    "InstanceGroups": [
        {
            "Name": "controller-machine",
            "InstanceType": "ml.c5.xlarge",
            "Instances": [
                {
                    "InstanceName": "controller-machine-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "Instances": [
                {
                    "InstanceName": "login-group-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "compute-nodes",
            "InstanceType": "ml.trn1.32xlarge",
            "Instances": [
                {
                    "InstanceName": "compute-nodes-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-2",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-3",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-4",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        }
    ]
}

lifecycle_script.py— Dies ist das wichtigste Python-Skript, das gemeinsam Lifecycle-Skripte ausführt und Slurm während der Bereitstellung auf dem HyperPod Cluster einrichtet. Dieses Skript liest in provisioning_parameters.json und resource_config.json aus den in on_create.sh angegebenen oder identifizierten Pfaden, übergibt die relevanten Informationen an jedes Lebenszyklusskript und führt dann die Lebenszyklusskripte der Reihe nach aus.

Lebenszyklusskripte sind eine Reihe von Skripten, die Sie vollständig flexibel anpassen können, um Softwarepakete zu installieren und während der Clustererstellung notwendige oder benutzerdefinierte Konfigurationen vorzunehmen, z. B. Slurm einrichten, Benutzer anlegen, Conda oder Docker installieren. Das Beispiel-Skript lifecycle_script.py ist darauf vorbereitet, andere Basis-Lebenszyklusskripte im Repository auszuführen, z. B. Slurm-Daemons (start_slurm.sh) zu starten, Amazon FSx für Lustre (mount_fsx.sh) zu mounten und MariaDB-Abrechnung (setup_mariadb_accounting.sh) sowie RDS-Abrechnung (setup_rds_accounting.sh) einzurichten. Sie können auch weitere Skripte hinzufügen, sie in dasselbe Verzeichnis packen und Codezeilen hinzufügen, damit lifecycle_script.py die Skripte HyperPod ausgeführt werden können. Weitere Informationen zu den grundlegenden Lifecycle-Skripten finden Sie auch unter 3.1 Lifecycle-Skripts im Awsome Distributed Training GitHub Repository.

Zusätzlich zu den Standardeinstellungen sind weitere Skripte zur Installation der folgenden Software im utils-Ordner verfügbar. Die lifecycle_script.py-Datei enthält bereits Codezeilen zum Ausführen der Installationsskripte. Suchen Sie diese Zeilen anhand der folgenden Angaben und entfernen Sie die Kommentare, um sie zu aktivieren.