Von HyperPod bereitgestellte Basis-Lebenszyklusskripte

provisioning_parameters.json – Das ist ein Konfigurationsformular für die Bereitstellung von Slurm-Knoten auf HyperPod. Das on_create.sh-Skript findet diese JSON-Datei und definiert eine Umgebungsvariable, um den Pfad zu ihr zu identifizieren. Über diese JSON-Datei können Sie Slurm-Knoten und Speicheroptionen wie Amazon FSx für Lustre für Slurm konfigurieren, mit denen Slurm kommunizieren soll. Stellen Sie in provisioning_parameters.json sicher, dass Sie die Instance-Gruppen des HyperPod-Clusters mit den in create_cluster.json angegebenen Namen den Slurm-Knoten entsprechend Ihrer geplanten Konfiguration zuweisen.

Das folgende Diagramm zeigt ein Beispiel dafür, wie die beiden JSON-Konfigurationsdateien create_cluster.json und provisioning_parameters.json geschrieben werden sollten, um HyperPod-Instance-Gruppen zu Slurm-Knoten zuzuweisen. In diesem Beispiel gehen wir von der Einrichtung von drei Slurm-Knoten aus: Controller-Knoten (Verwaltung), Anmeldeknoten (optional) und Rechenknoten (Worker).

Abbildung: Direkter Vergleich zwischen create_cluster.json für die HyperPod-Clustererstellung und provisiong_params.json für die Slurm-Konfiguration. Die Anzahl der Instance-Gruppen in create_cluster.json sollte der Anzahl der Knoten entsprechen, die Sie als Slurm-Knoten konfigurieren möchten. Im Fall des Beispiels in der Abbildung werden drei Slurm-Knoten auf einem HyperPod-Cluster mit drei Instance-Gruppen konfiguriert. Sie sollten die Instance-Gruppen des HyperPod-Clusters den Slurm-Knoten zuweisen, indem Sie die Instance-Gruppennamen entsprechend angeben.

resource_config.json: Während der Clustererstellung wird das lifecycle_script.py-Skript so geschrieben, dass es eine resource_config.json-Datei von HyperPod erwartet. Diese Datei enthält Informationen über den Cluster, z. B. Instance-Typen und IP-Adressen.

Wenn Sie die CreateCluster-API ausführen, erstellt HyperPod eine Ressourcenkonfigurationsdatei unter /opt/ml/config/resource_config.json, die auf der create_cluster.json-Datei basiert. Der Dateipfad wird in der Umgebungsvariablen namens SAGEMAKER_RESOURCE_CONFIG_PATH gespeichert.

{

    "ClusterConfig": {
        "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde01234yz",
        "ClusterName": "your-hyperpod-cluster"
    },
    "InstanceGroups": [
        {
            "Name": "controller-machine",
            "InstanceType": "ml.c5.xlarge",
            "Instances": [
                {
                    "InstanceName": "controller-machine-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "Instances": [
                {
                    "InstanceName": "login-group-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "compute-nodes",
            "InstanceType": "ml.trn1.32xlarge",
            "Instances": [
                {
                    "InstanceName": "compute-nodes-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-2",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-3",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-4",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        }
    ]
}

lifecycle_script.py: Dies ist das Haupt-Python-Skript, das während der Bereitstellung gemeinsam Lebenszyklusskripte ausführt, die Slurm auf dem HyperPod-Cluster einrichten. Dieses Skript liest in provisioning_parameters.json und resource_config.json aus den in on_create.sh angegebenen oder identifizierten Pfaden, übergibt die relevanten Informationen an jedes Lebenszyklusskript und führt dann die Lebenszyklusskripte der Reihe nach aus.

Lebenszyklusskripte sind eine Reihe von Skripten, die Sie vollständig flexibel anpassen können, um Softwarepakete zu installieren und während der Clustererstellung notwendige oder benutzerdefinierte Konfigurationen vorzunehmen, z. B. Slurm einrichten, Benutzer anlegen, Conda oder Docker installieren. Das Beispiel-Skript lifecycle_script.py ist darauf vorbereitet, andere Basis-Lebenszyklusskripte im Repository auszuführen, z. B. Slurm-Daemons (start_slurm.sh) zu starten, Amazon FSx für Lustre (mount_fsx.sh) zu mounten und MariaDB-Abrechnung (setup_mariadb_accounting.sh) sowie RDS-Abrechnung (setup_rds_accounting.sh) einzurichten. Sie können auch weitere Skripte hinzufügen, diese im selben Verzeichnis zusammenfassen und Codezeilen zu lifecycle_script.py hinzufügen, damit HyperPod die Skripte ausführt. Weitere Informationen zu den Basis-Lebenszyklusskripten finden Sie auch unter 3.1 Lebenszyklusskripte im GitHub-Repository von Awsome Distributed Training.

Zusätzlich zu den Standardeinstellungen sind weitere Skripte zur Installation der folgenden Software im utils-Ordner verfügbar. Die lifecycle_script.py-Datei enthält bereits Codezeilen zum Ausführen der Installationsskripte. Suchen Sie diese Zeilen anhand der folgenden Angaben und entfernen Sie die Kommentare, um sie zu aktivieren.