View a markdown version of this page

Einbinden von Amazon FSx for Lustre und Amazon FSx for OpenZFS in einem Cluster HyperPod - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Einbinden von Amazon FSx for Lustre und Amazon FSx for OpenZFS in einem Cluster HyperPod

Um ein gemeinsam genutztes Amazon FSx for Lustre-Dateisystem in Ihren HyperPod Cluster einzubinden, richten Sie Folgendes ein.

  1. Verwenden Sie Ihre Amazon-VPC.

    1. Damit HyperPod Cluster-Instances innerhalb Ihrer VPC kommunizieren können, stellen Sie sicher, dass Sie die der Einrichtung SageMaker HyperPod mit einer benutzerdefinierten Amazon VPC IAM-Rolle für zuordnen. SageMaker HyperPod

    2. Fügen Sie in create_cluster.json die folgenden VPC-Informationen ein.

      "VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

      Weitere Tipps zur Einrichtung von Amazon VPC finden Sie unter Voraussetzungen für die Verwendung SageMaker HyperPod.

  2. Um die Konfiguration von Slurm mit Amazon FSx for Lustre abzuschließen, können Sie einen der folgenden Ansätze verwenden. Sie finden die FSx Amazon-Informationen entweder in der Amazon FSx for Lustre-Konsole in Ihrem Konto oder indem Sie den folgenden AWS CLI Befehl ausführen:. aws fsx describe-file-systems

    Option A: API-gesteuerte Konfiguration (empfohlen)

    Geben Sie die FSx Amazon-Konfiguration direkt in der CreateCluster API-Nutzlast an und verwenden Sie sie InstanceStorageConfigs innerhalb jeder Instanzgruppe. Dieser Ansatz unterstützt sowohl FSx Lustre als auch OpenZFS und FSx ermöglicht die Konfiguration. per-instance-group FSx 

    "InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx",
            "MountName": "1abcdefg"
        }
    }
]

    Verwenden Sie FSx für OpenZFS stattdessen: FsxOpenZfsConfig

    "InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx-openzfs"
        }
    }
]

    Weitere Informationen finden Sie unter Erste Schritte mit der SageMaker HyperPod Verwendung der AWS CLI.

    Option B: Legacy-Konfiguration

    Geben Sie den FSx Amazon-DNS-Namen und den FSx Amazon-Mount-Namen an, provisioning_parameters.json wie in der Abbildung im Die grundlegenden Lebenszyklusskripte werden bereitgestellt von HyperPod Abschnitt gezeigt.

    "fsx_dns_name": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
"fsx_mountname": "1abcdefg"