View a markdown version of this page

Montaje de Amazon FSx for Lustre y Amazon FSx for OpenZFS en un clúster HyperPod - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Montaje de Amazon FSx for Lustre y Amazon FSx for OpenZFS en un clúster HyperPod

Para montar un sistema de archivos compartidos de Amazon FSx for Lustre en su HyperPod clúster, configure lo siguiente.

  1. Utilice su Amazon VPC.

    1. Para que las instancias de HyperPod clúster se comuniquen dentro de su VPC, asegúrese de asociarlas Configuración SageMaker HyperPod con una Amazon VPC personalizada a la función de IAM para. SageMaker HyperPod

    2. En create_cluster.json, incluya la siguiente información de la VPC.

      "VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

      Para obtener más consejos sobre cómo configurar Amazon VPC, consulte Requisitos previos para su uso SageMaker HyperPod.

  2. Para terminar de configurar Slurm con Amazon FSx for Lustre, puede utilizar uno de los siguientes enfoques. Puedes encontrar la FSx información de Amazon en la consola Amazon FSx for Lustre de tu cuenta o ejecutando el siguiente AWS CLI comando,aws fsx describe-file-systems.

    Opción A: configuración basada en API (recomendada)

    Especifica la FSx configuración de Amazon directamente en la carga útil de la CreateCluster API desde cada grupo de instancias. InstanceStorageConfigs Este enfoque es compatible tanto FSx con Lustre como con OpenZFS, y FSx permite la configuración. per-instance-group FSx 

    "InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx",
            "MountName": "1abcdefg"
        }
    }
]

    FSx Para OpenZFS, utilice en su lugar: FsxOpenZfsConfig

    "InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx-openzfs"
        }
    }
]

    Para obtener más información, consulte Cómo empezar a SageMaker HyperPod usar la AWS CLI.

    Opción B: configuración antigua

    Especifique el nombre FSx DNS de Amazon y el nombre de FSx montaje de Amazon provisioning_parameters.json como se muestra en la figura de la Los scripts de ciclo de vida básicos proporcionados por HyperPod sección.

    "fsx_dns_name": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
"fsx_mountname": "1abcdefg"