Connessione ai cluster HyperPod e invio di attività ai cluster - Amazon SageMaker AI

Connessione ai cluster HyperPod e invio di attività ai cluster

Puoi avviare carichi di lavoro di machine learning sui cluster HyperPod all’interno degli IDE di Amazon SageMaker Studio. Quando avvii gli IDE di Studio su un cluster HyperPod, viene visualizzata una serie di comandi che ti aiuta a iniziare. Puoi lavorare sugli script di addestramento, utilizzare i container Docker per gli script di addestramento e inviare processi al cluster, il tutto dall’interno degli IDE di Studio. La sezione seguente fornisce informazioni su come connettere il cluster agli IDE di Studio.

In Amazon SageMaker Studio puoi accedere a uno dei tuoi cluster in Cluster HyperPod (in Calcolo) e visualizzare l’elenco dei cluster. Puoi connettere il tuo cluster a un IDE elencato in Azioni.

Puoi anche scegliere un file system personalizzato dall’elenco delle opzioni. Per informazioni su come eseguire la configurazione, consulta Configurazione di HyperPod in Studio.

In alternativa, puoi creare uno spazio e avviare un IDE utilizzando la AWS CLI. A tale scopo, utilizza i comandi seguenti. L’esempio seguente crea uno spazio Private JupyterLab per user-profile-name con il file system fs-id di FSx per Lustre collegato.

  1. Crea uno spazio utilizzando il comando create-space della AWS CLI.

    aws sagemaker create-space \
--region your-region \
--ownership-settings "OwnerUserProfileName=user-profile-name" \
--space-sharing-settings "SharingType=Private" \
--space-settings "AppType=JupyterLab,CustomFileSystems=[{FSxLustreFileSystem={FileSystemId=fs-id}}]"

  2. Crea l’app utilizzando il comando create-app della AWS CLI.

    aws sagemaker create-app \
--region your-region \
--space-name space-name \
--resource-spec '{"ec2InstanceType":"'"instance-type"'","appEnvironmentArn":"'"image-arn"'"}'

Una volta aperte le applicazioni, puoi inviare le attività direttamente ai cluster connessi.