Tutorial - Amazon SageMaker HyperPod Checkpointless Left-LoRa GPT OSS 120b - Amazon SageMaker AI
PrerequisitiKubernetesLanciatore di ricetteKubectl

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Tutorial - Amazon SageMaker HyperPod Checkpointless Left-LoRa GPT OSS 120b

La seguente sequenza di passaggi è necessaria per eseguire ricette di formazione senza checkpoint. HyperPod

Prerequisiti

Prima di iniziare a configurare l’ambiente, assicurati di avere:

Configurazione dell'ambiente Kubernetes

Per configurare l'ambiente Kubernetes, procedi come segue:

  1. Configura l’ambiente virtuale. Assicurati di usare Python maggiore o uguale a 3.10 e < 3.14.

    python3 -m venv ${PWD}/venv
source venv/bin/activate

  2. Configura kubectl ed eksctl

  3. Installa Helm

  4. Connettiti al cluster Kubernetes.

    aws eks update-kubeconfig --region "${CLUSTER_REGION}" --name "${CLUSTER_NAME}"

  5. Installa le dipendenze utilizzando uno dei metodi seguenti:

    • SageMaker HyperPod metodo delle ricette:

      # install SageMaker HyperPod Recipes.
git clone --recursive git@github.com:aws/sagemaker-hyperpod-recipes.git
cd sagemaker-hyperpod-recipes
pip3 install -r requirements.txt

    • kubectl con metodo job yaml predefinito

      # install SageMaker HyperPod checkpointless training.
git clone git@github.com:aws/sagemaker-hyperpod-checkpointless-training.git
cd sagemaker-hyperpod-checkpointless-training

Ora puoi lanciare la ricetta di allenamento senza checkpointless usando il programma di avvio -style o usando kubectl. NeMo

Avvio del job di addestramento con l’utilità di avvio delle ricette

In alternativa, puoi utilizzare le SageMaker HyperPod ricette per inviare il tuo lavoro di formazione. L'uso delle ricette comporta l'aggiornamento di k8s.yaml, config.yaml e l'esecuzione dello script di avvio.

  1. Aggiornamento di launcher_scripts/gpt_oss/run_checkpointless_gpt_oss_120b_lora.sh

    your_contrainer: un contenitore di Deep Learning. Per trovare la versione più recente del contenitore di formazione checkpointless, consulta le note sulla versione di checkpointless training.

    #!/bin/bash
SAGEMAKER_TRAINING_LAUNCHER_DIR=${SAGEMAKER_TRAINING_LAUNCHER_DIR:-"$(pwd)"}
TRAIN_DIR="${TRAIN_DIR}"
VAL_DIR="${VAL_DIR}"
EXP_DIR="${EXP_DIR}"
LOG_DIR="${LOG_DIR}"
CONTAINER_MOUNT="/data"
CONTAINER="${CONTAINER}"
MODEL_NAME_OR_PATH="${MODEL_NAME_OR_PATH}"

HYDRA_FULL_ERROR=1 python3 "${SAGEMAKER_TRAINING_LAUNCHER_DIR}/main.py" \
    recipes=fine-tuning/gpt_oss/checkpointless_gpt_oss_120b_lora \
    recipes.dataset.dataset_path="${TRAIN_DIR}" \
    recipes.exp_manager.exp_dir="${EXP_DIR}" \
    recipes.log_dir="${LOG_DIR}" \
    recipes.resume.restore_config.path="${MODEL_NAME_OR_PATH}" \
    base_results_dir="${SAGEMAKER_TRAINING_LAUNCHER_DIR}/results" \
    git.use_default=false \
    cluster=k8s \
    cluster_type=k8s \
    container="${CONTAINER}" \
    +cluster.hostNetwork=true \
    +cluster.persistent_volume_claims.0.claimName=fsx-claim \
    +cluster.persistent_volume_claims.0.mountPath="${CONTAINER_MOUNT}" \
    +recipes.dataset.val_dataset_path="${VAL_DIR}" \
    ++recipes.callbacks.3.test_fault_config.fault_prob_between_lock=1 \

  2. Avvio del job di addestramento

    bash launcher_scripts/gpt_oss/run_checkpointless_gpt_oss_120b_lora.sh

Dopo aver inviato il job di addestramento, puoi utilizzare il comando seguente per verificare se l’invio è riuscito.

kubectl get pods

NAME                             READY   STATUS             RESTARTS        AGE
gpt-oss-120b-worker-0             0/1    running               0            36s

Se lo STATUS è in sospeso o ContainerCreating, esegui il comando seguente per ottenere maggiori dettagli

kubectl describe pod <name of pod>

Quando lo STATUS del processo diventa Running, puoi esaminare il log utilizzando il comando seguente.

kubectl logs <name of pod>

Lo STATUS diventerà Completato quando esegui kubectl get pods

Avvia il processo di formazione con kubectl con yaml predefinito

Un'altra opzione è avviare la formazione tramite kubectl con un job predefinito yaml.

  1. aggiorna examples/gpt_oss/launch/peft _gpt_oss_120b_checkpointless_p5.yaml

  2. Invia il lavoro usando kubectl con peft_gpt_oss_120b_checkpointless_p5.yaml

    kubectl apply -f examples/gpt_oss/launch/peft_gpt_oss_120b_checkpointless_p5.yaml

Dopo aver inviato il job di addestramento, puoi utilizzare il comando seguente per verificare se l’invio è riuscito.

kubectl get pods

NAME                                             READY   STATUS             RESTARTS        AGE
gpt-120b-lora-checkpointless-worker-0             0/1    running               0            36s

Se lo STATUS è in sospeso o, esegui il seguente comando per ottenere maggiori dettagli ContainerCreating

kubectl describe pod <name of pod>

Quando lo STATUS del processo diventa Running, puoi esaminare il log utilizzando il comando seguente.

kubectl logs <name of pod>

Lo STATUS diventerà Completato quando esegui kubectl get pods