Erkennung eines hängenden Jobs

Fügen Sie Ihrem RayCluster Manifest die Host-IP-Umgebungsvariable hinzu

Fügen Sie sowohl als auch headGroupSpec workerGroupSpecs in Ihrer RayCluster YAML die folgende Umgebungsvariable hinzu. Dadurch kann die Python-Bibliothek, die im Trainingscontainer ausgeführt wird, mit dem Jobüberwachungsdienst auf dem Host kommunizieren.

spec:
  headGroupSpec:
    template:
      spec:
        containers:
        - name: ray-head
          env:
          - name: HYPERPOD_JMA_HOST
            valueFrom:
              fieldRef:
                fieldPath: status.hostIP
  workerGroupSpecs:
  - template:
      spec:
        containers:
        - name: ray-worker
          env:
          - name: HYPERPOD_JMA_HOST
            valueFrom:
              fieldRef:
                fieldPath: status.hostIP

Installieren Sie die Toolkit-Bibliothek in Ihrem Training-Container-Image

Fügen Sie das Paket toolkit-for-ray-on-sagemaker-ai von der PyPI-Website zu Ihrem Training-Container-Image hinzu. Die Bibliothek ist in Distribution Images SageMaker vorinstalliert.

pip install toolkit-for-ray-on-sagemaker-ai

Erweitern Sie Ihre Trainingsfunktion um Überwachung

Rufen Sie SageMakerLogMonitoring.start() Ihre Trainingsfunktion an, bevor Sie eine sinnvolle Arbeit verrichten. Dadurch wird sichergestellt, dass die Überwachung von Beginn des Trainings an aktiv ist und Verzögerungen beim Laden des Modells oder beim ersten Vorwärtsdurchlauf erkannt werden können.

from toolkit_for_ray_on_sagemaker_ai.log_monitoring import (
    SageMakerLogMonitoring,
    LogMonitorConfig,
)
from ray.train import RunConfig, FailureConfig, ScalingConfig
from ray.train.torch import TorchTrainer

def train_func():
    # Start monitoring BEFORE any meaningful work
    SageMakerLogMonitoring(config=LogMonitorConfig(
        enabled=True,
        rules=[
            {
                "name": "training_progress",
                "type": "log_pattern",
                "enabled": True,
                "log_pattern": "(Epoch|Step|Iteration) \\d+",
                "timeout_minutes": 10,
                "start_timeout_minutes": 30,
                "stop_pattern": "Training complete",
                "fault_on_match": False,
            },
            {
                "name": "oom_detection",
                "type": "log_pattern",
                "enabled": True,
                "log_pattern": "CUDA out of memory|OutOfMemoryError|OOM",
                "fault_on_match": True,
            },
        ],
        action="cancel",
    )).start()

    # ... your training loop
    for epoch in range(num_epochs):
        print(f"Epoch {epoch}")  # This output is what the rule monitors
        train_one_epoch(model, dataloader)

    print("Training complete")  # Matches stop_pattern, deactivates the rule

# Configure FailureConfig so Ray Train automatically restarts all workers
# when the cancel action terminates a hung worker.
trainer = TorchTrainer(
    train_func,
    scaling_config=ScalingConfig(num_workers=4, use_gpu=True),
    run_config=RunConfig(
        failure_config=FailureConfig(max_failures=3),
    ),
)

Wenn die cancel Aktion dazu führt, dass ein Arbeiter nicht mehr reagiert, erkennt Ray FailureConfig Train in der Ray-Dokumentation den Ausfall des Workers und startet alle Arbeiter vom letzten Checkpoint aus neu. Stellen Sie max_failures die Anzahl der automatischen Wiederherstellungsversuche ein, die Sie benötigen, bevor der Job dauerhaft fehlschlägt. FailureConfigAndernfalls schlägt eine einzige Kündigung des Mitarbeiters den gesamten Auftrag fehl.

Da Ray Train beim Neustart die Daten vom zuletzt gespeicherten Checkpoint wiederherstellt, geht kein Trainingsfortschritt verloren, der über die Arbeit seit dem letzten Checkpoint hinausgeht. Wenn Ihr Trainingscode regelmäßig Checkpoints speichert (z. B. an jeder Epochengrenze), wird der Job automatisch vom zuletzt gespeicherten Status aus fortgesetzt.