Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Tiefgreifende Zustandsprüfungen

SageMaker HyperPod führt gründliche Zustandsprüfungen für Slurm-orchestrated Cluster-Instances durch, um die Zuverlässigkeit und Stabilität der zugrunde liegenden Hardware und Infrastruktur sicherzustellen. Tiefgehende Zustandsprüfungen können automatisch ausgeführt werden, wenn Instanzen erstellt oder einem Cluster hinzugefügt werden (beim Start), oder Sie können sie jederzeit manuell (bei Bedarf) mithilfe der StartClusterHealthCheck API auslösen. Dieser proaktive Ansatz hilft dabei, potenzielle Probleme während des gesamten Cluster-Lebenszyklus zu identifizieren und zu beheben.

Bei gründlichen Zustandsprüfungen werden die betroffenen Knoten einer Slurm-Wartungsreservierung zugeordnet, um zu verhindern, dass Jobs auf ihnen geplant werden. Sobald alle Checks bestanden sind, werden die Knoten aus der Reservierung entlassen und stehen für Workloads zur Verfügung.

Arten von gründlichen Zustandsprüfungen

SageMaker HyperPod unterstützt zwei Kategorien von tiefgreifenden Zustandsprüfungen für Slurm-Cluster:

Liste der gründlichen Gesundheitschecks, durchgeführt von SageMaker HyperPod

SageMaker HyperPod führt die folgenden gründlichen Gesundheitschecks durch.

Instance-level gründliche Gesundheitschecks (InstanceStress)

Cluster-level gründliche Gesundheitschecks () InstanceConnectivity

On-start gründliche Gesundheitschecks

On-start Deep Health Checks werden automatisch ausgeführt, wenn Instanzen zum ersten Mal bereitgestellt werden — bei der Clustererstellung oder beim Hinzufügen neuer Instanzen über UpdateCluster. Dadurch wird sichergestellt, dass jeder Knoten die Hardwarevalidierung besteht, bevor Workloads akzeptiert werden.

Ermöglicht gründliche Zustandsprüfungen beim Start

Um gründliche Zustandsprüfungen beim Start zu aktivieren, geben Sie den OnStartDeepHealthChecks Parameter in der Instanzgruppenkonfiguration an, wenn Sie einen Cluster erstellen oder aktualisieren.

Beispiel: Erstellen Sie einen Cluster mit gründlichen Zustandsprüfungen beim Start

aws sagemaker create-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 4,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]' \
  --vpc-config '{"SecurityGroupIds":["sg-12345678"],"Subnets":["subnet-12345678"]}'

Was passiert bei gründlichen Zustandsprüfungen während des Starts

Wenn gründliche Zustandsprüfungen beim Start aktiviert sind, läuft der folgende Prozess ab:

Der Cluster wechselt zu einem ZeitpunktInService, an dem mindestens der Controller-Knoten läuft. Worker-Knoten zeigen während des Tests DeepHealthCheckInProgress den Status an und wechseln Running nach bestandenem Test zum Status.

Überwachung gründlicher Gesundheitschecks während des Starts

Sie können den Status gründlicher Zustandsprüfungen beim Start mithilfe der Amazon SageMaker AI-API oder der Slurm-Befehle überwachen.

Überprüfen Sie den Knotenstatus mit dem AWS Command Line Interface

aws sagemaker list-cluster-nodes \
  --cluster-name my-slurm-cluster

Knoten, die gründlichen Zustandsprüfungen unterzogen werden, InstanceStatus.Status werden als angezeigtDeepHealthCheckInProgress.

Überprüfen Sie den Slurm-Status über SSM auf dem Controller-Knoten

# View node states
sinfo -a -N -l

# View maintenance reservation
scontrol show reservations

# View running DHC jobs
squeue -a

Knoten, die einer gründlichen Integritätsprüfung unterzogen werden, erscheinen in der hyperpod-deep-health-check Reservierung und in der hyperpod-system-maintenance Partition.

Hinzufügen von Knoten zu einem Cluster, bei dem die gründlichen Zustandsprüfungen beim Start aktiviert sind

Wenn Sie einen bereits OnStartDeepHealthChecks konfigurierten Cluster hochskalieren, werden neue Knoten automatisch gründlichen Zustandsprüfungen unterzogen, bevor sie Workloads annehmen. Bestehende Knoten und laufende Jobs sind nicht betroffen.

aws sagemaker update-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 8,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

Die neuen Knoten werden in der Wartungsreservierung isoliert, während gründliche Zustandsprüfungen durchgeführt werden. Jobs, die die zusätzliche Kapazität der neuen Knoten benötigen, warten, bis diese Knoten gründliche Zustandsprüfungen bestehen und verfügbar sind. Jobs, die von vorhandenen verfügbaren Knoten erledigt werden können, sind nicht betroffen.

On-demand gründliche Gesundheitschecks

On-demand Mit tiefgreifenden Zustandsprüfungen können Sie mithilfe der StartClusterHealthCheck API jederzeit eine Hardwarevalidierung auf vorhandenen Clusterknoten auslösen. Dies ist nützlich für die regelmäßige Integritätsprüfung oder bei vermuteten Hardwareproblemen.

Durchführung umfassender Zustandsprüfungen auf Abruf von der Konsole aus

Sie können tiefgreifende Integritätsprüfungen für HyperPod Cluster-Instances direkt von der SageMaker AI-Konsole aus durchführen.

Ein Erfolgsbanner bestätigt, dass die Prüfungen eingeleitet wurden. Für Workloads während der Prüfungen, die über eine Stunde dauern können, sind keine Instanzen verfügbar. Überwachen Sie den Instanzstatus in der Instanzentabelle — dort wird angezeigt, dass während der Ausführung eine Deep Health Check durchgeführt wird. Wenn Probleme gefunden werden und die automatische Wiederherstellung aktiviert ist, SageMaker HyperPod werden fehlerhafte Instances automatisch neu gestartet oder ersetzt.

Auslösen umfassender Zustandschecks auf Abruf mithilfe der AWS Command Line Interface

Sie können angeben, welche Instanzgruppen und welche Prüfungen ausgeführt werden sollen. Pro Cluster kann jeweils nur eine Anforderung zur gründlichen Zustandsprüfung auf Abruf aktiv sein.

aws sagemaker start-cluster-health-check \
  --cluster-name my-slurm-cluster \
  --deep-health-check-configurations '[
    {
      "InstanceGroupName": "worker-group",
      "DeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

Verhalten bei laufenden Workloads

Wenn tiefgreifende Zustandsprüfungen auf Abruf auf Knoten ausgelöst werden, auf denen Jobs ausgeführt werden:

Protokolle der umfassenden Gesundheitschecks

Im Folgenden finden Sie Beispielprotokolle aus den SageMaker HyperPod tiefgreifenden Zustandsprüfungen.

Cluster-level logs

Die Protokolle für tiefgreifende Integritätsprüfungen auf Clusterebene werden in Ihrer CloudWatch Protokollgruppe unter gespeichert. /aws/sagemaker/Clusters/<cluster_name>/<cluster_id>

Die Protokollstream werden unter DeepHealthCheckResults/<log_stream_id> protokolliert.

Instance-level logs

Auf jedem Knoten werden tiefgreifende Integritätsprüfungsprotokolle unter gespeichert. /var/log/aws/clusters/sagemaker-deep-health-check.log

Sie können über SSM auf das Protokoll zugreifen:

aws ssm start-session \
  --target "sagemaker-cluster:<cluster_id>_<instance_group>-<instance_id>"

Dann sieh dir das Protokoll an:

cat /var/log/aws/clusters/sagemaker-deep-health-check.log

Beispiel für eine HARDWARE_CHECK-Ausgabe

2026-03-29T18:03:14Z  info  Executing Hardware stress check with command: stress-ng
2026-03-29T18:04:20Z  info  stress-ng success
2026-03-29T18:04:20Z  info  GpuPci Count check success

Beispiel für eine DCGM-Ausgabe

2026-03-29T18:35:02Z  info  DCGM diagnostic health summary: dcgmCheckLevel: 4
  dcgmVersion: 3.3.7 gpuDriverVersion: 535.183.01
  gpuDeviceIds: [2237] replacementRequired: false rebootRequired: false

Beispiel für eine EFA-Ausgabe

2026-03-29T18:36:28Z  info  EFA Loopback check passed for device: rdmap0s29
  MaxBw: 58.59, AvgBw: 32.42, MaxTypicalLat: 30.87, AvgLat: 21.63

Beispiel für eine Ausgabe eines Deep Health Checks bei einem Ausfall

{
    "level": "error",
    "ts": "2026-03-29T19:15:22Z",
    "msg": "Encountered FaultyInstance. Replace the Instance. Region: us-west-2, InstanceType: ml.g5.8xlarge. ERROR: Bandwidth has less than threshold: Expected minimum threshold: 80, NCCL Test output Bw: 30"
}

Auto-resume Verhalten bei gründlichen Gesundheitschecks

Wenn ein Knoten während der automatischen Wiederaufnahme ersetzt wird, wird der Ersatzknoten sofort zum Cluster hinzugefügt, ohne dass tiefgreifende Zustandsprüfungen aktiviert sind, und die automatische Wiederaufnahme des Jobs kann sofort auf diesem Knoten geplant werden.

Wenn tiefgreifende Zustandsprüfungen aktiviert sind, muss der Ersatzknoten alle konfigurierten umfassenden Zustandsprüfungen bestehen, bevor er verfügbar ist. Der automatisch wiederaufgenommene Job muss jedoch nicht auf den Ersatzknoten warten — er kann auf jedem anderen verfügbaren Knoten im Cluster geplant werden. Der Job wartet nur, wenn keine anderen Knoten verfügbar sind.

Weitere Überlegungen