Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Controlli dell’integrità approfonditi

SageMaker HyperPod esegue controlli approfonditi sullo stato delle istanze del Slurm-orchestrated cluster per garantire l'affidabilità e la stabilità dell'hardware e dell'infrastruttura sottostanti. I controlli di integrità approfonditi possono essere eseguiti automaticamente quando le istanze vengono create o aggiunte a un cluster (all'avvio), oppure è possibile attivarli manualmente in qualsiasi momento (su richiesta) utilizzando l'API. StartClusterHealthCheck Questo approccio proattivo aiuta a identificare e mitigare i potenziali problemi durante l'intero ciclo di vita del cluster.

Durante i controlli approfonditi dello stato, i nodi interessati vengono inseriti in una prenotazione di manutenzione di Slurm per evitare che vengano programmati i lavori su di essi. Una volta superati tutti i controlli, i nodi vengono rilasciati dalla prenotazione e diventano disponibili per i carichi di lavoro.

Tipi di controlli sanitari approfonditi

SageMaker HyperPod supporta due categorie di controlli sanitari approfonditi per i cluster Slurm:

Elenco dei controlli sanitari approfonditi effettuati da SageMaker HyperPod

SageMaker HyperPod esegue i seguenti controlli sanitari approfonditi.

Instance-level controlli sanitari approfonditi (InstanceStress)

Cluster-level controlli sanitari approfonditi () InstanceConnectivity

On-start controlli sanitari approfonditi

On-start i controlli di integrità approfonditi vengono eseguiti automaticamente al primo provisioning delle istanze, durante la creazione del cluster o quando vengono aggiunte nuove istanze tramite. UpdateCluster Ciò garantisce che ogni nodo superi la convalida dell'hardware prima di accettare i carichi di lavoro.

Consentire controlli approfonditi sullo stato di salute all'avvio

Per abilitare i controlli di integrità approfonditi all'avvio, specifica il OnStartDeepHealthChecks parametro nella configurazione del gruppo di istanze durante la creazione o l'aggiornamento di un cluster.

Esempio: creazione di un cluster con controlli di integrità approfonditi all'avvio

aws sagemaker create-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 4,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]' \
  --vpc-config '{"SecurityGroupIds":["sg-12345678"],"Subnets":["subnet-12345678"]}'

Cosa succede durante i controlli sanitari approfonditi all'avvio

Quando i controlli sanitari approfonditi all'avvio sono abilitati, si verifica il seguente processo:

Il cluster passa almeno InService una volta che il nodo del controller è in esecuzione. I nodi di lavoro mostrano DeepHealthCheckInProgress lo stato durante il test e la transizione a Running dopo il superamento.

Monitoraggio dei controlli sanitari approfonditi all'avvio

Puoi monitorare lo stato dei controlli sanitari approfonditi all'avvio utilizzando l'API Amazon SageMaker AI o i comandi Slurm.

Controlla lo stato del nodo utilizzando AWS Command Line Interface

aws sagemaker list-cluster-nodes \
  --cluster-name my-slurm-cluster

I nodi sottoposti a controlli di integrità approfonditi vengono visualizzati InstanceStatus.Status comeDeepHealthCheckInProgress.

Controlla lo stato di Slurm tramite SSM sul nodo del controller

# View node states
sinfo -a -N -l

# View maintenance reservation
scontrol show reservations

# View running DHC jobs
squeue -a

I nodi sottoposti a un controllo approfondito dello stato vengono visualizzati nella hyperpod-deep-health-check prenotazione e nella partizione. hyperpod-system-maintenance

Aggiungere nodi a un cluster con i controlli di integrità approfonditi all'avvio abilitati

Quando si espande un cluster OnStartDeepHealthChecks configurato, i nuovi nodi vengono automaticamente sottoposti a controlli di integrità approfonditi prima di accettare i carichi di lavoro. I nodi esistenti e i job in esecuzione non sono interessati.

aws sagemaker update-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 8,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

I nuovi nodi sono isolati nella prenotazione di manutenzione durante l'esecuzione di controlli approfonditi sullo stato di salute. I lavori che richiedono la capacità aggiuntiva dei nuovi nodi attendono che tali nodi superino controlli di integrità approfonditi e diventino disponibili. I lavori che possono essere soddisfatti dai nodi disponibili esistenti non sono interessati.

On-demand controlli sanitari approfonditi

On-demand i controlli di integrità approfonditi consentono di attivare la convalida dell'hardware sui nodi del cluster esistenti in qualsiasi momento utilizzando l'StartClusterHealthCheckAPI. Ciò è utile per la convalida periodica dello stato o dopo sospetti problemi hardware.

Esecuzione di controlli di integrità approfonditi su richiesta dalla console

Puoi eseguire controlli approfonditi sullo stato delle istanze HyperPod del cluster direttamente dalla console SageMaker AI.

Un banner di successo conferma che i controlli sono stati avviati. Le istanze non sono disponibili per i carichi di lavoro durante i controlli, che possono richiedere più di un'ora. Monitora lo stato dell'istanza nella tabella Istanze: mostra che il Deep health check è in corso durante l'esecuzione. Quando vengono rilevati problemi e il ripristino automatico è abilitato, riavvia o sostituisce SageMaker HyperPod automaticamente le istanze difettose.

Attivazione di controlli sanitari approfonditi su richiesta utilizzando AWS Command Line Interface

È possibile specificare quali gruppi di istanze e quali controlli eseguire. Può essere attiva solo una richiesta di controllo approfondito dello stato su richiesta per cluster alla volta.

aws sagemaker start-cluster-health-check \
  --cluster-name my-slurm-cluster \
  --deep-health-check-configurations '[
    {
      "InstanceGroupName": "worker-group",
      "DeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

Comportamento con carichi di lavoro in esecuzione

Quando vengono attivati controlli di integrità approfonditi su richiesta sui nodi che eseguono processi:

Log dei controlli dell’integrità approfonditi

Di seguito sono riportati alcuni esempi di log tratti dai controlli SageMaker HyperPod approfonditi sullo stato di salute.

Cluster-level logs

I log di controllo approfondito dello stato a livello di cluster vengono archiviati nel gruppo di CloudWatch log all'indirizzo. /aws/sagemaker/Clusters/<cluster_name>/<cluster_id>

I flussi di log vengono registrati in DeepHealthCheckResults/<log_stream_id>.

Instance-level logs

Su ogni nodo, i log di controllo approfondito dello stato sono archiviati in. /var/log/aws/clusters/sagemaker-deep-health-check.log

Puoi accedere al registro tramite SSM:

aws ssm start-session \
  --target "sagemaker-cluster:<cluster_id>_<instance_group>-<instance_id>"

Quindi visualizza il registro:

cat /var/log/aws/clusters/sagemaker-deep-health-check.log

Esempio di output HARDWARE_CHECK

2026-03-29T18:03:14Z  info  Executing Hardware stress check with command: stress-ng
2026-03-29T18:04:20Z  info  stress-ng success
2026-03-29T18:04:20Z  info  GpuPci Count check success

Esempio di output DCGM

2026-03-29T18:35:02Z  info  DCGM diagnostic health summary: dcgmCheckLevel: 4
  dcgmVersion: 3.3.7 gpuDriverVersion: 535.183.01
  gpuDeviceIds: [2237] replacementRequired: false rebootRequired: false

Esempio di output EFA

2026-03-29T18:36:28Z  info  EFA Loopback check passed for device: rdmap0s29
  MaxBw: 58.59, AvgBw: 32.42, MaxTypicalLat: 30.87, AvgLat: 21.63

Esempio di output relativo a un controllo approfondito dello stato

{
    "level": "error",
    "ts": "2026-03-29T19:15:22Z",
    "msg": "Encountered FaultyInstance. Replace the Instance. Region: us-west-2, InstanceType: ml.g5.8xlarge. ERROR: Bandwidth has less than threshold: Expected minimum threshold: 80, NCCL Test output Bw: 30"
}

Auto-resume comportamento con controlli sanitari approfonditi

Se non sono abilitati i controlli di integrità approfonditi, quando un nodo viene sostituito durante il ripristino automatico, il nodo sostitutivo viene immediatamente aggiunto al cluster e il job ripreso automaticamente può essere pianificato immediatamente su di esso.

Con i controlli di integrità approfonditi abilitati, il nodo sostitutivo deve superare tutti i controlli di integrità approfonditi configurati prima di diventare disponibile. Tuttavia, il job ripreso automaticamente non deve attendere il nodo sostitutivo: può essere pianificato su qualsiasi altro nodo disponibile nel cluster. Il job attende solo se non sono disponibili altri nodi.

Ulteriori considerazioni