View a markdown version of this page

SageMaker HyperPod Eventi del cluster EKS - Amazon SageMaker AI
PrerequisitiEvent types (Tipi di evento)Visualizzazione degli eventi nella consoleElencare gli eventi utilizzando il AWS CLIDescrivere un evento specificoAutomatizzare le risposte con Amazon EventBridgeArgomenti correlati

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

SageMaker HyperPod Eventi del cluster EKS

Amazon SageMaker HyperPod emette eventi cluster strutturati che forniscono visibilità sulle modifiche operative a livello di cluster, gruppo di istanze e istanze. Puoi utilizzare questi eventi per monitorare l'attività di approvvigionamento, tenere traccia delle operazioni di scalabilità, rilevare guasti e creare pipeline di avvisi automatizzate.

Gli eventi cluster sono disponibili per i cluster HyperPod EKS con set to. NodeProvisioningMode Continuous Gli eventi sono accessibili tramite le DescribeClusterEvent API ListClusterEvents and, la console di SageMaker intelligenza artificiale e Amazon EventBridge.

Per lo schema completo degli eventi, i livelli di gravità, il catalogo completo degli eventi e i dettagli EventBridge sull'integrazione, consultaSageMaker HyperPod riferimento agli eventi del cluster.

Prerequisiti

  • Il cluster HyperPod EKS deve essere NodeProvisioningMode impostato suContinuous. I cluster che utilizzano la modalità di provisioning legacy non emettono eventi strutturati.

  • Per utilizzare l'API, sono necessarie le sagemaker:DescribeClusterEvent autorizzazioni sagemaker:ListClusterEvents previste nella policy IAM.

Event types (Tipi di evento)

HyperPod emette due categorie di eventi per i cluster EKS in fase di provisioning continuo: eventi comuni che si applicano a tutti gli orchestratori ed eventi. EKS-specific

Gli eventi comuni riguardano le operazioni dell'infrastruttura di base come il provisioning e la terminazione delle istanze, la scalabilità del gruppo di istanze, la gestione della prenotazione della capacità, l'esecuzione degli script del ciclo di vita, la gestione ENI, il ciclo di vita del file system FSx e i flussi di lavoro di patching. HyperPod Per l'Eventi comuni (EKS e Slurm)elenco completo, consulta il riferimento agli eventi del cluster.

EKS-specific gli eventi riguardano operazioni specifiche dell'orchestratore, come la gestione degli accessi EKS, gli aggiornamenti della configurazione di Kubernetes (etichette e difetti), il ciclo di vita della scalabilità automatica di Karpenter, lo sfratto dei pod e durante l'applicazione delle patch e il monitoraggio degli allarmi in fase di cottura con rollback automatico. cordon/uncordon Questi EKS-specific eventi forniscono visibilità sulle fasi del ciclo di vita che in precedenza erano osservabili solo tramite i log. CloudWatch Per l'elenco completo, vedere EKS-specific eventi nel riferimento agli eventi del HyperPod cluster.

Visualizzazione degli eventi nella console

  1. Apri la console SageMaker AI.

  2. Nel riquadro di navigazione a sinistra, scegli HyperPodcluster.

  3. Scegli il nome del tuo cluster.

  4. Scegli la scheda Eventi.

La scheda Eventi mostra un elenco impaginato di eventi con colonne per livello di evento, ID evento, nome della risorsa, tipo di risorsa, descrizione e ora dell'evento. Puoi filtrare gli eventi per attributo utilizzando la casella di ricerca, ordinarli per ora dell'evento e scegliere un ID evento per visualizzare i dettagli completi dell'evento, inclusi i metadati dell'evento e il record completo dell'evento.

Elencare gli eventi utilizzando il AWS CLI

Usa il list-cluster-events comando per recuperare gli eventi per il tuo cluster:

aws sagemaker list-cluster-events \
    --cluster-name my-eks-cluster \
    --sort-by EventTime \
    --sort-order Descending \
    --max-results 20

Puoi restringere i risultati utilizzando i seguenti filtri:

  • --resource-type— filtra per ClusterInstanceGroup, oInstance.

  • --instance-group-name— filtra gli eventi per un gruppo di istanze specifico.

  • --node-id— filtra gli eventi per un'istanza EC2 specifica.

  • --event-time-aftere --event-time-before — filtra fino a una finestra temporale specifica.

Ad esempio, per visualizzare solo gli eventi a livello di gruppo di istanze per uno specifico gruppo di istanze:

aws sagemaker list-cluster-events \
    --cluster-name my-eks-cluster \
    --resource-type InstanceGroup \
    --instance-group-name gpu-workers

Descrivere un evento specifico

Utilizzate il describe-cluster-event comando con un ID evento dall'output dell'elenco per recuperare i dettagli completi dell'evento, tra cui EventLevelDescription, e: EventMetadata

aws sagemaker describe-cluster-event \
    --cluster-name my-eks-cluster \
    --event-id 83ea0bb5-be77-45e8-a458-0a87f778a205

Per la struttura del record di eventi restituito e una descrizione di ogni campo, vedete Registro degli eventi del cluster nel riferimento agli eventi del HyperPod cluster.

Automatizzare le risposte con Amazon EventBridge

HyperPod gli eventi del cluster vengono inviati automaticamente ad Amazon EventBridge in base al tipo di dettaglioSageMaker HyperPod Cluster Event, consentendoti di indirizzare gli eventi verso destinazioni come Lambda, Amazon SNS, Step Functions o Amazon SQS. È possibile filtrare in base al EventLevel campo per attivare gli avvisi solo per Error gli eventi oppure filtrare per ARN del cluster per definire le regole relative a un cluster specifico.

Per i modelli di EventBridge eventi, gli esempi di payload e i tipi correlati SageMaker HyperPod Cluster State Change e di SageMaker HyperPod Cluster Node Health Event dettaglio, consulta EventBridge integrazione il riferimento agli eventi del HyperPod cluster.