Risoluzione dei problemi relativi al componente aggiuntivo Amazon SageMaker HyperPod Observability - Amazon SageMaker AI
Metriche mancantiErrori di installazione del componente aggiuntivoRevisione di tutti i pod di osservabilitàPod bloccati nello stato in sospeso

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Risoluzione dei problemi relativi al componente aggiuntivo Amazon SageMaker HyperPod Observability

Utilizza le seguenti linee guida per risolvere problemi comuni con il componente aggiuntivo Amazon SageMaker HyperPod (SageMaker HyperPod) observability.

Risoluzione dei problemi relativi alle metriche mancanti in Grafana gestito da Amazon

Se le metriche non compaiono nelle dashboard di Grafana gestito da Amazon, segui queste fasi per identificare e risolvere il problema.

Verifica della connessione tra il Servizio gestito da Amazon per Prometheus e Grafana gestito da Amazon

  1. Accedi alla console di Grafana gestito da Amazon.

  2. Nel riquadro a sinistra, scegli Tutto workspaces.

  3. Nella tabella Workspace, scegli il tuo spazio di lavoro.

  4. Nella pagina dei dettagli dello spazio di lavoro, scegli la scheda Origini dati.

  5. Verifica che l’origine dati del Servizio gestito da Amazon per Prometheus esista.

  6. Controlla le impostazioni di connessione:

    • Conferma che l’URL dell’endpoint sia corretto.

    • Verifica che l’autenticazione IAM sia configurata correttamente.

    • Scegli Test Connection (Connessione di prova). Verifica che lo stato sia Origine dati funzionante.

Verifica dello stato del componente aggiuntivo Amazon EKS

  1. Apri la console Amazon EKS a https://console.aws.amazon.com/eks/home#/clusters.

  2. Selezionare il cluster.

  3. Selezionare la scheda Componenti aggiuntivi.

  4. Verifica che il componente aggiuntivo di SageMaker HyperPod osservabilità sia elencato e che il suo stato sia ATTIVO.

  5. Se lo stato non è ACTIVE, consulta Risoluzione degli errori di installazione del componente aggiuntivo.

Verifica dell’associazione Pod Identity

  1. Apri la console Amazon EKS a https://console.aws.amazon.com/eks/home#/clusters.

  2. Selezionare il cluster.

  3. Nella pagina dei dettagli del cluster, scegli la scheda Accesso.

  4. Nella tabella Associazioni Pod Identity, scegli l’associazione con i valori di proprietà seguenti:

    • Spazio dei nomi: hyperpod-observability

    • Account del servizio: hyperpod-observability-operator-otel-collector

    • Componente aggiuntivo: amazon-sagemaker-hyperpod-observability

  5. Assicurati che il ruolo IAM collegato a questa associazione abbia le autorizzazioni seguenti.

    JSON
    {
    "Version":"2012-10-17",		 	 	 		 	 	 
    "Statement": [
        {
            "Sid": "PrometheusAccess",
            "Effect": "Allow",
            "Action": "aps:RemoteWrite",
            "Resource": "arn:aws:aps:us-east-1:111122223333:workspace/workspace-ID"
        },
        {
            "Sid": "CloudwatchLogsAccess",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents",
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:GetLogRecord",
                "logs:StartQuery",
                "logs:StopQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:us-east-1:111122223333:log-group:/aws/sagemaker/Clusters/*",
                "arn:aws:logs:us-east-1:111122223333:log-group:/aws/sagemaker/Clusters/*:log-stream:*"
            ]
        }
    ]
}

  6. Assicurati che il ruolo IAM collegato a questa associazione abbia la policy di attendibilità seguente. Verifica che l’ARN di origine e l’account di origine siano corretti.

    JSON
    {
    "Version":"2012-10-17",		 	 	 		 	 	 
    "Statement": [
        {
            "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
            "Effect": "Allow",
            "Principal": {
                "Service": "pods.eks.amazonaws.com"
            },
            "Action": [
                "sts:AssumeRole",
                "sts:TagSession"
            ],
            "Condition": {
                "StringEquals": {
                    "aws:SourceArn": "arn:aws:eks:us-east-1:111122223333:cluster/cluster-name",
                    "aws:SourceAccount": "111122223333"
                }
            }
        }
    ]
}

Verifica della limitazione (della larghezza di banda della rete) del Servizio gestito da Amazon per Prometheus

  1. Accedi Console di gestione AWS e apri la console Service Quotas all'indirizzo. https://console.aws.amazon.com/servicequotas/

  2. Nella casella Quote gestite, cerca e seleziona Servizio gestito da Amazon per Prometheus.

  3. Scegli la quota Serie attiva per spazio di lavoro.

  4. Nella scheda Quote a livello di risorsa, seleziona lo spazio di lavoro del Servizio gestito da Amazon per Prometheus.

  5. Assicurati che l’utilizzo sia inferiore alla tua quota attuale.

  6. Se hai raggiunto il limite di quota, seleziona lo spazio di lavoro scegliendo il pulsante di opzione a sinistra, quindi seleziona Richiedi un aumento a livello di risorsa.

Verifica che la memorizzazione nella cache KV e il routing intelligente siano abilitati

Se manca la KVCache Metrics dashboard, la funzionalità non è abilitata o la porta non è menzionata nel. modelMetrics Per ulteriori informazioni su come abilitarla, consulta i passaggi 1 e 3 di seguitoConfigura la memorizzazione nella cache KV e il routing intelligente per migliorare le prestazioni.

Se manca la Intelligent Router Metrics dashboard, abilita la funzione per farli apparire. Per ulteriori informazioni su come abilitarla, consultaConfigura la memorizzazione nella cache KV e il routing intelligente per migliorare le prestazioni.

Risoluzione degli errori di installazione del componente aggiuntivo

Se l’installazione del componente aggiuntivo Observability non riesce, utilizza la procedura seguente per diagnosticare e risolvere il problema.

Controlla lo stato di integrità della sonda

  1. Apri la console Amazon EKS a https://console.aws.amazon.com/eks/home#/clusters.

  2. Selezionare il cluster.

  3. Selezionare la scheda Componenti aggiuntivi.

  4. Scegli il componente aggiuntivo non riuscito.

  5. Consulta la sezione Problemi di integrità.

  6. Se il problema di integrità è correlato alle credenziali o a Pod Identity, consulta Verifica dell’associazione Pod Identity. Assicurati inoltre che il componente aggiuntivo Pod Identity Agent sia in esecuzione nel cluster.

  7. Verifica la presenza di errori nei log del gestore. Per istruzioni, consulta Revisione dei log del gestore.

  8. Contatta l'AWSassistenza per i dettagli del problema.

Revisione dei log del gestore

  1. Scarica il pod del gestore dei componenti aggiuntivi:

    kubectl logs -n hyperpod-observability -l control-plane=hyperpod-observability-controller-manager

  2. Per problemi urgenti, contatta Supporto.

Revisione di tutti i pod di osservabilità

Tutti i pod creati dal componente aggiuntivo SageMaker HyperPod Observability si trovano nel namespace. hyperpod-observability Per ottenere lo stato di questi pod, utilizza il comando seguente.

kubectl get pods -n hyperpod-observability

Cerca i pod il cui stato è pending o crashloopbackoff. Utilizza il comando seguente per ottenere i log di questi pod in sospeso o in errore.

kubectl logs -n hyperpod-observability pod-name

Se non trovi errori nei log, utilizza il comando seguente per descrivere i pod e cercare gli errori.

kubectl describe -n hyperpod-observability pod pod-name

Per ottenere più contesto, esegui questi due comandi per visualizzare le descrizioni delle implementazioni e dei DaemonSet per questi pod.

kubectl describe -n hyperpod-observability deployment deployment-name
kubectl describe -n hyperpod-observability daemonset daemonset-name

Risoluzione dei problemi relativi ai pod bloccati nello stato in sospeso

Se vedi che ci sono dei pod bloccati nello stato pending, assicurati che il nodo sia abbastanza grande da contenerli tutti. Per verificare che lo sia, procedi come segue.

  1. Apri la console Amazon EKS a https://console.aws.amazon.com/eks/home#/clusters.

  2. Scegli il cluster.

  3. Scegli la scheda Calcolo del cluster.

  4. Scegli il nodo con il tipo di istanza più piccolo.

  5. Nella sezione di allocazione della capacità, cerca i pod disponibili.

  6. Se non ci sono pod disponibili, devi scegliere un tipo di istanza più grande.

Per problemi urgenti, contatta Supporto AWS.