Osservabilità dettagliata di Amazon SageMaker AI per gli endpoint di inferenza

OpenTelemetry-native collezione. Le metriche vengono raccolte utilizzando un OTel Collector che estrae gli endpoint Prometheus da DCGM (metriche GPU), dagli esportatori di nodi (CPU, memoria, disco) e dai contenitori del framework di inferenza (VLLm, Sglang).

Etichette dimensionali ricche. Ogni metrica viene pubblicata con etichette comeaws.sagemaker.endpoint.name,, aws.sagemaker.inference_component.name @resource.host.id@resource.cloud.availability_zone, e @resource.host.type per un filtraggio e un'aggregazione precisi.

Per-GPU attribuzione. Le metriche GPU (DCGM) includono l'attribuzione per componente di inferenza, che consente di identificare quale modello sta consumando risorse GPU su istanze multi-tenant.

Metriche del framework di inferenza. Le metriche native di VLLm e SGlang, tra cui token al secondo, TTFT (time to first token), latenza tra token, utilizzo della cache KV, profondità della coda e dimensione del batch, sono disponibili senza strumentazione personalizzata.

Supporto per le query PromQL. Esegui query sui parametri utilizzando la sintassi PromQL in Amazon CloudWatch, CloudWatch Query Studio o Amazon Managed Grafana.

Frequenza di scraping configurabile. Controlla la frequenza con cui vengono raccolte le metriche utilizzando MetricPublishFrequencyInSeconds (valori validi: 10, 30, 60, 120, 180, 240, 300 secondi). Il valore predefinito è 60 secondi. Le metriche del piano di controllo come il ciclo di vita, la scalabilità automatica e la diagnostica ICE sono basate sugli eventi e non sono influenzate da questa impostazione.