View a markdown version of this page

Configura raccoglitori Prometheus gestiti per Amazon OpenSearch Assistenza - Amazon Managed Service per Prometheus

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configura raccoglitori Prometheus gestiti per Amazon OpenSearch Assistenza

Il collettore gestito Amazon Managed Service for Prometheus per Amazon OpenSearch Il servizio esegue automaticamente lo scraping Prometheus-compatible metriche tratte dalle tue OpenSearch Domini di servizio e li inoltra a destinazione. Amazon Managed Service for Prometheus gestisce il collettore per te, offrendoti la scalabilità, la sicurezza e l'affidabilità di cui hai bisogno, senza dover gestire personalmente istanze, agenti o scraper. La tua destinazione può essere Amazon Managed Service for Prometheus workspace o Amazon CloudWatch.

Puoi anche creare uno scraper che si integri con Amazon Elastic Kubernetes Service o con Amazon Managed Streaming per Apache Kafka. Per ulteriori informazioni, consulta Integra Amazon EKS e Integra Amazon MSK.

Creare uno scraper

Questa procedura presuppone che tu conosca Amazon OpenSearch Concetti di amministrazione dei domini di servizio e di rete Amazon Virtual Private Cloud.

Esistono alcuni prerequisiti per creare uno scraper per un OpenSearch Dominio di servizio:

  • Un Amazon OpenSearch Dominio di servizio con accesso ad Amazon Virtual Private Cloud. Supporta solo i raccoglitori gestiti OpenSearch Domini di servizio con accesso VPC. I domini con accesso pubblico non sono supportati.

  • Gruppi di sicurezza che consentono al raccoglitore gestito di raggiungere il tuo OpenSearch Endpoint del dominio di servizio su HTTPS (porta 443). Aggiungi una regola in entrata al gruppo di sicurezza del dominio che consenta il traffico HTTPS dal gruppo di sicurezza indicato per il raccoglitore.

Per dire al raschietto quale OpenSearch Dominio di servizio da cui effettuare il prelievo, si specifica il dominio nel exporters campo della richiesta. Il exporters il campo contiene un elenco di configurazioni dell'esportatore; per un OpenSearch Dominio di servizio, fornire un openSearchConfiguration con domainArn del dominio. La rete (sottoreti e gruppo di sicurezza) viene fornita separatamente nel source campo, come mostrato negli esempi seguenti.

Nota

Lo scraper utilizza l'endpoint VPC del dominio così come risolto al momento della creazione dello scraper. Se si ricrea il dominio, ottiene un nuovo endpoint, quindi è necessario creare un nuovo scraper o aggiornare quello esistente con UpdateScraper da prelevare da esso.

Fornisci una configurazione di scrape quando crei lo scraper. Il raccoglitore gestito si connette al dominio specificato e ne raccoglie le metriche automaticamente, quindi non devi specificare destinazioni per lo scraping nella configurazione. La configurazione deve includere una sezione scrape_configs con un job con valore job_name uguale a opensearch-exporter. Una configurazione che non contiene un lavoro denominato opensearch-exporter viene rifiutata. Utilizza la configurazione di scrape per impostare l'intervallo di scrape e, facoltativamente, per filtrare o rietichettare le metriche raccolte. Di seguito è riportato un esempio di configurazione scrape:

global: external_labels: domain_name: my-opensearch-domain scrape_configs: - job_name: opensearch-exporter scrape_interval: 60s

Per ulteriori informazioni sulle opzioni di configurazione scrape supportate, vedere Configurazione dello scraper.

To create a scraper using the AWS API

Usa il CreateScraper Operazione API per creare uno scraper con AWS API. L'esempio seguente crea uno scraper nella regione Stati Uniti orientali (Virginia settentrionale) che raccoglie le metriche da un OpenSearch Domini di servizio e li invia a uno spazio di lavoro Amazon Managed Service for Prometheus. Sostituisci il example inserisci le tue informazioni sul dominio, sulla rete e sull'area di lavoro e fornisci la configurazione dello scraper.

Nota

Configura il gruppo di sicurezza e le sottoreti in modo che corrispondano all'Amazon VPC del tuo OpenSearch Dominio di servizio. Includi almeno due sottoreti in due zone di disponibilità.

POST /scrapers HTTP/1.1 { "alias": "myScraper", "source": { "vpcConfiguration": { "securityGroupIds": ["sg-security-group-id"], "subnetIds": ["subnet-subnet-id-1", "subnet-subnet-id-2"] } }, "exporters": [ { "openSearchConfiguration": { "domainArn": "arn:aws:es:us-east-1:123456789012:domain/my-opensearch-domain" } } ], "destination": { "ampConfiguration": { "workspaceArn": "arn:aws:aps:us-east-1:123456789012:workspace/ws-workspace-id" } }, "scrapeConfiguration": { "configurationBlob": "base64-encoded-blob" } }

Per inviare le metriche ad Amazon CloudWatch invece di un Amazon Managed Service for Prometheus workspace, sostituisci il destination con un CloudWatch configurazione:

"destination": { "cloudWatchConfiguration": { "datasetArn": "arn:aws:cloudwatch:us-east-1:123456789012:dataset/default" } }

La scrapeConfiguration il parametro richiede un file YAML di configurazione Prometheus con codifica base64. Eseguite uno dei seguenti comandi per convertire il file YAML in base64. Puoi anche usare qualsiasi convertitore base64 online per convertire il file.

Esempio Linux/macOS
base64 -w0 scraper-config.yaml
Esempio finestre PowerShell
[Convert]::ToBase64String([System.IO.File]::ReadAllBytes("scraper-config.yaml"))
To create a scraper using the AWS CLI

Usa il create-scraper comando per creare un raschietto usando il AWS Command Line Interface. L'esempio seguente crea uno scraper nella regione Stati Uniti orientali (Virginia settentrionale). Sostituisci il example inserisci le tue informazioni sul dominio, sulla rete e sull'area di lavoro e fornisci la configurazione dello scraper.

Nota

Configura il gruppo di sicurezza e le sottoreti in modo che corrispondano all'Amazon VPC del tuo OpenSearch Dominio di servizio. Includi almeno due sottoreti in due zone di disponibilità.

aws amp create-scraper \ --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \ --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:us-east-1:123456789012:domain/my-opensearch-domain"}}]' \ --scrape-configuration configurationBlob=base64-encoded-blob \ --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:us-east-1:123456789012:workspace/ws-workspace-id"}}'
  • Di seguito è riportato un elenco completo delle operazioni di scraper che è possibile utilizzare con AWS API:

    Creare uno scraper con l'operazione CreateScraper API.

  • Elenca i tuoi scraper esistenti con l'operazione ListScrapers API.

  • Aggiorna l'alias, la configurazione o la destinazione di uno scraper con UpdateScraper Funzionamento API.

  • Elimina uno scraper con l'operazione DeleteScraper API.

  • Ottieni maggiori dettagli su uno scraper con l'operazione DescribeScraper API.

Cross-account configurare

Per creare uno scraper in una configurazione con più account, quando OpenSearch Il dominio di servizio da cui desideri raccogliere le metriche si trova in un account diverso dal collector Amazon Managed Service for Prometheus, utilizza la seguente procedura.

Ad esempio, hai due account: un account sorgente account_id_source dove OpenSearch si trova il dominio di servizio e un account di destinazione account_id_target dove risiede lo spazio di lavoro di Amazon Managed Service for Prometheus.

Nota

Le politiche di fiducia nei passaggi seguenti si riferiscono allo scraper in base al relativo ARN, che include un scraper-id questo non esiste finché non si crea lo scraper. Per evitare questo problema di ordinamento, crea prima i ruoli con un carattere jolly (scraper/*) al posto dello specifico ARN dello scraper, create lo scraper, quindi aggiornate entrambe le policy di fiducia per sostituire la jolly con l'ARN dello scraper effettivo che CreateScraper ritorna.

Per creare uno scraper in una configurazione con più account
  1. Nell'account di origine, crea un ruolo arn:aws:iam::111122223333:role/Source e aggiungi la seguente politica di fiducia.

    { "Effect": "Allow", "Principal": { "Service": [ "scraper.aps.amazonaws.com" ] }, "Action": "sts:AssumeRole", "Condition": { "ArnEquals": { "aws:SourceArn": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" }, "StringEquals": { "AWS:SourceAccount": "111122223333" } } }
  2. Nell'account di destinazione, crea un ruolo arn:aws:iam::444455556666:role/Target e aggiungi la seguente politica di fiducia, che consente al ruolo di origine di assumerla.

    { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:role/Source" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "sts:ExternalId": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" } } }

    Allega una politica di autorizzazioni al ruolo di destinazione che gli consenta di scrivere nella tua destinazione. Se la tua destinazione è un'area di lavoro Amazon Managed Service for Prometheus, allega AmazonPrometheusRemoteWriteAccess (che concede aps:RemoteWrite). Se la tua destinazione è Amazon CloudWatch, allega una polizza che conceda cloudwatch:PutMetricData sul set di dati.

  3. Crea un raschietto con --role-configuration opzione.

    aws amp create-scraper \ --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \ --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:aws-region:111122223333:domain/my-opensearch-domain"}}]' \ --scrape-configuration configurationBlob=<base64-encoded-blob> \ --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:aws-region:444455556666:workspace/ws-workspace-id"}}' \ --role-configuration '{"sourceRoleArn":"arn:aws:iam::111122223333:role/Source", "targetRoleArn":"arn:aws:iam::444455556666:role/Target"}'
  4. Convalida la creazione dello scraper.

    aws amp list-scrapers

Trova ed elimina gli scraper

Puoi usare AWS API o AWS CLI per elencare gli scraper nel tuo account o per eliminarli.

Nota

Assicurati di utilizzare la versione più recente di AWS CLI o SDK. L'ultima versione offre le caratteristiche e le funzionalità più recenti, nonché gli aggiornamenti di sicurezza. In alternativa, usa AWS CloudShell, che fornisce automaticamente un'esperienza a riga di comando sempre aggiornata.

Per elencare tutti gli scraper del tuo account, usa l’operazione API ListScrapers. In alternativa, con AWS CLI, chiama:

aws amp list-scrapers

Per eliminare uno scraper, trova scraperId relativo allo scraper che desideri eliminare, utilizzando l'operazione ListScrapers, quindi usa l'operazione DeleteScraper per eliminarlo. In alternativa, con AWS CLI, chiama:

aws amp delete-scraper --scraper-id scraperId

Metriche raccolte da Amazon OpenSearch Servizio

Quando effettui l'integrazione con Amazon OpenSearch Service, il collettore Amazon Managed Service for Prometheus esegue automaticamente lo scraping Prometheus-compatible metriche che descrivono lo stato e le prestazioni del tuo dominio. Il raccoglitore emette diverse centinaia di metriche; nelle tabelle seguenti sono elencate le metriche rappresentative di ciascuna categoria. Il opensearch_indices_ le metriche nelle tabelle seguenti sono aggregate in tutto il dominio e molte hanno varianti solo primarie e totali (con suffisso _primary o _total). Il raccoglitore emette anche le stesse statistiche per indice, con prefisso opensearch_index_stats_e metriche per shard con prefisso opensearch_indices_shards_.

Parametro Descrizione/Scopo

opensearch_cluster_health_status

Stato di integrità del cluster (verde, giallo o rosso).

opensearch_cluster_health_number_of_nodes

Numero di nodi nel cluster .

opensearch_cluster_health_number_of_data_nodes

Numero di nodi di dati nel cluster.

opensearch_cluster_health_active_primary_shards

Numero di frammenti primari attivi.

opensearch_cluster_health_active_shards

Numero totale di frammenti attivi, inclusi frammenti primari e di replica.

opensearch_cluster_health_relocating_shards

Numero di frammenti che si stanno riposizionando tra i nodi.

opensearch_cluster_health_initializing_shards

Numero di frammenti in fase di inizializzazione.

opensearch_cluster_health_unassigned_shards

Numero di frammenti non assegnati a un nodo.

opensearch_cluster_health_delayed_unassigned_shards

Numero di frammenti non assegnati la cui assegnazione è ritardata.

opensearch_cluster_health_number_of_pending_tasks

Numero di attività a livello di cluster in coda e in attesa di esecuzione.

opensearch_cluster_health_number_of_in_flight_fetch

Numero di richieste di shard fetch in corso.

opensearch_cluster_health_task_max_waiting_in_queue_millis

Tempo massimo di attesa di un'attività in coda, in millisecondi.

Parametro Descrizione/Scopo

opensearch_os_cpu_percent

Percentuale di CPU utilizzata dal sistema operativo sul nodo.

opensearch_os_load1

Carico medio del sistema operativo nell'ultimo minuto. Il raccoglitore emette anche opensearch_os_load5 e opensearch_os_load15.

opensearch_os_mem_used_bytes

Quantità di memoria fisica utilizzata, in byte. Il raccoglitore emette anche opensearch_os_mem_free_bytes, opensearch_os_mem_actual_used_bytes, e opensearch_os_mem_actual_free_bytes.

opensearch_jvm_memory_used_bytes

Quantità di memoria JVM utilizzata, in byte, per area di memoria (heap e non heap). Le metriche correlate includono opensearch_jvm_memory_committed_bytes e opensearch_jvm_memory_max_bytes.

opensearch_jvm_gc_collection_seconds_count

Numero totale di eventi di garbage collection JVM. Usare con opensearch_jvm_gc_collection_seconds_sum, il tempo totale dedicato alla raccolta dei rifiuti.

opensearch_jvm_uptime_seconds

Tempo di attività della JVM, in secondi.

opensearch_thread_pool_active_count

Numero di thread attivi in ogni pool di thread. Le metriche correlate includono opensearch_thread_pool_queue_count, opensearch_thread_pool_rejected_count, e opensearch_thread_pool_completed_count.

opensearch_filesystem_data_available_bytes

Quantità di spazio su disco disponibile per il nodo, in byte. Le metriche correlate includono opensearch_filesystem_data_free_bytes e opensearch_filesystem_data_size_bytes.

opensearch_filesystem_io_stats_device_read_operations_count

Numero di operazioni di lettura del disco. Il raccoglitore emette anche i conteggi delle operazioni di scrittura e totali e le dimensioni di lettura e scrittura (ad esempio, opensearch_filesystem_io_stats_device_read_size_kilobytes_sum).

opensearch_process_cpu_percent

Percentuale di CPU utilizzata da OpenSearch processo.

opensearch_process_mem_resident_size_bytes

Dimensione della memoria residente di OpenSearch processo, in byte.

opensearch_process_open_files_count

Numero di descrittori di file aperti da OpenSearch processo.

opensearch_breakers_tripped

Numero totale di volte in cui ogni interruttore automatico è scattato. Le metriche correlate includono opensearch_breakers_estimated_size_bytes e opensearch_breakers_limit_size_bytes.

opensearch_transport_rx_size_bytes_total

Quantità totale di dati ricevuti sul livello di trasporto tra i nodi, in byte. Il raccoglitore emette anche opensearch_transport_tx_size_bytes_total e conta i pacchetti.

opensearch_indexing_pressure_current_all_in_bytes

Memoria corrente consumata dalle richieste di indicizzazione, in byte, con opensearch_indexing_pressure_limit_in_bytes come limite configurato.

Parametro Descrizione/Scopo

opensearch_indices_docs

Numero di documenti. Le metriche correlate includono opensearch_indices_docs_deleted, opensearch_indices_docs_primary, e opensearch_indices_docs_total.

opensearch_indices_store_size_bytes

Dimensione totale degli indici su disco, in byte, con opensearch_indices_store_size_bytes_primary e opensearch_indices_store_size_bytes_total varianti.

opensearch_indices_indexing_index_total

Numero totale di documenti indicizzati. Usare con opensearch_indices_indexing_index_time_seconds_total per la latenza di indicizzazione.

opensearch_indices_indexing_is_throttled

Indica se l'indicizzazione è attualmente limitata, con opensearch_indices_indexing_throttle_time_seconds_total per il tempo totale di limitazione.

opensearch_indices_search_query_total

Numero totale di query di ricerca. Usare con opensearch_indices_search_query_time_seconds per la latenza delle interrogazioni.

opensearch_indices_search_fetch_total

Numero totale di operazioni di recupero, con opensearch_indices_search_fetch_time_seconds per la latenza di recupero.

opensearch_indices_get_total

Numero totale di operazioni get, con opensearch_indices_get_time_seconds per get latency.

opensearch_indices_merges_total

Numero totale di fusioni di segmenti completate. Le metriche correlate includono opensearch_indices_merges_current e opensearch_indices_merges_total_time_seconds_total.

opensearch_indices_refresh_total

Numero totale di operazioni di aggiornamento dell'indice, con opensearch_indices_refresh_time_seconds_total per il tempo di aggiornamento.

opensearch_indices_flush_total

Numero totale di operazioni di svuotamento dell'indice, con opensearch_indices_flush_time_seconds per il tempo di lavaggio.

opensearch_indices_segments_count

Numero di segmenti. Il raccoglitore emette anche metriche di memoria per segmento (ad esempio, opensearch_indices_segments_memory_bytes e opensearch_indices_segment_terms_memory_total).

opensearch_indices_translog_operations

Numero di operazioni nel registro delle transazioni, con opensearch_indices_translog_size_in_bytes per le sue dimensioni.

opensearch_indices_fielddata_memory_size_bytes

Memoria utilizzata dalla cache dei dati del campo, in byte, con opensearch_indices_fielddata_evictions per gli sfratti.

opensearch_indices_query_cache_memory_size_bytes

Memoria utilizzata dalla cache delle query, in byte. Le metriche correlate includono opensearch_indices_query_cache_count e opensearch_indices_query_cache_evictions.

opensearch_indices_request_cache_memory_size_bytes

Memoria utilizzata dalla cache delle richieste, in byte. Le metriche correlate includono opensearch_indices_request_cache_count e opensearch_indices_request_cache_evictions.

Limitazioni

L'Amazon OpenSearch L'integrazione del servizio con Amazon Managed Service for Prometheus presenta le seguenti limitazioni:

  • Supportato solo per OpenSearch Domini di servizio con accesso ad Amazon Virtual Private Cloud. I domini con accesso pubblico non sono supportati.

  • Uno scraper raccoglie le metriche da un singolo OpenSearch Dominio di servizio. Per raccogliere metriche da più di un dominio, crea uno scraper diverso per ogni dominio.