Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Configura raccoglitori Prometheus gestiti per Amazon OpenSearch Assistenza
Il collettore gestito Amazon Managed Service for Prometheus per Amazon OpenSearch Il servizio esegue automaticamente lo scraping Prometheus-compatible metriche tratte dalle tue OpenSearch Domini di servizio e li inoltra a destinazione. Amazon Managed Service for Prometheus gestisce il collettore per te, offrendoti la scalabilità, la sicurezza e l'affidabilità di cui hai bisogno, senza dover gestire personalmente istanze, agenti o scraper. La tua destinazione può essere Amazon Managed Service for Prometheus workspace o Amazon CloudWatch.
Puoi anche creare uno scraper che si integri con Amazon Elastic Kubernetes Service o con Amazon Managed Streaming per Apache Kafka. Per ulteriori informazioni, consulta Integra Amazon EKS e Integra Amazon MSK.
Creare uno scraper
Questa procedura presuppone che tu conosca Amazon OpenSearch Concetti di amministrazione dei domini di servizio e di rete Amazon Virtual Private Cloud.
Esistono alcuni prerequisiti per creare uno scraper per un OpenSearch Dominio di servizio:
-
Un Amazon OpenSearch Dominio di servizio con accesso ad Amazon Virtual Private Cloud. Supporta solo i raccoglitori gestiti OpenSearch Domini di servizio con accesso VPC. I domini con accesso pubblico non sono supportati.
-
Gruppi di sicurezza che consentono al raccoglitore gestito di raggiungere il tuo OpenSearch Endpoint del dominio di servizio su HTTPS (porta 443). Aggiungi una regola in entrata al gruppo di sicurezza del dominio che consenta il traffico HTTPS dal gruppo di sicurezza indicato per il raccoglitore.
Per dire al raschietto quale OpenSearch Dominio di servizio da cui effettuare il prelievo, si specifica il dominio nel exporters campo della richiesta. Il exporters il campo contiene un elenco di configurazioni dell'esportatore; per un OpenSearch Dominio di servizio, fornire un openSearchConfiguration con domainArn del dominio. La rete (sottoreti e gruppo di sicurezza) viene fornita separatamente nel source campo, come mostrato negli esempi seguenti.
Lo scraper utilizza l'endpoint VPC del dominio così come risolto al momento della creazione dello scraper. Se si ricrea il dominio, ottiene un nuovo endpoint, quindi è necessario creare un nuovo scraper o aggiornare quello esistente con UpdateScraper da prelevare da esso.
Fornisci una configurazione di scrape quando crei lo scraper. Il raccoglitore gestito si connette al dominio specificato e ne raccoglie le metriche automaticamente, quindi non devi specificare destinazioni per lo scraping nella configurazione. La configurazione deve includere una sezione scrape_configs con un job con valore job_name uguale a opensearch-exporter. Una configurazione che non contiene un lavoro denominato opensearch-exporter viene rifiutata. Utilizza la configurazione di scrape per impostare l'intervallo di scrape e, facoltativamente, per filtrare o rietichettare le metriche raccolte. Di seguito è riportato un esempio di configurazione scrape:
global: external_labels: domain_name:my-opensearch-domainscrape_configs: - job_name: opensearch-exporter scrape_interval: 60s
Per ulteriori informazioni sulle opzioni di configurazione scrape supportate, vedere Configurazione dello scraper.
-
Di seguito è riportato un elenco completo delle operazioni di scraper che è possibile utilizzare con AWS API:
Creare uno scraper con l'operazione CreateScraper API.
-
Elenca i tuoi scraper esistenti con l'operazione ListScrapers API.
-
Aggiorna l'alias, la configurazione o la destinazione di uno scraper con UpdateScraper Funzionamento API.
-
Elimina uno scraper con l'operazione DeleteScraper API.
-
Ottieni maggiori dettagli su uno scraper con l'operazione DescribeScraper API.
Cross-account configurare
Per creare uno scraper in una configurazione con più account, quando OpenSearch Il dominio di servizio da cui desideri raccogliere le metriche si trova in un account diverso dal collector Amazon Managed Service for Prometheus, utilizza la seguente procedura.
Ad esempio, hai due account: un account sorgente account_id_source dove OpenSearch si trova il dominio di servizio e un account di destinazione account_id_target dove risiede lo spazio di lavoro di Amazon Managed Service for Prometheus.
Le politiche di fiducia nei passaggi seguenti si riferiscono allo scraper in base al relativo ARN, che include un scraper-id questo non esiste finché non si crea lo scraper. Per evitare questo problema di ordinamento, crea prima i ruoli con un carattere jolly (scraper/*) al posto dello specifico ARN dello scraper, create lo scraper, quindi aggiornate entrambe le policy di fiducia per sostituire la jolly con l'ARN dello scraper effettivo che CreateScraper ritorna.
Per creare uno scraper in una configurazione con più account
-
Nell'account di origine, crea un ruolo
arn:aws:iam::e aggiungi la seguente politica di fiducia.111122223333:role/Source{ "Effect": "Allow", "Principal": { "Service": [ "scraper.aps.amazonaws.com" ] }, "Action": "sts:AssumeRole", "Condition": { "ArnEquals": { "aws:SourceArn": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" }, "StringEquals": { "AWS:SourceAccount": "111122223333" } } } -
Nell'account di destinazione, crea un ruolo
arn:aws:iam::e aggiungi la seguente politica di fiducia, che consente al ruolo di origine di assumerla.444455556666:role/Target{ "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:role/Source" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "sts:ExternalId": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" } } }Allega una politica di autorizzazioni al ruolo di destinazione che gli consenta di scrivere nella tua destinazione. Se la tua destinazione è un'area di lavoro Amazon Managed Service for Prometheus, allega AmazonPrometheusRemoteWriteAccess (che concede
aps:RemoteWrite). Se la tua destinazione è Amazon CloudWatch, allega una polizza che concedacloudwatch:PutMetricDatasul set di dati. -
Crea un raschietto con
--role-configurationopzione.aws amp create-scraper \ --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \ --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:aws-region:111122223333:domain/my-opensearch-domain"}}]' \ --scrape-configuration configurationBlob=<base64-encoded-blob>\ --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:aws-region:444455556666:workspace/ws-workspace-id"}}' \ --role-configuration '{"sourceRoleArn":"arn:aws:iam::111122223333:role/Source", "targetRoleArn":"arn:aws:iam::444455556666:role/Target"}' -
Convalida la creazione dello scraper.
aws amp list-scrapers
Trova ed elimina gli scraper
Puoi usare AWS API o AWS CLI per elencare gli scraper nel tuo account o per eliminarli.
Assicurati di utilizzare la versione più recente di AWS CLI o SDK. L'ultima versione offre le caratteristiche e le funzionalità più recenti, nonché gli aggiornamenti di sicurezza. In alternativa, usa AWS CloudShell, che fornisce automaticamente un'esperienza a riga di comando sempre aggiornata.
Per elencare tutti gli scraper del tuo account, usa l’operazione API ListScrapers. In alternativa, con AWS CLI, chiama:
aws amp list-scrapers
Per eliminare uno scraper, trova scraperId relativo allo scraper che desideri eliminare, utilizzando l'operazione ListScrapers, quindi usa l'operazione DeleteScraper per eliminarlo. In alternativa, con AWS CLI, chiama:
aws amp delete-scraper --scraper-idscraperId
Metriche raccolte da Amazon OpenSearch Servizio
Quando effettui l'integrazione con Amazon OpenSearch Service, il collettore Amazon Managed Service for Prometheus esegue automaticamente lo scraping Prometheus-compatible metriche che descrivono lo stato e le prestazioni del tuo dominio. Il raccoglitore emette diverse centinaia di metriche; nelle tabelle seguenti sono elencate le metriche rappresentative di ciascuna categoria. Il opensearch_indices_ le metriche nelle tabelle seguenti sono aggregate in tutto il dominio e molte hanno varianti solo primarie e totali (con suffisso _primary o _total). Il raccoglitore emette anche le stesse statistiche per indice, con prefisso opensearch_index_stats_e metriche per shard con prefisso opensearch_indices_shards_.
| Parametro | Descrizione/Scopo |
|---|---|
opensearch_cluster_health_status |
Stato di integrità del cluster (verde, giallo o rosso). |
opensearch_cluster_health_number_of_nodes |
Numero di nodi nel cluster . |
opensearch_cluster_health_number_of_data_nodes |
Numero di nodi di dati nel cluster. |
opensearch_cluster_health_active_primary_shards |
Numero di frammenti primari attivi. |
opensearch_cluster_health_active_shards |
Numero totale di frammenti attivi, inclusi frammenti primari e di replica. |
opensearch_cluster_health_relocating_shards |
Numero di frammenti che si stanno riposizionando tra i nodi. |
opensearch_cluster_health_initializing_shards |
Numero di frammenti in fase di inizializzazione. |
opensearch_cluster_health_unassigned_shards |
Numero di frammenti non assegnati a un nodo. |
opensearch_cluster_health_delayed_unassigned_shards |
Numero di frammenti non assegnati la cui assegnazione è ritardata. |
opensearch_cluster_health_number_of_pending_tasks |
Numero di attività a livello di cluster in coda e in attesa di esecuzione. |
opensearch_cluster_health_number_of_in_flight_fetch |
Numero di richieste di shard fetch in corso. |
opensearch_cluster_health_task_max_waiting_in_queue_millis |
Tempo massimo di attesa di un'attività in coda, in millisecondi. |
| Parametro | Descrizione/Scopo |
|---|---|
opensearch_os_cpu_percent |
Percentuale di CPU utilizzata dal sistema operativo sul nodo. |
opensearch_os_load1 |
Carico medio del sistema operativo nell'ultimo minuto. Il raccoglitore emette anche |
opensearch_os_mem_used_bytes |
Quantità di memoria fisica utilizzata, in byte. Il raccoglitore emette anche |
opensearch_jvm_memory_used_bytes |
Quantità di memoria JVM utilizzata, in byte, per area di memoria (heap e non heap). Le metriche correlate includono |
opensearch_jvm_gc_collection_seconds_count |
Numero totale di eventi di garbage collection JVM. Usare con |
opensearch_jvm_uptime_seconds |
Tempo di attività della JVM, in secondi. |
opensearch_thread_pool_active_count |
Numero di thread attivi in ogni pool di thread. Le metriche correlate includono |
opensearch_filesystem_data_available_bytes |
Quantità di spazio su disco disponibile per il nodo, in byte. Le metriche correlate includono |
opensearch_filesystem_io_stats_device_read_operations_count |
Numero di operazioni di lettura del disco. Il raccoglitore emette anche i conteggi delle operazioni di scrittura e totali e le dimensioni di lettura e scrittura (ad esempio, |
opensearch_process_cpu_percent |
Percentuale di CPU utilizzata da OpenSearch processo. |
opensearch_process_mem_resident_size_bytes |
Dimensione della memoria residente di OpenSearch processo, in byte. |
opensearch_process_open_files_count |
Numero di descrittori di file aperti da OpenSearch processo. |
opensearch_breakers_tripped |
Numero totale di volte in cui ogni interruttore automatico è scattato. Le metriche correlate includono |
opensearch_transport_rx_size_bytes_total |
Quantità totale di dati ricevuti sul livello di trasporto tra i nodi, in byte. Il raccoglitore emette anche |
opensearch_indexing_pressure_current_all_in_bytes |
Memoria corrente consumata dalle richieste di indicizzazione, in byte, con |
| Parametro | Descrizione/Scopo |
|---|---|
opensearch_indices_docs |
Numero di documenti. Le metriche correlate includono |
opensearch_indices_store_size_bytes |
Dimensione totale degli indici su disco, in byte, con |
opensearch_indices_indexing_index_total |
Numero totale di documenti indicizzati. Usare con |
opensearch_indices_indexing_is_throttled |
Indica se l'indicizzazione è attualmente limitata, con |
opensearch_indices_search_query_total |
Numero totale di query di ricerca. Usare con |
opensearch_indices_search_fetch_total |
Numero totale di operazioni di recupero, con |
opensearch_indices_get_total |
Numero totale di operazioni get, con |
opensearch_indices_merges_total |
Numero totale di fusioni di segmenti completate. Le metriche correlate includono |
opensearch_indices_refresh_total |
Numero totale di operazioni di aggiornamento dell'indice, con |
opensearch_indices_flush_total |
Numero totale di operazioni di svuotamento dell'indice, con |
opensearch_indices_segments_count |
Numero di segmenti. Il raccoglitore emette anche metriche di memoria per segmento (ad esempio, |
opensearch_indices_translog_operations |
Numero di operazioni nel registro delle transazioni, con |
opensearch_indices_fielddata_memory_size_bytes |
Memoria utilizzata dalla cache dei dati del campo, in byte, con |
opensearch_indices_query_cache_memory_size_bytes |
Memoria utilizzata dalla cache delle query, in byte. Le metriche correlate includono |
opensearch_indices_request_cache_memory_size_bytes |
Memoria utilizzata dalla cache delle richieste, in byte. Le metriche correlate includono |
Limitazioni
L'Amazon OpenSearch L'integrazione del servizio con Amazon Managed Service for Prometheus presenta le seguenti limitazioni:
-
Supportato solo per OpenSearch Domini di servizio con accesso ad Amazon Virtual Private Cloud. I domini con accesso pubblico non sono supportati.
-
Uno scraper raccoglie le metriche da un singolo OpenSearch Dominio di servizio. Per raccogliere metriche da più di un dominio, crea uno scraper diverso per ogni dominio.