Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Richten Sie verwaltete Prometheus-Collectors für Amazon ein OpenSearch Bedienung
Der Amazon Managed Service für Prometheus verwaltete Collector für Amazon OpenSearch Der Service scrapt automatisch Prometheus-compatible Metriken von Ihrem OpenSearch Service-Domain und leitet sie an Ihr Ziel weiter. Amazon Managed Service for Prometheus verwaltet den Collector für Sie und bietet Ihnen die Skalierbarkeit, Sicherheit und Zuverlässigkeit, die Sie benötigen, ohne dass Sie Instanzen, Agenten oder Scraper selbst verwalten müssen. Ihr Ziel kann ein Amazon Managed Service für Prometheus Workspace oder Amazon sein CloudWatch.
Sie können auch einen Scraper erstellen, der in Amazon Elastic Kubernetes Service oder in Amazon Managed Streaming für Apache Kafka integriert ist. Weitere Informationen finden Sie unter Integrieren Sie Amazon EKS und Integrieren Sie Amazon MSK.
Einen Scraper erstellen
Bei diesem Verfahren wird davon ausgegangen, dass Sie mit Amazon vertraut sind OpenSearch Verwaltung der Servicedomäne und Netzwerkkonzepte von Amazon Virtual Private Cloud.
Es gibt einige Voraussetzungen für die Erstellung eines Scrapers für OpenSearch Dienstdomäne:
-
Ein Amazon OpenSearch Servicedomäne mit Zugriff auf Amazon Virtual Private Cloud. Nur Unterstützung für verwaltete Sammler OpenSearch Servicedomänen, die VPC-Zugriff haben. Domänen mit öffentlichem Zugriff werden nicht unterstützt.
-
Sicherheitsgruppen, die es dem verwalteten Collector ermöglichen, Ihre zu erreichen OpenSearch Service-Domain-Endpunkt über HTTPS (Port 443). Fügen Sie der Sicherheitsgruppe der Domain eine Regel für eingehenden Datenverkehr hinzu, die HTTPS-Verkehr aus der Sicherheitsgruppe zulässt, die Sie für den Collector bereitstellen.
Um dem Scraper zu sagen, welcher OpenSearch Dienstdomäne, von der die Daten abgeholt werden sollen, geben Sie die Domäne in der exporters Feld der Anfrage. Das exporters Das Feld enthält eine Liste von Exportkonfigurationen; für eine OpenSearch Dienstdomäne, geben Sie eine an openSearchConfiguration mit dem domainArn der Domain. Sie stellen das Netzwerk (Subnetze und Sicherheitsgruppe) separat in der source Feld, wie in den folgenden Beispielen gezeigt.
Der Scraper verwendet den VPC-Endpunkt der Domain, der beim Erstellen des Scrapers aufgelöst wurde. Wenn Sie die Domain neu erstellen, erhält sie einen neuen Endpunkt. Sie müssen also einen neuen Scraper erstellen oder den vorhandenen aktualisieren mit UpdateScraper um daraus zu sammeln.
Sie geben eine Scrape-Konfiguration an, wenn Sie den Scraper erstellen. Der verwaltete Collector stellt eine Verbindung zu der von Ihnen angegebenen Domain her und erfasst seine Metriken automatisch, sodass Sie in der Konfiguration keine Scrape-Ziele angeben. Die Konfiguration muss eine enthalten scrape_configs Abschnitt mit einem Job, dessen job_name ist genau opensearch-exporter. Eine Konfiguration, die keinen Job mit dem Namen enthält opensearch-exporter wird abgelehnt. Verwenden Sie die Scrape-Konfiguration, um das Scrape-Intervall festzulegen und optional die gesammelten Metriken zu filtern oder neu zu kennzeichnen. Im Folgenden finden Sie ein Beispiel für eine Scrape-Konfiguration:
global: external_labels: domain_name:my-opensearch-domainscrape_configs: - job_name: opensearch-exporter scrape_interval: 60s
Weitere Informationen zu den unterstützten Scrape-Konfigurationsoptionen finden Sie unter Scraper-Konfiguration.
-
Im Folgenden finden Sie eine vollständige Liste der Scraper-Operationen, die Sie mit dem verwenden können AWS API:
Erstellen Sie einen Scraper mit der CreateScraper API-Operation.
-
Listen Sie Ihre vorhandenen Scraper mit der ListScrapers API-Operation auf.
-
Aktualisieren Sie den Alias, die Konfiguration oder das Ziel eines Scrapers mit dem UpdateScraper API-Betrieb.
-
Löschen Sie einen Scraper mit der DeleteScraper API-Operation.
-
Erfahren Sie mehr über einen Scraper mit der DescribeScraper API-Operation.
Cross-account Einrichten
Um einen Scraper in einem kontoübergreifenden Setup zu erstellen, wenn OpenSearch Die Service-Domain, für die Sie Metriken sammeln möchten, befindet sich in einem anderen Konto als der Amazon Managed Service for Prometheus Collector. Gehen Sie wie folgt vor.
Sie haben beispielsweise zwei Konten: ein Quellkonto account_id_source wo OpenSearch Die Dienstdomäne befindet sich und ein Zielkonto account_id_target wo sich der Amazon Managed Service für Prometheus Workspace befindet.
Die Vertrauensrichtlinien in den folgenden Schritten beziehen sich auf den Scraper anhand seines ARN, der Folgendes beinhaltet scraper-id das existiert erst, wenn Sie den Scraper erstellen. Um dieses Ordnungsproblem zu vermeiden, erstellen Sie zuerst die Rollen mit einem Platzhalter (scraper/*) erstellen Sie anstelle des spezifischen Scraper-ARN den Scraper und aktualisieren Sie dann beide Vertrauensrichtlinien, um den Platzhalter durch den tatsächlichen Scraper-ARN zu ersetzen CreateScraper kehrt zurück.
Um einen Scraper in einem kontoübergreifenden Setup zu erstellen
-
Erstelle im Quellkonto eine Rolle
arn:aws:iam::und fügen Sie die folgende Vertrauensrichtlinie hinzu.111122223333:role/Source{ "Effect": "Allow", "Principal": { "Service": [ "scraper.aps.amazonaws.com" ] }, "Action": "sts:AssumeRole", "Condition": { "ArnEquals": { "aws:SourceArn": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" }, "StringEquals": { "AWS:SourceAccount": "111122223333" } } } -
Erstellen Sie im Zielkonto eine Rolle
arn:aws:iam::und fügen Sie die folgende Vertrauensrichtlinie hinzu, die es der Quellrolle ermöglicht, sie zu übernehmen.444455556666:role/Target{ "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:role/Source" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "sts:ExternalId": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" } } }Fügen Sie der Zielrolle eine Berechtigungsrichtlinie hinzu, die es ihr ermöglicht, an Ihr Ziel zu schreiben. Wenn es sich bei Ihrem Ziel um einen Amazon Managed Service für Prometheus Workspace handelt, fügen Sie das Dokument als Anhang an AmazonPrometheusRemoteWriteAccess (welche Zuschüsse
aps:RemoteWrite). Wenn Ihr Ziel Amazon ist CloudWatch, fügen Sie eine Police bei, die Folgendes gewährtcloudwatch:PutMetricDataauf dem Datensatz. -
Erstellen Sie einen Scraper mit dem
--role-configurationOption.aws amp create-scraper \ --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \ --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:aws-region:111122223333:domain/my-opensearch-domain"}}]' \ --scrape-configuration configurationBlob=<base64-encoded-blob>\ --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:aws-region:444455556666:workspace/ws-workspace-id"}}' \ --role-configuration '{"sourceRoleArn":"arn:aws:iam::111122223333:role/Source", "targetRoleArn":"arn:aws:iam::444455556666:role/Target"}' -
Bestätigen Sie die Erstellung des Scrapers.
aws amp list-scrapers
Suchen und Löschen von Scrapern
Sie können das verwenden AWS API oder die AWS CLI um die Scraper in deinem Konto aufzulisten oder zu löschen.
Stellen Sie sicher, dass Sie die neueste Version von verwenden AWS CLI oder SDK. Die neueste Version bietet Ihnen die neuesten Features und Funktionen sowie Sicherheitsupdates. Verwenden Sie alternativ AWS CloudShell, das automatisch ein stets aktuelles Befehlszeilenerlebnis bietet.
Die ListScrapers-API-Operation listet alle Scraper in Ihrem Konto auf. Alternativ können Sie mit dem AWS CLI, rufen Sie an:
aws amp list-scrapers
Suchen Sie zum Löschen eines Scrapers mithilfe der ListScrapers-Operation die scraperId für den Scraper, den Sie löschen möchten, und verwenden Sie dann die DeleteScraper-Operation, um ihn zu löschen. Alternativ mit dem AWS CLI, rufen Sie an:
aws amp delete-scraper --scraper-idscraperId
Von Amazon gesammelte Kennzahlen OpenSearch Service
Wenn Sie mit Amazon integrieren OpenSearch Service, der Amazon Managed Service für Prometheus Collector, scrapft automatisch Prometheus-compatible Metriken, die den Zustand und die Leistung Ihrer Domain beschreiben. Der Collector gibt mehrere hundert Metriken aus. In den folgenden Tabellen sind repräsentative Metriken aus jeder Kategorie aufgeführt. Die opensearch_indices_ Die Metriken in den folgenden Tabellen sind domänenübergreifend aggregiert, und viele haben reine Primärvarianten und Gesamtvarianten (Suffix _primary oder _total). Der Collector gibt auch die gleichen Statistiken pro Index mit einem Präfix aus opensearch_index_stats_, und Kennzahlen pro Shard mit Präfix opensearch_indices_shards_.
| Metrik | Beschreibung/Zweck |
|---|---|
opensearch_cluster_health_status |
Integritätsstatus des Clusters (grün, gelb oder rot). |
opensearch_cluster_health_number_of_nodes |
Anzahl der Knoten im -Cluster. |
opensearch_cluster_health_number_of_data_nodes |
Anzahl der Datenknoten im Cluster. |
opensearch_cluster_health_active_primary_shards |
Anzahl der aktiven primären Shards. |
opensearch_cluster_health_active_shards |
Gesamtzahl der aktiven Shards, einschließlich primärer Shards und Replikat-Shards. |
opensearch_cluster_health_relocating_shards |
Anzahl der Shards, die zwischen Knoten verschoben werden. |
opensearch_cluster_health_initializing_shards |
Anzahl der Shards, die initialisiert werden. |
opensearch_cluster_health_unassigned_shards |
Anzahl der Shards, die keinem Knoten zugewiesen sind. |
opensearch_cluster_health_delayed_unassigned_shards |
Anzahl der nicht zugewiesenen Shards, deren Zuweisung verzögert ist. |
opensearch_cluster_health_number_of_pending_tasks |
Anzahl der Aufgaben auf Clusterebene, die sich in der Warteschlange befinden und auf ihre Ausführung warten. |
opensearch_cluster_health_number_of_in_flight_fetch |
Anzahl der laufenden Shard-Abrufanfragen. |
opensearch_cluster_health_task_max_waiting_in_queue_millis |
Längste Zeit, die eine Aufgabe in der Warteschlange gewartet hat, in Millisekunden. |
| Metrik | Beschreibung/Zweck |
|---|---|
opensearch_os_cpu_percent |
Prozentsatz der vom Betriebssystem auf dem Knoten verwendeten CPU. |
opensearch_os_load1 |
Durchschnittliche Auslastung des Betriebssystems in der letzten 1 Minute. Der Kollektor emittiert außerdem |
opensearch_os_mem_used_bytes |
Menge des verwendeten physischen Speichers in Byte. Der Kollektor sendet außerdem |
Öffnen Sie search_jvm_memory_used_bytes |
Menge des verwendeten JVM-Speichers in Byte, aufgeschlüsselt nach Speicherbereich (Heap und Nicht-Heap). Zu den verwandten Metriken gehören |
opensearch_jvm_gc_collection_seconds_count |
Gesamtzahl der JVM-Garbage-Collection-Ereignisse. Verwenden Sie mit |
opensearch_jvm_uptime_seconds |
JVM-Verfügbarkeit in Sekunden. |
öffnen Sie search_thread_pool_active_count |
Anzahl der aktiven Threads in jedem Threadpool. Zu den verwandten Metriken gehören |
opensearch_filesystem_data_available_bytes |
Menge an Speicherplatz, der dem Knoten zur Verfügung steht, in Byte. Zu den verwandten Metriken gehören |
opensearch_filesystem_io_stats_device_read_operations_count |
Anzahl der Lesevorgänge auf der Festplatte. Der Kollektor gibt auch die Anzahl der Schreib- und Gesamtvorgänge sowie die Lese- und Schreibgrößen aus (z. B. |
opensearch_process_cpu_percent |
Prozentsatz der von der verwendeten CPU OpenSearch Prozess. |
opensearch_process_mem_resident_size_bytes |
Größe des residenten Speichers von OpenSearch Prozess, in Byte. |
opensearch_process_open_files_count |
Anzahl der Dateideskriptoren, die von der geöffnet wurden OpenSearch prozess. |
opensearch_breakers_tripped |
Gesamtzahl der Auslösevorgänge, mit denen jeder Leistungsschalter ausgelöst wurde. Zu den verwandten Metriken gehören |
opensearch_transport_rx_size_bytes_total |
Gesamtmenge der über die Transportschicht zwischen den Knoten empfangenen Daten, in Byte. Der Kollektor sendet auch |
opensearch_indexing_pressure_current_all_in_bytes |
Aktueller Speicher, der von Indexierungsanfragen verbraucht wird, in Byte, mit |
| Metrik | Beschreibung/Zweck |
|---|---|
opensearch_indices_docs |
Anzahl der Dokumente. Zu den verwandten Metriken gehören |
opensearch_indices_store_size_bytes |
Gesamtgröße der Indizes auf der Festplatte, in Byte, mit |
opensearch_indices_indexing_index_total |
Gesamtzahl der indizierten Dokumente. Verwenden Sie mit |
opensearch_indices_indexing_ist_gedrosselt |
Gibt an, ob die Indizierung derzeit gedrosselt ist, mit |
opensearch_indices_search_query_total |
Gesamtzahl der Suchanfragen. Verwenden Sie mit |
opensearch_indices_search_fetch_total |
Gesamtzahl der Abrufvorgänge, mit |
opensearch_indices_get_total |
Gesamtzahl der Get-Operationen, mit |
opensearch_indices_merges_total |
Gesamtzahl der abgeschlossenen Segmentzusammenführungen. Zu den verwandten Metriken gehören |
opensearch_indices_refresh_total |
Gesamtzahl der Indexaktualisierungsvorgänge, mit |
opensearch_indices_flush_total |
Gesamtzahl der Index-Flush-Operationen, mit |
opensearch_indices_segments_count |
Anzahl der Segmente. Der Collector gibt auch segmentspezifische Speichermetriken aus (z. B. |
opensearch_indices_translog_operations |
Anzahl der Operationen im Transaktionslog, mit |
opensearch_indices_fielddata_memory_size_bytes |
Vom Felddaten-Cache verwendeter Speicher, in Byte, mit |
opensearch_indices_query_cache_memory_size_bytes |
Vom Abfrage-Cache verwendeter Speicher in Byte. Zu den verwandten Metriken gehören |
opensearch_indices_request_cache_memory_size_bytes |
Vom Anforderungs-Cache verwendeter Speicher in Byte. Zu den verwandten Metriken gehören |
Einschränkungen
Der Amazonas OpenSearch Die Serviceintegration mit Amazon Managed Service für Prometheus hat die folgenden Einschränkungen:
-
Wird nur unterstützt für OpenSearch Servicedomänen, die Zugriff auf Amazon Virtual Private Cloud haben. Domains mit öffentlichem Zugriff werden nicht unterstützt.
-
Ein Scraper sammelt Metriken von einem einzigen OpenSearch Service-Domäne. Um Metriken von mehr als einer Domain zu sammeln, erstellen Sie für jede Domain einen separaten Scraper.