Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Richten Sie verwaltete Prometheus-Sammler für Amazon MSK ein
Um einen Amazon Managed Service for Prometheus Collector zu verwenden, erstellen Sie einen Scraper, der Metriken in Ihrem Amazon Managed Streaming for Apache Kafka-Cluster erkennt und abruft. Sie können auch einen Scraper erstellen, der in Amazon Elastic Kubernetes Service oder Amazon integriert werden kann OpenSearch Dienst. Weitere Informationen finden Sie unter Integrieren Sie Amazon EKS und Integrieren Sie Amazon OpenSearch Service.
Anweisungen zur Erfassung von Verzögerungen bei Verbrauchergruppen, zugesagten Kompensationen und zur Mitgliedschaft bei einem von Kafka verwalteten Exporteur finden Sie unter Erfassen Sie Kennzahlen zu Amazon MSK-Verbrauchergruppen. Dieses Verfahren verwendet AWS Identity and Access Management (IAM) -Authentifizierung und erfordert kein Open Monitoring. Das folgende Verfahren erfasst JMX- und Node Exporter-Metriken aus Open Monitoring.
Einen Scraper erstellen
Ein Amazon Managed Service for Prometheus Collector besteht aus einem Scraper, der Metriken aus einem Amazon MSK-Cluster erkennt und sammelt. Amazon Managed Service für Prometheus verwaltet den Scraper für Sie und bietet Ihnen so die Skalierbarkeit, Sicherheit und Zuverlässigkeit, die Sie benötigen, ohne Instances, Agenten oder Scraper selbst verwalten zu müssen.
Sie können einen Scraper erstellen, indem Sie entweder AWS API oder die AWS CLI wie in den folgenden Verfahren beschrieben.
Es gibt einige Voraussetzungen, um Ihren eigenen Scraper zu erstellen:
-
Sie müssen einen Amazon MSK-Cluster erstellt haben.
-
Konfigurieren Sie die Sicherheitsgruppe Ihres Amazon MSK-Clusters so, dass eingehender Datenverkehr auf den Ports zugelassen wird 11001 (JMX-Exporteur) und 11002 (Node Exporter) innerhalb Ihrer Amazon-VPC, da der Scraper Zugriff auf diese DNS-Einträge benötigt, um Prometheus-Metriken zu sammeln.
-
Die Amazon VPC, in der sich der Amazon MSK-Cluster befindet, muss DNS aktiviert.
Der Cluster wird dem Scraper anhand seines Amazon-Ressourcennamens (ARN) zugeordnet. Wenn Sie einen Cluster löschen und dann einen neuen mit demselben Namen erstellen, wird der ARN für den neuen Cluster wiederverwendet. Aus diesem Grund versucht der Scraper, Metriken für den neuen Cluster zu sammeln. Du löscht Scraper getrennt vom Löschen des Clusters.
-
Im Folgenden finden Sie eine vollständige Liste der Scraper-Operationen, die Sie mit dem verwenden können AWS API:
Erstellen Sie einen Scraper mit der CreateScraper API-Operation.
-
Listen Sie Ihre vorhandenen Scraper mit der ListScrapers API-Operation auf.
-
Aktualisieren Sie den Alias, die Konfiguration oder das Ziel eines Scrapers mit dem UpdateScraper API-Betrieb.
-
Löschen Sie einen Scraper mit der DeleteScraper API-Operation.
-
Erfahren Sie mehr über einen Scraper mit der DescribeScraper API-Operation.
Cross-account Einrichten
Gehen Sie wie folgt vor, um einen Scraper in einer kontoübergreifenden Konfiguration zu erstellen, wenn sich Ihr Amazon MSK-Cluster, von dem Sie Metriken sammeln möchten, in einem anderen Konto als der Amazon Managed Service for Prometheus Collector befindet.
Wenn Sie beispielsweise zwei Konten haben, das erste Quellkonto account_id_source wo sich das Amazon MSK befindet, und ein zweites Zielkonto account_id_target wo sich der Amazon Managed Service für Prometheus Workspace befindet.
Um einen Scraper in einer kontoübergreifenden Konfiguration zu erstellen
-
Erstelle im Quellkonto eine Rolle
arn:aws:iam::und fügen Sie die folgende Vertrauensrichtlinie hinzu.111122223333:role/Source{ "Effect": "Allow", "Principal": { "Service": [ "scraper.aps.amazonaws.com" ] }, "Action": "sts:AssumeRole", "Condition": { "ArnEquals": { "aws:SourceArn": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" }, "StringEquals": { "AWS:SourceAccount": "111122223333" } } } -
Für jede Kombination aus Quelle (Amazon MSK-Cluster) und Ziel (Amazon Managed Service for Prometheus Workspace) müssen Sie eine Rolle erstellen
arn:aws:iam::und fügen Sie die folgende Vertrauensrichtlinie mit Berechtigungen für hinzu AmazonPrometheusRemoteWriteAccess.444455556666:role/Target{ "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:role/Source" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "sts:ExternalId": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" } } } -
Erstellen Sie einen Schaber mit dem
--role-configurationOption.aws amp create-scraper \ --source vpcConfiguration="{subnetIds=[subnet-subnet-id], "securityGroupIds": ["sg-security-group-id"]}" \ --scrape-configuration configurationBlob=<base64-encoded-blob>\ --destination ampConfiguration="{workspaceArn='arn:aws:aps:aws-region:444455556666:workspace/ws-workspace-id'}"\ --role-configuration '{"sourceRoleArn":"arn:aws:iam::111122223333:role/Source", "targetRoleArn":"arn:aws:iam::444455556666:role/Target"}' -
Bestätigen Sie die Erstellung des Scrapers.
aws amp list-scrapers { "scrapers": [ { "scraperId": "s-example123456789abcdef0", "arn": "arn:aws:aps:aws-region:111122223333:scraper/s-example123456789abcdef0": "arn:aws:iam::111122223333:role/Source", "status": "ACTIVE", "creationTime": "2025-10-27T18:45:00.000Z", "lastModificationTime": "2025-10-27T18:50:00.000Z", "tags": {}, "statusReason": "Scraper is running successfully", "source": { "vpcConfiguration": { "subnetIds": ["subnet-subnet-id"], "securityGroupIds": ["sg-security-group-id"] } }, "destination": { "ampConfiguration": { "workspaceArn": "arn:aws:aps:aws-region:444455556666:workspace/ws-workspace-id'" } }, "scrapeConfiguration": { "configurationBlob": "<base64-encoded-blob>" } } ] }
Wechselt zwischen RoleConfiguration und dienstbezogene Rolle
Wenn Sie zurück zu einer dienstverknüpften Rolle wechseln möchten, anstatt zu RoleConfiguration um in einen Amazon Managed Service for Prometheus-Workspace zu schreiben, müssen Sie den UpdateScraper und stelle einen Workspace im gleichen Konto wie der Scraper bereit, ohne RoleConfiguration. Das RoleConfiguration wird aus dem Scraper entfernt und die dienstgebundene Rolle wird verwendet.
Wenn Sie die Arbeitsbereiche im selben Konto wie der Scraper wechseln und den weiterhin verwenden möchten RoleConfiguration, müssen Sie erneut Folgendes angeben RoleConfiguration auf UpdateScraper.
Suchen und Löschen von Scrapern
Sie können das verwenden AWS API oder die AWS CLI um die Scraper in deinem Konto aufzulisten oder zu löschen.
Stellen Sie sicher, dass Sie die neueste Version von verwenden AWS CLI oder SDK. Die neueste Version bietet Ihnen die neuesten Features und Funktionen sowie Sicherheitsupdates. Verwenden Sie alternativ AWS CloudShell, das automatisch ein stets aktuelles Befehlszeilenerlebnis bietet.
Die ListScrapers-API-Operation listet alle Scraper in Ihrem Konto auf.
Alternativ können Sie mit dem AWS CLI, rufen Sie an:
aws amp list-scrapers
ListScrapers gibt alle Scraper in Ihrem Konto zurück, zum Beispiel:
{ "scrapers": [ { "scraperId": "s-1234abcd-56ef-7890-abcd-1234ef567890", "arn": "arn:aws:aps:aws-region:123456789012:scraper/s-1234abcd-56ef-7890-abcd-1234ef567890", "roleArn": "arn:aws:iam::123456789012:role/aws-service-role/AWSServiceRoleForAmazonPrometheusScraper_1234abcd-2931", "status": { "statusCode": "DELETING" }, "createdAt": "2023-10-12T15:22:19.014000-07:00", "lastModifiedAt": "2023-10-12T15:55:43.487000-07:00", "tags": {}, "source": { "vpcConfiguration": { "securityGroupIds": [ "sg-1234abcd5678ef90" ], "subnetIds": [ "subnet-abcd1234ef567890", "subnet-1234abcd5678ab90" ] } }, "destination": { "ampConfiguration": { "workspaceArn": "arn:aws:aps:aws-region:123456789012:workspace/ws-1234abcd-5678-ef90-ab12-cdef3456a78" } } } ] }
Suchen Sie zum Löschen eines Scrapers mithilfe der ListScrapers-Operation die scraperId für den Scraper, den Sie löschen möchten, und verwenden Sie dann die DeleteScraper-Operation, um ihn zu löschen.
Alternativ mit dem AWS CLI, rufen Sie an:
aws amp delete-scraper --scraper-idscraperId
Von Amazon MSK gesammelte Metriken
Bei der Integration mit Amazon MSK entfernt der Amazon Managed Service for Prometheus Collector automatisch die folgenden Metriken:
| Metrik | Beschreibung//Zweck |
|---|---|
|
jmx_config_reload_failure_total |
Gesamtzahl der Male, mit denen der JMX-Exporter seine Konfigurationsdatei nicht neu laden konnte. |
|
jmx_scrape_duration_seconds |
Zeit, die zum Scrapen von JMX-Metriken in Sekunden für den aktuellen Erfassungszyklus benötigt wurde. |
|
jmx_scrape_error |
Gibt an, ob beim JMX-Metrik-Scraping ein Fehler aufgetreten ist (1 = Fehler, 0 = Erfolg). |
|
java_lang_Memory_HeapMemoryUsage_used |
Menge des Heap-Speichers (in Byte), der derzeit von der JVM verwendet wird. |
|
java_lang_Memory_HeapMemoryUsage_max |
Maximale Menge an Heap-Speicher (in Byte), die für die Speicherverwaltung verwendet werden kann. |
|
java_lang_Memory_NonHeapMemoryUsage_used |
Menge des Nicht-Heap-Speichers (in Byte), der derzeit von der JVM verwendet wird. |
|
kafka_cluster_Partition_Value |
Aktueller Status oder Wert in Bezug auf Kafka-Cluster-Partitionen, aufgeschlüsselt nach Partitions-ID und Thema. |
|
kafka_consumer_consumer_coordinator_metrics_assigned_partitions |
Anzahl der Partitionen, die diesem Consumer derzeit zugewiesen sind. |
|
kafka_consumer_consumer_coordinator_metrics_commit_latency_avg |
Durchschnittliche Zeit in Millisekunden, die für die Berechnung von Offsets benötigt wird. |
|
kafka_consumer_consumer_coordinator_metrics_commit_rate |
Anzahl der Offset-Commits pro Sekunde. |
|
kafka_consumer_consumer_coordinator_metrics_failed_rebalance_total |
Gesamtzahl der fehlgeschlagenen Neugewichte bei Verbrauchergruppen. |
|
kafka_consumer_consumer_coordinator_metrics_last_heartbeat_seconds_ago |
Anzahl der Sekunden, seit der letzte Herzschlag an den Koordinator gesendet wurde. |
|
kafka_consumer_consumer_coordinator_metrics_rebalance_latency_avg |
Durchschnittliche Zeit, die für die Neugewichtung von Verbrauchergruppen benötigt wird, in Millisekunden. |
|
kafka_consumer_consumer_coordinator_metrics_rebalance_total |
Gesamtzahl der Neugewichte der Verbrauchergruppen. |
|
kafka_consumer_consumer_fetch_manager_metrics_bytes_consumed_rate |
Durchschnittliche Anzahl der vom Verbraucher pro Sekunde verbrauchten Byte. |
|
kafka_consumer_consumer_fetch_manager_metrics_fetch_latency_avg |
Durchschnittliche Zeit, die für eine Abrufanforderung in Millisekunden benötigt wird. |
|
kafka_consumer_consumer_fetch_manager_metrics_fetch_rate |
Anzahl der Abrufanforderungen pro Sekunde. |
|
kafka_consumer_consumer_fetch_manager_metrics_records_consumed_rate |
Durchschnittliche Anzahl der pro Sekunde verbrauchten Datensätze. |
|
kafka_consumer_consumer_fetch_manager_metrics_records_lag_max |
Maximale Verzögerung in Bezug auf die Anzahl der Datensätze für jede Partition in diesem Consumer. |
|
kafka_consumer_consumer_metrics_connection_count |
Aktuelle Anzahl aktiver Verbindungen. |
|
kafka_consumer_consumer_metrics_incoming_byte_rate |
Durchschnittliche Anzahl an Bytes, die pro Sekunde von allen Servern empfangen wurden. |
|
kafka_consumer_consumer_metrics_last_poll_seconds_ago |
Anzahl der Sekunden seit dem letzten Consumer-Aufruf von poll (). |
|
kafka_consumer_consumer_metrics_request_rate |
Anzahl der pro Sekunde gesendeten Anfragen. |
|
kafka_consumer_consumer_metrics_response_rate |
Anzahl der pro Sekunde empfangenen Antworten. |
|
kafka_consumer_group_ConsumerLagMetrics_Wert |
Aktueller Verbraucherverzögerungswert für eine Verbrauchergruppe, der angibt, wie weit der Verbraucher hinterherhinkt. |
|
kafka_controller_KafkaController_Wert |
Aktueller Status oder Wert des Kafka-Controllers (1 = aktiver Controller, 0 = nicht aktiv). |
|
kafka_controller_ControllerEventManager_Zählen |
Gesamtzahl der verarbeiteten Controller-Ereignisse. |
|
kafka_controller_ControllerEventManager_Gemein |
Mittlere (durchschnittliche) Zeit, die für die Verarbeitung von Controller-Ereignissen benötigt wird. |
|
kafka_controller_ControllerStats_MeanRate |
Mittlere Rate der Controller-Statistikoperationen pro Sekunde. |
|
kafka_koordinator_gruppe_GroupMetadataManager_Wert |
Aktueller Status oder Wert des Gruppen-Metadaten-Managers für Verbrauchergruppen. |
|
kafka_log_LogFlushStats_Zählen |
Gesamtzahl der Log-Flush-Operationen. |
|
kafka_log_LogFlushStats_Gemein |
Mittlere (durchschnittliche) Zeit, die für Log-Flush-Operationen benötigt wurde. |
|
kafka_log_LogFlushStats_MeanRate |
Mittlere Rate von Log-Flush-Vorgängen pro Sekunde. |
|
kafka_network_RequestMetrics_Zählen |
Gesamtzahl der verarbeiteten Netzwerkanfragen. |
|
kafka_network_RequestMetrics_Gemein |
Mittlere (durchschnittliche) Zeit, die für die Bearbeitung von Netzwerkanfragen benötigt wurde. |
|
kafka_network_RequestMetrics_MeanRate |
Mittlere Rate von Netzwerkanfragen pro Sekunde. |
|
kafka_network_Acceptor_MeanRate |
Durchschnittliche Rate akzeptierter Verbindungen pro Sekunde. |
|
kafka_server_Fetch_queue_size |
Aktuelle Größe der Warteschlange für Abrufanfragen. |
|
kafka_server_Produce_queue_size |
Aktuelle Größe der Warteschlange für Produktionsanfragen. |
|
kafka_server_Request_queue_size |
Aktuelle Größe der allgemeinen Anforderungswarteschlange. |
|
kafka_server_BrokerTopicMetrics_Zählen |
Gesamtzahl der Broker-Themenoperationen (Nachrichten) in/out, Byte in/out). |
|
kafka_server_BrokerTopicMetrics_MeanRate |
Durchschnittliche Rate der Transaktionen pro Sekunde bei Broker-Themen. |
|
kafka_server_BrokerTopicMetrics_OneMinuteRate |
One-minute gleitender Durchschnittskurs der Geschäfte im Zusammenhang mit Brokern. |
|
kafka_server_DelayedOperationPurgatory_Wert |
Aktuelle Anzahl verspäteter Operationen im Fegefeuer (die darauf warten, abgeschlossen zu werden). |
|
kafka_server_DelayedFetchMetrics_MeanRate |
Mittlere Rate verzögerter Abrufvorgänge pro Sekunde. |
|
kafka_server_FetcherLagMetrics_Wert |
Aktueller Lag-Wert für Replica-Fetcher-Threads (wie weit hinter dem Leader). |
|
kafka_server_FetcherStats_MeanRate |
Mittlere Rate der Abruf-Operationen pro Sekunde. |
|
kafka_server_ReplicaManager_Wert |
Aktueller Status oder Wert des Replikatmanagers. |
|
kafka_server_ReplicaManager_MeanRate |
Durchschnittliche Rate der Replica-Manager-Operationen pro Sekunde. |
|
kafka_server_LeaderReplication_Byte_Rate |
Rate der pro Sekunde replizierten Byte für Partitionen, bei denen dieser Broker führend ist. |
|
kafka_server_group_coordinator_metrics_group_completed_rebalance_count |
Gesamtzahl der abgeschlossenen Neugewichte bei Verbrauchergruppen. |
|
kafka_server_group_coordinator_metrics_offset_commit_count |
Gesamtzahl der Offset-Commit-Operationen. |
|
kafka_server_group_coordinator_metrics_offset_commit_rate |
Rate der Offset-Commit-Operationen pro Sekunde. |
|
kafka_server_socket_server_metrics_connection_count |
Aktuelle Anzahl der aktiven Verbindungen. |
|
kafka_server_socket_server_metrics_connection_creation_rate |
Geschwindigkeit, mit der neue Verbindungen pro Sekunde hergestellt werden. |
|
kafka_server_socket_server_metrics_connection_close_rate |
Rate der Verbindungsschließungen pro Sekunde. |
|
kafka_server_socket_server_metrics_failed_authentication_total |
Gesamtzahl der fehlgeschlagenen Authentifizierungsversuche. |
|
kafka_server_socket_server_metrics_incoming_byte_rate |
Rate der eingehenden Byte pro Sekunde. |
|
kafka_server_socket_server_metrics_outgoing_byte_rate |
Rate der ausgehenden Byte pro Sekunde. |
|
kafka_server_socket_server_metrics_request_rate |
Rate der Anfragen pro Sekunde. |
|
kafka_server_socket_server_metrics_response_rate |
Rate der Antworten pro Sekunde. |
|
kafka_server_socket_server_metrics_network_io_rate |
Rate des Netzwerks I/O Operationen pro Sekunde. |
|
kafka_server_socket_server_metrics_io_ratio |
Bruchteil der Zeit, die in verbracht wurde I/O Operationen. |
|
kafka_server_controller_channel_metrics_connection_count |
Aktuelle Anzahl aktiver Verbindungen für Controller-Kanäle. |
|
kafka_server_controller_channel_metrics_incoming_byte_rate |
Rate der eingehenden Byte pro Sekunde für Controller-Kanäle. |
|
kafka_server_controller_channel_metrics_outgoing_byte_rate |
Rate der ausgehenden Byte pro Sekunde für Controller-Kanäle. |
|
kafka_server_controller_channel_metrics_request_rate |
Rate der Anfragen pro Sekunde für Controller-Kanäle. |
|
kafka_server_replica_fetcher_metrics_connection_count |
Aktuelle Anzahl aktiver Verbindungen für Replica Fetcher. |
|
kafka_server_replica_fetcher_metrics_incoming_byte_rate |
Rate der eingehenden Byte pro Sekunde für den Replikatabruf. |
|
kafka_server_replica_fetcher_metrics_request_rate |
Rate der Anfragen pro Sekunde für den Replikatabruf. |
|
kafka_server_replica_fetcher_metrics_failed_authentication_total |
Gesamtzahl der fehlgeschlagenen Authentifizierungsversuche für den Replikatabruf. |
|
kafka_server_ZooKeeperClientMetrics_Zählen |
Gesamtzahl von ZooKeeper Client-Operationen. |
|
kafka_server_ZooKeeperClientMetrics_Gemein |
Mittlere Latenz von ZooKeeper Client-Operationen. |
|
kafka_server_KafkaServer_Wert |
Aktueller Status oder Wert des Kafka-Servers (zeigt in der Regel an, dass der Server läuft). |
|
node_cpu_seconds_total |
Gesamtzahl der Sekunden, die die CPUs in jedem Modus (Benutzer, System, Leerlauf usw.) verbracht haben, aufgeschlüsselt nach CPU und Modus. |
|
node_disk_read_bytes_total |
Gesamtzahl der erfolgreich von Festplatten gelesenen Byte, aufgeschlüsselt nach Geräten. |
|
node_disk_reads_completed_total |
Gesamtzahl der erfolgreich abgeschlossenen Lesevorgänge für Festplatten, aufgeschlüsselt nach Geräten. |
|
node_disk_writes_completed_total |
Gesamtzahl der erfolgreich abgeschlossenen Schreibvorgänge für Festplatten, aufgeschlüsselt nach Geräten. |
|
node_disk_written_bytes_total |
Gesamtzahl der erfolgreich auf Festplatten geschriebenen Byte, aufgeschlüsselt nach Geräten. |
|
node_filesystem_avail_bytes |
Verfügbarer Speicherplatz im Dateisystem in Byte für Nicht-Root-Benutzer, aufgeschlüsselt nach Gerät und Einhängepunkt. |
|
node_filesystem_size_bytes |
Gesamtgröße des Dateisystems in Byte, aufgeschlüsselt nach Gerät und Einhängepunkt. |
|
node_filesystem_free_bytes |
Freier Speicherplatz im Dateisystem in Byte, aufgeschlüsselt nach Gerät und Einhängepunkt. |
|
node_filesystem_files |
Gesamtzahl der Dateiknoten (Inodes) im Dateisystem, aufgeschlüsselt nach Gerät und Einhängepunkt. |
|
node_filesystem_files_free |
Anzahl der freien Dateiknoten (Inodes) im Dateisystem, aufgeschlüsselt nach Gerät und Einhängepunkt. |
|
node_filesystem_readonly |
Gibt an, ob das Dateisystem schreibgeschützt eingehängt ist (1 = schreibgeschützt, 0 = lesen/schreiben). |
|
node_filesystem_device_error |
Gibt an, ob beim Abrufen der Dateisystemstatistiken ein Fehler aufgetreten ist (1 = Fehler, 0 = Erfolg). |
Einschränkungen
Die aktuelle Amazon MSK-Integration mit Amazon Managed Service für Prometheus hat die folgenden Einschränkungen:
-
Wird nur für von Amazon MSK bereitgestellte Cluster unterstützt (nicht verfügbar für Amazon MSK Serverless)
-
Nicht unterstützt für Amazon MSK-Cluster mit aktiviertem öffentlichen Zugriff in Kombination mit dem Kraft-Metadatenmodus
-
Unterstützt derzeit eine 1:1 -Zuordnung zwischen Amazon MSK-Clustern und Amazon Managed Service for Prometheus collectors/workspaces