View a markdown version of this page

CloudWatch Agent für Amazon EMR 7.1.0 konfigurieren - Amazon EMR
KonfigurationsschemaBeispiele für Konfigurationen von SystemmetrikenBeispiele für Konfigurationen von AnwendungsmetrikenBeispiel für Amazon Managed Service für Prometheus

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

CloudWatch Agent für Amazon EMR 7.1.0 konfigurieren

Ab Amazon EMR 7.1.0 können Sie den CloudWatch Amazon-Agenten so konfigurieren, dass er zusätzliche Systemmetriken verwendet, Anwendungsmetriken hinzufügt und das Metrikziel mithilfe der Amazon EMR-Konfigurations-API ändert. Weitere Informationen zur Verwendung der EMR-Konfigurations-API zur Konfiguration der Clusteranwendungen finden Sie unter Anwendungen konfigurieren.

Anmerkung

7.1.0 unterstützt nur den Rekonfigurationstyp. OVERWRITE Weitere Informationen zu den Rekonfigurationstypen finden Sie unter Überlegungen bei der Neukonfiguration einer Instanzgruppe.

Konfigurationsschema

emr-metricshat die folgenden Klassifizierungen:

  • emr-system-metrics— konfiguriert Systemmetriken wie CPU, Festplatte und Speicher.

  • emr-hadoop-hdfs-datanode-metrics— Hadoop DataNode JMX-Metriken konfigurieren

  • emr-hadoop-hdfs-namenode-metrics— Hadoop JMX-Metriken NameNode konfigurieren

  • emr-hadoop-yarn-nodemanager-metrics— Yarn JMX-Metriken NodeManager konfigurieren

  • emr-hadoop-yarn-resourcemanager-metrics— Yarn ResourceManager JMX-Metriken konfigurieren

  • emr-hbase-master-metrics— HBase Master JMX-Metriken konfigurieren

  • emr-hbase-region-server-metrics— JMX-Metriken für HBase Region Server konfigurieren

  • emr-hbase-rest-server-metrics— HBase REST Server-JMX-Metriken konfigurieren

  • emr-hbase-thrift-server-metrics— HBase Thrift Server JMX-Metriken konfigurieren

In den folgenden Tabellen werden die verfügbaren Eigenschaften und Konfigurationen für alle Klassifizierungen beschrieben.

Eigenschaften von emr-Metrics

Eigenschaft Erforderlich Description Standardwert Mögliche Werte Hinweise
metrics_destination Optional Legt fest, ob Cluster-Metriken auf Amazon CloudWatch oder Amazon Managed Service for Prometheus veröffentlicht werden. „CLOUDWATCH“ „CLOUDWATCH“, „PROMETHEUS“ Bei dieser Eigenschaft wird nicht zwischen Groß- und Kleinschreibung unterschieden. Zum Beispiel ist „Cloudwatch“ dasselbe wie „CLOUDWATCH“.
prometheus_endpoint Optional Wenn auf „PROMETHEUS“ gesetzt metrics_destination ist, konfiguriert diese Eigenschaft den CloudWatch Agenten so, dass er Metriken an den bereitgestellten Remote-Write-Endpunkt von Amazon Managed Service for Prometheus sendet. N/A Jede gültige Remote-Write-URL für Amazon Managed Service für Prometheus. Das URL-Format für das Remote-Schreiben ist 
https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write
 Dieses Feld ist erforderlich, wenn metrics_destination es auf „PROMETHEUS“ gesetzt ist. Die Bereitstellung schlägt fehl, wenn Sie keinen Schlüssel angeben oder wenn der Wert eine leere Zeichenfolge ist.

Eigenschaften von emr-system-metrics

Eigenschaft Erforderlich Description Standardwert Mögliche Werte Hinweise
metrics_collection_interval Optional Wie oft innerhalb von Sekunden Metriken vom Agenten gesammelt und veröffentlicht werden. CloudWatch „60" Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Sie können diese Eigenschaft mit der metrics_collection_interval Eigenschaft einzelner Metrikgruppen überschreiben.

Konfigurationen von emr-system-metrics

cpu
Eigenschaft Erforderlich Description Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der CPU-Metriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Agenten mit Amazon EMR Eine durch Kommas getrennte Liste gültiger CPU-Metriknamen mit oder ohne cpu_ Präfix, z. B. und. usage_active cpu_time_idle Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine CPU-Metriken veröffentlicht werden.
metrics_collection_interval Optional Wie oft (in Sekunden) der Agent CPU-Metriken sammeln und veröffentlichen soll. Der Wert des globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für CPU-Metriken.
drop_original_metrics Optional Liste der CPU-Metriken, für die keine unaggregierten Metriken veröffentlicht werden sollen. Es wurden keine unaggregierten CPU-Metriken veröffentlicht. Eine durch Kommas getrennte Liste von CPU-Metriken, die auch in der Metrik-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle CPU-Metriken veröffentlicht werden. Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources Optional Legt fest, ob der Agent Metriken pro Kern veröffentlicht. "*" „*“ aktiviert Metriken pro Kern. „“ deaktiviert Metriken pro Kern. Der CloudWatch Agent veröffentlicht nur Metriken pro Kern für CPU-Metriken, die nicht hinzugefügt wurden. drop_original_metrics
disk
Eigenschaft Erforderlich Description Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Festplatten-Metriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Agenten mit Amazon EMR Eine durch Kommas getrennte Liste gültiger Festplatten-Metriknamen mit oder ohne disk_ Präfix, z. B. und. disk_total used_percent Gültige Messwerte finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Festplattenmetriken veröffentlicht werden.
metrics_collection_interval Optional Gibt an, wie oft in Sekunden der Agent Festplattenmetriken sammeln und veröffentlichen soll. Der Wert des globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Festplattenmesswerte.
drop_original_metrics Optional Liste der Festplattenmesswerte, für die keine unaggregierten Messwerte veröffentlicht werden sollen. Es wurden keine unaggregierten Festplattenmetriken veröffentlicht. Eine durch Kommas getrennte Liste von Festplatten-Metriken, die auch in der Metrik-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle Festplattenmetriken veröffentlicht werden. Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources Optional Legt fest, ob der Agent Metriken pro Einhängepunkt veröffentlicht. "*" „*“ bedeutet alle Einhängepunkte, „“ bedeutet keine Einhängepunkte oder eine durch Kommas getrennte Liste von Einhängepunkten. Beispiel, "/,/emr". Der CloudWatch Agent veröffentlicht nur Metriken pro Einhängepunkt für Festplattenmetriken, die nicht übernommen wurden. drop_original_metrics
diskio
Eigenschaft Erforderlich Description Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Festplatten-E/A-Metriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Agenten mit Amazon EMR Eine durch Kommas getrennte Liste gültiger Festplatten-IO-Metriknamen mit oder ohne diskio_ Präfix, z. B. und. diskio_reads writes Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Festplatten-IO-Metriken veröffentlicht werden.
metrics_collection_interval Optional Gibt an, wie oft in Sekunden der Agent Festplatten-E/A-Metriken sammeln und veröffentlichen soll. Der Wert des globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Festplatten-E/A-Metriken.
drop_original_metrics Optional Liste der Festplatten-IO-Metriken, für die keine unaggregierten Metriken veröffentlicht werden sollen. Es wurden keine unaggregierten Festplatten-E/A-Metriken veröffentlicht. Eine durch Kommas getrennte Liste von Festplatten-E/A-Metriken, die auch in der Metrik-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle Festplatten-IO-Metriken veröffentlicht werden. Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources Optional Legt fest, ob der Agent Metriken pro Gerät veröffentlicht. "*" „*“ bedeutet alle Speichergeräte, „“ bedeutet keine Speichergeräte oder eine durch Kommas getrennte Liste von Gerätenamen. Beispiel, "nvme0n1,nvme1n1". Der CloudWatch Agent veröffentlicht nur Metriken pro Gerät für Festplatten-E/A-Metriken, die nicht übernommen wurden. drop_original_metrics
mem
Eigenschaft Erforderlich Description Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Speichermetriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Agenten mit Amazon EMR Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne mem_ Präfix, z. B. und. mem_available available_percent Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Speichermetriken veröffentlicht werden.
metrics_collection_interval Optional Gibt an, wie oft in Sekunden der Agent Speichermetriken sammeln und veröffentlichen soll. Der Wert des globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Speichermetriken.
net
Eigenschaft Erforderlich Description Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Netzwerkmetriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Agenten mit Amazon EMR Eine durch Kommas getrennte Liste gültiger Netzwerkmetriknamen mit oder ohne net_ Präfix, z. B. und. net_packets_sent packets_recv Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Netzwerkmetriken veröffentlicht werden.
metrics_collection_interval Optional Wie oft in Sekunden sollte der Agent Netzwerkmetriken sammeln und veröffentlichen. Der Wert des Globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Netzwerkmetriken.
drop_original_metrics Optional Liste der Netzwerkmetriken, für die keine unaggregierten Messwerte veröffentlicht werden sollen. Es wurden keine unaggregierten Netzwerkmetriken veröffentlicht. Eine durch Kommas getrennte Liste von Netzwerkmetriken, die auch in der Metrik-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle Netzwerkmetriken veröffentlicht werden. Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources Optional Legt fest, ob der Agent Metriken pro Schnittstelle veröffentlicht. "*" „*“ bedeutet alle Netzwerkschnittstellen, „“ bedeutet keine Netzwerkschnittstellen oder eine durch Kommas getrennte Liste von Schnittstellennamen. Beispiel, "eth0,eth1". Der CloudWatch Agent veröffentlicht nur Schnittstellen-Metriken für Netzwerkmetriken, die nicht hinzugefügt wurden. drop_original_metrics
netstat
Eigenschaft Erforderlich Description Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Netzwerkstatistik-Metriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Agenten mit Amazon EMR Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne netstat_ Präfix, z. B. und. tcp_listen netstat_udp_socket Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Netzwerkstatistik-Metriken veröffentlicht werden.
metrics_collection_interval Optional Wie oft in Sekunden sollte der Agent Netzwerkstatistikmetriken sammeln und veröffentlichen. Der Wert des metrics_collection_interval Globalen. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Netzwerkstatistikmetriken.
processes
Eigenschaft Erforderlich Description Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Prozessmetriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Agenten mit Amazon EMR Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne processes_ Präfix, z. B. und. processes_running total Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Prozessmetriken veröffentlicht werden.
metrics_collection_interval Optional Wie oft in Sekunden sollte der Agent Systemprozessmetriken sammeln und veröffentlichen. Der Wert des Globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Systemprozessmetriken.
swap
Eigenschaft Erforderlich Description Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Swap-Metriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Agenten mit Amazon EMR Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne swap_ Präfix, z. B. und. swap_free used_percent Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Swap-Metriken veröffentlicht werden.
metrics_collection_interval Optional Wie oft in Sekunden sollte der Agent Swap-Metriken sammeln und veröffentlichen. Der Wert des Globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Swap-Metriken.

Eigenschaften von emr-hadoop-hdfs-datanode-metrics

Eigenschaft Erforderlich Description Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Die MBean, von der der Agent Metriken sammeln soll, z. B. CloudWatch Hadoop:service=DataNode,name=DataNodeActivity Beispiel-MBean-Namen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die der MBean zugeordnet sind. Beispiel, BlocksCached,BlocksRead.
otel.metric.export.interval Optional Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. DataNode „60000" Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

Eigenschaften von emr-hadoop-hdfs-namenode-metrics

Eigenschaft Erforderlich Description Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Die MBean, von der der Agent Metriken sammeln soll, z. B. CloudWatch Hadoop:service=NameNode,name=FSNamesystem Beispiel-MBean-Namen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die der MBean zugeordnet sind. Beispiel, BlockCapacity,CapacityUsedGB.
otel.metric.export.interval Optional Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. NameNode „60000" Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

Eigenschaften von emr-hadoop-yarn-nodemanager-metrics

Eigenschaft Erforderlich Description Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Die MBean, von der der Agent Metriken sammeln soll, z. B. CloudWatch Hadoop:service=NodeManager,name=NodeManagerMetrics Beispiel-MBean-Namen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die der MBean zugeordnet sind. Beispiel, MaxCapacity,AllocatedGB.
otel.metric.export.interval Optional Wie oft in Millisekunden Hadoop YARN-Metriken erfasst werden sollen. NodeManager „60000" Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

Eigenschaften von emr-hadoop-yarn-resourcemanager-metrics

Eigenschaft Erforderlich Description Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Die MBean, von der der Agent Metriken sammeln soll, z. B. CloudWatch Hadoop:service=ResourceManager,name=PartitionQueueMetrics Beispiel-MBean-Namen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die der MBean zugeordnet sind. Beispiel, MaxCapacity,MaxCapacityVCores.
otel.metric.export.interval Optional Wie oft in Millisekunden Hadoop YARN-Metriken erfasst werden sollen. ResourceManager „60000" Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

Eigenschaften von emr-hbase-master-metrics

Eigenschaft Erforderlich Description Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Die MBean, von der der CloudWatch Agent Metriken sammeln soll, z. B. Hadoop:service=HBase,name=Master,sub=AssignmentManager Beispiel-MBean-Namen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die der MBean zugeordnet sind. Beispiel, AssignFailedCount,AssignSubmittedCount.
otel.metric.export.interval Optional Wie oft in Millisekunden HBase Master-Metriken erfasst werden sollen. „60000" Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

Eigenschaften von emr-hbase-region-server-metrics

Eigenschaft Erforderlich Description Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Die MBean, von der der Agent Metriken sammeln soll, z. B. CloudWatch Hadoop:service=HBase,name=RegionServer,sub=IPC Beispiel-MBean-Namen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die der MBean zugeordnet sind. Beispiel, numActiveHandler,numActivePriorityHandler.
otel.metric.export.interval Optional Wie oft in Millisekunden HBase Region Server-Metriken erfasst werden sollen. „60000" Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

Eigenschaften von emr-hbase-rest-server-metrics

Eigenschaft Erforderlich Description Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Die MBean, von der der Agent Metriken sammeln soll, z. B. CloudWatch Hadoop:service=HBase,name=REST Beispiel-MBean-Namen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die der MBean zugeordnet sind. Beispiel, successfulPut,successfulScanCount.
otel.metric.export.interval Optional Wie oft in Millisekunden HBase Rest Server-Metriken erfasst werden sollen. „60000" Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

Eigenschaften von emr-hbase-thrift-server-metrics

Eigenschaft Erforderlich Description Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Die MBean, von der der Agent Metriken sammeln soll, z. B. CloudWatch Hadoop:service=HBase,name=Thrift,sub=ThriftOne Beispiel-MBean-Namen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die der MBean zugeordnet sind. Beispiel, BatchGet_max,BatchGet_mean.
otel.metric.export.interval Optional Wie oft in Millisekunden sollen HBase Thrift-Servermetriken erfasst werden. „60000" Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

Beispiele für Konfigurationen von Systemmetriken

Das folgende Beispiel zeigt, wie der CloudWatch Agent so konfiguriert wird, dass der Export aller Systemmetriken beendet wird.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Im folgenden Beispiel wird der CloudWatch Agent so konfiguriert, dass er die Standard-Systemmetriken exportiert. Auf diese Weise können Sie den Agenten schnell wieder auf den Export der Standard-Systemmetriken zurücksetzen, wenn Sie die Systemmetriken bereits mindestens einmal neu konfiguriert haben. Durch diesen Reset werden auch alle Anwendungsmetriken entfernt, die zuvor neu konfiguriert wurden.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

Im folgenden Beispiel wird der Cluster so konfiguriert, dass er die cpumem, und die disk Metriken exportiert.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

Die vorherige Beispielkonfiguration hat die folgenden Eigenschaften:

  • Alle 30 Sekunden erfasst der Agent die cpu_guest Metrik für alle CPUs. Sie finden die aggregierte Metrik unter dem CloudWatch Namespace. CWAgent > cluster.id, instance.id, node.type, service.name

  • Alle 30 Sekunden erfasst der Agent die cpu_idle Metrik für alle CPUs. Sie finden die aggregierte Metrik unter dem CloudWatch Namespace. CWAgent > cluster.id, instance.id, node.type, service.name Der Agent sammelt auch die Metriken pro CPU. Sie finden sie im selben Namespace. Der Agent sammelt diese Metrik, weil die drop_original_metrics Eigenschaft nichts enthältcpu_idle, sodass der Agent die Metrik nicht ignoriert.

  • Alle 20 Sekunden erfasst der Agent die mem_active Metrik. Sie finden die aggregierte Metrik unter dem CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name Namespace.

  • Alle 20 Sekunden erfasst der Agent die disk_used_percent Metriken für die / und die /mnt Festplatten-Mounts. Sie finden die aggregierten Metriken unter dem CloudWatch Namespace. CWAgent > cluster.id, instance.id, node.type, service.name Der Agent sammelt auch die Metriken pro Mount. Sie finden sie im selben Namespace. Der Agent sammelt diese Metrik, weil die drop_original_metrics Eigenschaft nichts enthältdisk_used_percent, sodass der Agent die Metrik nicht ignoriert.

Beispiele für Konfigurationen von Anwendungsmetriken

Im folgenden Beispiel wird der CloudWatch Agent so konfiguriert, dass der Export von Metriken für den Hadoop Namenode-Dienst beendet wird.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Im folgenden Beispiel wird ein Cluster für den Export von Hadoop-Anwendungsmetriken konfiguriert.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

Das vorherige Beispiel hat die folgenden Eigenschaften:

  • Alle 20 Sekunden sammelt der Agent die BlockCapacity und CapacityUsedGB -Metriken von Instanzen, auf denen der Hadoop Namenode-Dienst ausgeführt wird.

  • Alle 30 Sekunden sammelt der Agent MemNonHeapUsedM Metriken von Instanzen, auf denen der Hadoop Datanode-Dienst ausgeführt wird.

  • Alle 30 Sekunden sammelt der Agent die NodeUpdateNumOps Metriken AllocateNumOps und die Metriken von Instanzen, auf denen Hadoop YARN ausgeführt wird. ResourceManager

Beispiel für Amazon Managed Service für Prometheus

Das folgende Beispiel zeigt, wie der CloudWatch Agent so konfiguriert wird, dass er Metriken nach Amazon Managed Service for Prometheus exportiert.

Wenn Sie derzeit Metriken nach Amazon Managed Service for Prometheus exportieren und die Metriken für den Cluster neu konfigurieren und weiterhin Metriken nach Amazon Managed Service for Prometheus exportieren möchten, müssen Sie die Eigenschaften und angeben. metrics_destination prometheus_endpoint

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

Verwenden Sie das folgende Beispiel, um den CloudWatch Agenten zum Exportieren von Metriken zu CloudWatch verwenden.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]
Anmerkung

Der CloudWatch Agent verfügt über einen Prometheus-Exporter, der bestimmte Attribute umbenennt. Für die Standardkennzahlen verwendet Amazon Managed Service for Prometheus Unterstriche anstelle der Punkte, die Amazon verwendet. CloudWatch Wenn Sie Amazon Managed Grafana verwenden, um die Standardmetriken in Amazon Managed Service for Prometheus zu visualisieren, werden die Bezeichnungen alscluster_id,instance_id, node_type und angezeigt. service_name