Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Configura CloudWatch l'agente per Amazon EMR 7.1.0
A partire da Amazon EMR 7.1.0, puoi configurare l' CloudWatch agente Amazon per utilizzare metriche di sistema aggiuntive, aggiungere metriche delle applicazioni e modificare la destinazione delle metriche utilizzando l'API di configurazione Amazon EMR. Per ulteriori informazioni su come utilizzare l'API di configurazione EMR per configurare le applicazioni del cluster, consulta Configure applications. https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html
7.1.0 supporta solo il tipo di riconfigurazione. OVERWRITE Per ulteriori informazioni sui tipi di riconfigurazione, vedere Considerazioni sulla riconfigurazione di un gruppo di istanze.
Argomenti
Schema di configurazione
emr-metricsha le seguenti classificazioni:
-
emr-system-metrics— configura le metriche di sistema, come CPU, disco e memoria. -
emr-hadoop-hdfs-datanode-metrics— configurare le metriche Hadoop DataNode JMX -
emr-hadoop-hdfs-namenode-metrics— configurare le metriche Hadoop JMX NameNode -
emr-hadoop-yarn-nodemanager-metrics— configurare le metriche Yarn JMX NodeManager -
emr-hadoop-yarn-resourcemanager-metrics— configurare le metriche Yarn JMX ResourceManager -
emr-hbase-master-metrics— configurare le metriche JMX di HBase Master -
emr-hbase-region-server-metrics— configurare le metriche JMX di HBase Region Server -
emr-hbase-rest-server-metrics— configurare le metriche JMX di HBase REST Server -
emr-hbase-thrift-server-metrics— configurare le metriche JMX di HBase Thrift Server
Le tabelle seguenti descrivono le proprietà e le configurazioni disponibili per tutte le classificazioni.
proprietà emr-metrics
| Proprietà | Richiesto | Description | Valore predefinito | Valori possibili | Note |
|---|---|---|---|---|---|
metrics_destination |
Facoltativo | Determina se le metriche del cluster vengono pubblicate su Amazon CloudWatch o Amazon Managed Service for Prometheus. | «CLOUDWATCH» | «CLOUDWATCH», «PROMETEO» | Questa proprietà non fa distinzione tra maiuscole e minuscole. Ad esempio, «Cloudwatch» è uguale a «CLOUDWATCH». |
prometheus_endpoint |
Facoltativo | Se metrics_destination è impostata su «PROMETHEUS», questa proprietà configura l' CloudWatch agente per inviare le metriche all'endpoint di scrittura remota Amazon Managed Service for Prometheus fornito. |
N/A | Qualsiasi URL di scrittura remota valido per Amazon Managed Service for Prometheus. Il formato dell'URL di scrittura remota è
|
Questo campo è obbligatorio se metrics_destination è impostato su «PROMETHEUS». Il provisioning fallirà se non si fornisce una chiave o se il valore è una stringa vuota. |
proprietà emr-system-metrics
| Proprietà | Richiesto | Description | Valore predefinito | Valori possibili | Note |
|---|---|---|---|---|---|
metrics_collection_interval |
Facoltativo | Con quale frequenza in secondi le metriche vengono raccolte e pubblicate dall'agente. CloudWatch | «60" | Una stringa che specifica il numero di secondi. Accetta solo numeri interi. | È possibile sostituire questa proprietà con la metrics_collection_interval proprietà dei singoli gruppi di metriche. |
configurazioni emr-system-metrics
proprietà emr-hadoop-hdfs-datanode-metrics
| Proprietà | Richiesto | Description | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/A | L'MBean da cui l'agente deve raccogliere le metriche, ad esempio. CloudWatch Hadoop:service=DataNode,name=DataNodeActivity Puoi trovare esempi di nomi MBean e le relative metriche nei file JMX YAML di esempio per Amazon EMR release 7.0. |
Una stringa contenente l'elenco delimitato da virgole delle metriche associate all'MBean. Ad esempio, BlocksCached,BlocksRead. |
otel.metric.export.interval |
Facoltativo | Con quale frequenza, in millisecondi, raccogliere le metriche di Hadoop. DataNode | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
proprietà emr-hadoop-hdfs-namenode-metrics
| Proprietà | Richiesto | Description | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/A | L'MBean da cui l'agente deve raccogliere le metriche, ad esempio. CloudWatch Hadoop:service=NameNode,name=FSNamesystem Puoi trovare esempi di nomi MBean e le relative metriche nei file JMX YAML di esempio per Amazon EMR release 7.0. |
Una stringa contenente l'elenco delimitato da virgole delle metriche associate all'MBean. Ad esempio, BlockCapacity,CapacityUsedGB. |
otel.metric.export.interval |
Facoltativo | Con quale frequenza, in millisecondi, raccogliere le metriche di Hadoop. NameNode | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
proprietà emr-hadoop-yarn-nodemanager-metrics
| Proprietà | Richiesto | Description | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/A | L'MBean da cui l'agente deve raccogliere le metriche, ad esempio. CloudWatch Hadoop:service=NodeManager,name=NodeManagerMetrics Puoi trovare esempi di nomi MBean e le relative metriche nei file JMX YAML di esempio per Amazon EMR release 7.0. |
Una stringa contenente l'elenco delimitato da virgole delle metriche associate all'MBean. Ad esempio, MaxCapacity,AllocatedGB. |
otel.metric.export.interval |
Facoltativo | Con quale frequenza, in millisecondi, raccogliere le metriche di Hadoop YARN. NodeManager | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
proprietà emr-hadoop-yarn-resourcemanager-metrics
| Proprietà | Richiesto | Description | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/A | L'MBean da cui l'agente deve raccogliere le metriche, ad esempio. CloudWatch Hadoop:service=ResourceManager,name=PartitionQueueMetrics Puoi trovare esempi di nomi MBean e le relative metriche nei file JMX YAML di esempio per Amazon EMR release 7.0. |
Una stringa contenente l'elenco delimitato da virgole delle metriche associate all'MBean. Ad esempio, MaxCapacity,MaxCapacityVCores. |
otel.metric.export.interval |
Facoltativo | Con quale frequenza, in millisecondi, raccogliere le metriche di Hadoop YARN. ResourceManager | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
proprietà emr-hbase-master-metrics
| Proprietà | Richiesto | Description | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/A | L'MBean da cui l'agente deve raccogliere le metriche, ad esempio CloudWatch . Hadoop:service=HBase,name=Master,sub=AssignmentManager Puoi trovare esempi di nomi MBean e le relative metriche nei file JMX YAML di esempio per Amazon EMR release 7.0. |
Una stringa contenente l'elenco delimitato da virgole delle metriche associate all'MBean. Ad esempio, AssignFailedCount,AssignSubmittedCount. |
otel.metric.export.interval |
Facoltativo | Con quale frequenza, in millisecondi, raccogliere le metriche HBase Master. | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
proprietà emr-hbase-region-server-metrics
| Proprietà | Richiesto | Description | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/A | L'MBean da cui l'agente deve raccogliere le metriche, ad esempio. CloudWatch Hadoop:service=HBase,name=RegionServer,sub=IPC Puoi trovare esempi di nomi MBean e le relative metriche nei file JMX YAML di esempio per Amazon EMR release 7.0. |
Una stringa contenente l'elenco delimitato da virgole delle metriche associate all'MBean. Ad esempio, numActiveHandler,numActivePriorityHandler. |
otel.metric.export.interval |
Facoltativo | Con quale frequenza, in millisecondi, raccogliere le metriche di HBase Region Server. | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
proprietà emr-hbase-rest-server-metrics
| Proprietà | Richiesto | Description | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/A | L'MBean da cui l'agente deve raccogliere le metriche, ad esempio. CloudWatch Hadoop:service=HBase,name=REST Puoi trovare esempi di nomi MBean e le relative metriche nei file JMX YAML di esempio per Amazon EMR release 7.0. |
Una stringa contenente l'elenco delimitato da virgole delle metriche associate all'MBean. Ad esempio, successfulPut,successfulScanCount. |
otel.metric.export.interval |
Facoltativo | Con quale frequenza, in millisecondi, raccogliere le metriche di HBase Rest Server. | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
proprietà emr-hbase-thrift-server-metrics
| Proprietà | Richiesto | Description | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/A | L'MBean da cui l'agente deve raccogliere le metriche, ad esempio. CloudWatch Hadoop:service=HBase,name=Thrift,sub=ThriftOne Puoi trovare esempi di nomi MBean e le relative metriche nei file JMX YAML di esempio per Amazon EMR release 7.0. |
Una stringa contenente l'elenco delimitato da virgole delle metriche associate all'MBean. Ad esempio, BatchGet_max,BatchGet_mean. |
otel.metric.export.interval |
Facoltativo | Con quale frequenza, in millisecondi, raccogliere le metriche del server HBase Thrift. | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
Metriche di sistema, esempi di configurazioni
L'esempio seguente dimostra come configurare l' CloudWatch agente per interrompere l'esportazione di tutte le metriche di sistema.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-system-metrics", "Properties": {}, "Configurations": [] } ] } ]
L'esempio seguente configura l' CloudWatch agente per esportare le metriche di sistema predefinite. Questa operazione è un modo rapido per reimpostare l'agente all'esportazione delle metriche di sistema predefinite solo se le metriche di sistema sono già state riconfigurate almeno una volta. Questa reimpostazione rimuove anche tutte le metriche delle applicazioni riconfigurate in precedenza.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [] } ]
L'esempio seguente configura il cluster per esportare le metrichecpu,mem, e. disk
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-system-metrics", "Properties": { "metrics_collection_interval": "20" }, "Configurations": [ { "Classification": "cpu", "Properties": { "metrics": "cpu_usage_guest,cpu_usage_idle", "metrics_collection_interval": "30", "drop_original_metrics": "cpu_usage_guest" } }, { "Classification": "mem", "Properties": { "metrics": "mem_active" } }, { "Classification": "disk", "Properties": { "metrics": "disk_used_percent", "resources": "/,/mnt", "drop_original_metrics": "" } } ] } ] } ]
L'esempio precedente di configurazione ha le seguenti proprietà:
-
Ogni 30 secondi, l'agente raccoglie la
cpu_guestmetrica per tutte le CPU. Puoi trovare la metrica aggregata nel namespace. CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name -
Ogni 30 secondi, l'agente raccoglie la metrica per tutte le
cpu_idleCPU. Puoi trovare la metrica aggregata nel namespace. CloudWatchCWAgent > cluster.id, instance.id, node.type, service.nameL'agente raccoglie anche le metriche per CPU. Li puoi trovare nello stesso namespace. L'agente raccoglie questa metrica perché ladrop_original_metricsproprietà non contienecpu_idle, quindi non ignora la metrica. -
Ogni 20 secondi, l'agente raccoglie la metrica.
mem_activePuoi trovare la metrica aggregata nel namespace. CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name -
Ogni 20 secondi, l'agente raccoglie le
disk_used_percentmetriche relative ai montaggi su disco e su disco.//mntPuoi trovare le metriche aggregate nel namespace. CloudWatchCWAgent > cluster.id, instance.id, node.type, service.nameL'agente raccoglie anche le metriche per montaggio. Li puoi trovare nello stesso namespace. L'agente raccoglie questa metrica perché ladrop_original_metricsproprietà non contienedisk_used_percent, quindi non ignora la metrica.
Esempi di configurazioni delle metriche delle applicazioni
L'esempio seguente configura l' CloudWatch agente per interrompere l'esportazione delle metriche per il servizio Hadoop Namenode.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hadoop-hdfs-namenode-metrics", "Properties": {}, "Configurations": [] } ] } ]
L'esempio seguente configura un cluster per esportare le metriche delle applicazioni Hadoop.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hadoop-hdfs-namenode-metrics", "Properties": { "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB", "otel.metric.export.interval": "20000" }, "Configurations": [] }, { "Classification": "emr-hadoop-hdfs-datanode-metrics", "Properties": { "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM", "otel.metric.export.interval": "30000" }, "Configurations": [] }, { "Classification": "emr-hadoop-yarn-resourcemanager-metrics", "Properties": { "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps" }, "Configurations": [] } ] } ]
L'esempio precedente ha le seguenti proprietà:
-
Ogni 20 secondi, l'agente raccoglie le
CapacityUsedGBmetricheBlockCapacitye dalle istanze che eseguono il servizio Hadoop Namenode. -
Ogni 30 secondi, l'agente raccoglie le
MemNonHeapUsedMmetriche dalle istanze che eseguono il servizio Hadoop Datanode. -
Ogni 30 secondi, l'agente raccoglie le
NodeUpdateNumOpsmetricheAllocateNumOpse dalle istanze che eseguono Hadoop YARN. ResourceManager
Esempio di Amazon Managed Service per Prometheus
L'esempio seguente dimostra come configurare l' CloudWatch agente per esportare le metriche in Amazon Managed Service for Prometheus.
Se stai attualmente esportando le metriche in Amazon Managed Service for Prometheus e desideri riconfigurare le metriche per il cluster e continuare a esportare le metriche in Amazon Managed Service for Prometheus, devi includere le proprietà e. metrics_destination prometheus_endpoint
[ { "Classification": "emr-metrics", "Properties": { "metrics_destination": "prometheus", "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write" }, "Configurations": [] } ]
Per utilizzare l'agente in cui esportare le metriche, utilizza il seguente esempio. CloudWatch CloudWatch
[ { "Classification": "emr-metrics", "Properties": { "metrics_destination": "cloudwatch" }, "Configurations": [] } ]
L' CloudWatch agente dispone di un esportatore Prometheus che rinomina determinati attributi. Per le etichette delle metriche predefinite, Amazon Managed Service for Prometheus utilizza caratteri di sottolineatura al posto dei punti utilizzati da Amazon. CloudWatch Se utilizzi Amazon Managed Grafana per visualizzare le metriche predefinite in Amazon Managed Service for Prometheus, le etichette vengono visualizzate come,, e. cluster_id instance_id node_type service_name