Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Configure los recopiladores de Prometheus gestionados para Amazon OpenSearch Servicio
El servicio gestionado de Amazon para Prometheus gestionó el recopilador para Amazon OpenSearch El servicio se elimina automáticamente Prometheus-compatible métricas de su OpenSearch Domina el servicio y los reenvía a tu destino. Amazon Managed Service for Prometheus administra el recopilador por usted, lo que le brinda la escalabilidad, la seguridad y la confiabilidad que necesita, sin tener que administrar ninguna instancia, agente o raspador usted mismo. Su destino puede ser un Amazon Managed Service para Prometheus Workspace o Amazon CloudWatch.
También puede crear un scraper que se integre con Amazon Elastic Kubernetes Service o con Amazon Managed Streaming para Apache Kafka. Para obtener más información, consulte Integre Amazon EKS y Integre Amazon MSK.
Crear un raspador
Este procedimiento presupone que estás familiarizado con Amazon OpenSearch Conceptos de administración de dominios de servicio y redes de Amazon Virtual Private Cloud.
Hay algunos requisitos previos para crear un raspador para un OpenSearch Dominio de servicio:
-
Un Amazon OpenSearch Dominio de servicio con acceso a Amazon Virtual Private Cloud. Solo son compatibles con los recopiladores gestionados OpenSearch Dominios de servicio que tienen acceso a la VPC. No se admiten dominios con acceso público.
-
Grupos de seguridad que permiten que el recopilador administrado llegue a su OpenSearch Punto final del dominio de servicio a través de HTTPS (puerto 443). Agregue una regla de entrada al grupo de seguridad del dominio que permita el tráfico HTTPS desde el grupo de seguridad que proporcione para el recopilador.
Para decirle al raspador cuál OpenSearch El dominio del servicio desde el que se va a recopilar, debe especificar el dominio en exporters campo de la solicitud. El exporters el campo contiene una lista de las configuraciones del exportador; para un OpenSearch Dominio de servicio, proporcione un openSearchConfiguration con el domainArn del dominio. Usted proporciona la red (subredes y grupo de seguridad) por separado en el source campo, como se muestra en los siguientes ejemplos.
El raspador usa el punto final de la VPC del dominio tal como se resolvió al crear el raspador. Si vuelves a crear el dominio, obtiene un nuevo punto final, por lo que debes crear un nuevo raspador o actualizar el existente con UpdateScraper para recolectar de él.
Usted proporciona una configuración de raspado al crear el raspador. El recopilador administrado se conecta al dominio que especifique y recopila sus métricas automáticamente, por lo que no es necesario especificar los destinos de extracción en la configuración. La configuración debe incluir una sección scrape_configs con un trabajo cuyo valor de job_name sea exactamente opensearch-exporter. Una configuración que no contiene un trabajo llamado opensearch-exporter está rechazada. Utilice la configuración de extracción para establecer el intervalo de extracción y, si lo desea, para filtrar o volver a etiquetar las métricas recopiladas. El siguiente es un ejemplo de configuración de raspado:
global: external_labels: domain_name:my-opensearch-domainscrape_configs: - job_name: opensearch-exporter scrape_interval: 60s
Para obtener más información acerca de las opciones de configuración de raspado compatibles, consulte Configuración del raspador.
-
La siguiente es una lista completa de las operaciones de extracción que puede utilizar con el AWS API:
Crear un raspador con la operación de la API CreateScraper.
-
Enumerar sus raspadores existentes con la operación de la API ListScrapers.
-
Actualice el alias, la configuración o el destino de un raspador con UpdateScraper Operación de API.
-
Eliminar un raspador con la operación de la API DeleteScraper.
-
Obtener más detalles sobre un raspador con la operación de la API DescribeScraper.
Cross-account configuración
Para crear un raspador en una configuración multicuenta, cuando OpenSearch El dominio de servicio del que quieres recopilar las métricas se encuentra en una cuenta diferente a la del recopilador de Amazon Managed Service for Prometheus, sigue el siguiente procedimiento.
Por ejemplo, tienes dos cuentas: una cuenta de origen account_id_source donde el OpenSearch Se encuentra el dominio del servicio y una cuenta de destino account_id_target donde reside el espacio de trabajo de Amazon Managed Service for Prometheus.
Las políticas de confianza de los pasos siguientes hacen referencia al raspador por su ARN, que incluye un scraper-id eso no existe hasta que se crea el raspador. Para evitar este problema de ordenamiento, primero cree los roles con un comodín (scraper/*) en lugar del ARN específico del raspador, cree el raspador y, a continuación, actualice ambas políticas de confianza para reemplazar el comodín por el ARN del raspador real que CreateScraper devuelve.
Para crear un scraper en una configuración entre cuentas
-
En la cuenta de origen, cree un rol
arn:aws:iam::y agregue la siguiente política de confianza.111122223333:role/Source{ "Effect": "Allow", "Principal": { "Service": [ "scraper.aps.amazonaws.com" ] }, "Action": "sts:AssumeRole", "Condition": { "ArnEquals": { "aws:SourceArn": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" }, "StringEquals": { "AWS:SourceAccount": "111122223333" } } } -
En la cuenta de destino, crea un rol
arn:aws:iam::y añada la siguiente política de confianza, que permite que el rol de origen lo asuma.444455556666:role/Target{ "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:role/Source" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "sts:ExternalId": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" } } }Adjunte una política de permisos al rol de destino que le permita escribir en su destino. Si tu destino es un espacio de trabajo de Amazon Managed Service for Prometheus, adjunta AmazonPrometheusRemoteWriteAccess (lo que otorga
aps:RemoteWrite). Si tu destino es Amazon CloudWatch, adjunta una política que concedacloudwatch:PutMetricDataen el conjunto de datos. -
Cree un scraper con la opción
--role-configuration.aws amp create-scraper \ --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \ --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:aws-region:111122223333:domain/my-opensearch-domain"}}]' \ --scrape-configuration configurationBlob=<base64-encoded-blob>\ --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:aws-region:444455556666:workspace/ws-workspace-id"}}' \ --role-configuration '{"sourceRoleArn":"arn:aws:iam::111122223333:role/Source", "targetRoleArn":"arn:aws:iam::444455556666:role/Target"}' -
Valide la creación del scraper.
aws amp list-scrapers
Buscar y eliminar raspadores
Puede utilizar el AWS API o la AWS CLI para enumerar los raspadores de su cuenta o eliminarlos.
Asegúrese de que está utilizando la versión más reciente de AWS CLI o SDK. La última versión le proporciona las características y funcionalidades más recientes, así como actualizaciones de seguridad. Como alternativa, puede utilizar AWS CloudShell, que proporciona una experiencia de línea de comandos siempre actualizada de forma automática.
Para enumerar todos los raspadores de su cuenta, utilice la operación de la API ListScrapers. Alternativamente, con el AWS CLI, llame al:
aws amp list-scrapers
Para eliminar un raspador, busque scraperId para el raspador que desea eliminar mediante la operación ListScrapers y, a continuación, utilice la operación DeleteScraper para eliminarlo. Alternativamente, con el AWS CLI, llame al:
aws amp delete-scraper --scraper-idscraperId
Métricas recopiladas de Amazon OpenSearch Servicio
Cuando te integras con Amazon OpenSearch El servicio, el recopilador de Amazon Managed Service para Prometheus, se elimina automáticamente Prometheus-compatible métricas que describen el estado y el rendimiento de tu dominio. El recopilador emite varios cientos de métricas; en las tablas siguientes se muestran las métricas representativas de cada categoría. El opensearch_indices_ las métricas de las siguientes tablas se agregan en todo el dominio y muchas tienen variantes únicas y totales (con sufijos) _primary o _total). El recopilador también emite las mismas estadísticas por índice, con el prefijo opensearch_index_stats_, y las métricas por fragmento tienen un prefijo opensearch_indices_shards_.
| Métrica | Descripción o finalidad |
|---|---|
opensearch_cluster_health_status |
Estado de salud del clúster (verde, amarillo o rojo). |
opensearch_cluster_health_number_of_nodes |
Número de nodos en el clúster de . |
opensearch_cluster_health_number_of_data_nodes |
Número de nodos de datos del clúster. |
opensearch_cluster_health_active_primary_shards |
Número de fragmentos primarios activos. |
opensearch_cluster_health_active_shards |
Número total de fragmentos activos, incluidos los fragmentos principales y de réplica. |
opensearch_cluster_health_relocating_shards |
Número de fragmentos que se reubican entre nodos. |
opensearch_cluster_health_initializing_shards |
Número de fragmentos que se están inicializando. |
opensearch_cluster_health_unassigned_shards |
Número de fragmentos que no están asignados a un nodo. |
opensearch_cluster_health_delayed_unassigned_shards |
Número de fragmentos no asignados cuya asignación está retrasada. |
opensearch_cluster_health_number_of_pending_tasks |
Número de tareas a nivel de clúster que están en cola y esperando para ejecutarse. |
opensearch_cluster_health_number_of_in_flight_fetch |
Número de solicitudes de recuperación de fragmentos en curso. |
opensearch_cluster_health_task_max_waiting_in_queue_millis |
Tiempo máximo que una tarea ha permanecido en la cola, en milisegundos. |
| Métrica | Descripción o finalidad |
|---|---|
opensearch_os_cpu_percent |
Porcentaje de CPU utilizada por el sistema operativo en el nodo. |
opensearch_os_load1 |
Media de carga del sistema operativo en el último minuto. El colector también emite |
opensearch_os_mem_used_bytes |
Cantidad de memoria física utilizada, en bytes. El recopilador también emite |
opensearch_jvm_memory_used_bytes |
Cantidad de memoria de JVM utilizada, en bytes, por área de memoria (pila y sin pila). Las métricas relacionadas incluyen |
opensearch_jvm_gc_collection_seconds_count |
Número total de eventos de recolección de basura de JVM. Utilícelo con |
opensearch_jvm_uptime_seconds |
Tiempo de actividad de JVM, en segundos. |
opensearch_thread_pool_active_count |
Número de subprocesos activos en cada grupo de subprocesos. Las métricas relacionadas incluyen |
opensearch_filesystem_data_available_bytes |
Cantidad de espacio en disco disponible para el nodo, en bytes. Las métricas relacionadas incluyen |
opensearch_filesystem_io_stats_device_read_operations_count |
Número de operaciones de lectura de disco. El recopilador también emite los recuentos totales de operaciones de escritura y escritura y los tamaños de lectura y escritura (por ejemplo, |
opensearch_process_cpu_percent |
Porcentaje de CPU utilizada por el OpenSearch proceso. |
opensearch_process_mem_resident_size_bytes |
Tamaño de la memoria residente del OpenSearch proceso, en bytes. |
opensearch_process_open_files_count |
Número de descriptores de archivos abiertos por OpenSearch proceso. |
opensearch_breakers_tripped |
Número total de veces que se ha disparado cada disyuntor. Las métricas relacionadas incluyen |
opensearch_transport_rx_size_bytes_total |
Cantidad total de datos recibidos a través de la capa de transporte entre nodos, en bytes. El recopilador también emite |
opensearch_indexing_pressure_current_all_in_bytes |
Memoria actual consumida por las solicitudes de indexación, en bytes, con |
| Métrica | Descripción o finalidad |
|---|---|
opensearch_indices_docs |
Número de documentos. Las métricas relacionadas incluyen |
opensearch_indices_store_size_bytes |
Tamaño total de los índices del disco, en bytes, con |
opensearch_indices_indexing_index_total |
Número total de documentos indexados. Utilícelo con |
opensearch_indices_indexing_is_throttled |
Indica si la indexación está actualmente limitada, con |
opensearch_indices_search_query_total |
Número total de consultas de búsqueda. Utilícelo con |
opensearch_indices_search_fetch_total |
Número total de operaciones de búsqueda, con |
opensearch_indices_get_total |
Número total de operaciones de obtención, con |
opensearch_indices_merges_total |
Número total de fusiones de segmentos completadas. Las métricas relacionadas incluyen |
opensearch_indices_refresh_total |
Número total de operaciones de actualización del índice, con |
opensearch_indices_flush_total |
Número total de operaciones de limpieza de índices, con |
opensearch_indices_segments_count |
Número de segmentos. El recopilador también emite métricas de memoria por segmento (por ejemplo, |
opensearch_indices_translog_operations |
Número de operaciones en el registro de transacciones, con |
opensearch_indices_fielddata_memory_size_bytes |
Memoria utilizada por la caché de datos de campo, en bytes, con |
opensearch_indices_query_cache_memory_size_bytes |
Memoria utilizada por la caché de consultas, en bytes. Las métricas relacionadas incluyen |
opensearch_indices_request_cache_memory_size_bytes |
Memoria utilizada por la caché de solicitudes, en bytes. Las métricas relacionadas incluyen |
Limitaciones
El Amazonas OpenSearch La integración del servicio con Amazon Managed Service for Prometheus tiene las siguientes limitaciones:
-
Solo es compatible con OpenSearch Dominios de servicio que tienen acceso a Amazon Virtual Private Cloud. No se admiten dominios con acceso público.
-
Un raspador recopila métricas de un solo OpenSearch Dominio de servicio. Para recopilar métricas de más de un dominio, cree un extractor independiente para cada dominio.