Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configurer des collecteurs Prometheus gérés pour Amazon OpenSearch Service
Le service géré Amazon pour Prometheus, collecteur géré pour Amazon OpenSearch Le service supprime automatiquement Prometheus-compatible les statistiques de votre OpenSearch Domaine de service et les redirige vers votre destination. Amazon Managed Service for Prometheus gère le collecteur pour vous, vous offrant ainsi l'évolutivité, la sécurité et la fiabilité dont vous avez besoin, sans avoir à gérer vous-même des instances, des agents ou des scrapers. Votre destination peut être un service géré par Amazon pour Prometheus Workspace ou Amazon CloudWatch.
Vous pouvez également créer un scraper qui s'intègre à Amazon Elastic Kubernetes Service ou à Amazon Managed Streaming pour Apache Kafka. Pour plus d'informations, voir Intégrez Amazon EKS et Intégrez Amazon MSK.
Créer un scraper
Cette procédure suppose que vous connaissez Amazon OpenSearch Administration des domaines de service et concepts de mise en réseau Amazon Virtual Private Cloud.
Il existe quelques prérequis pour créer un grattoir pour un OpenSearch Domaine de service :
-
Une Amazon OpenSearch Domaine de service avec accès à Amazon Virtual Private Cloud. Support pour les collecteurs gérés uniquement OpenSearch Domaines de service dotés d'un accès VPC. Les domaines avec accès public ne sont pas pris en charge.
-
Groupes de sécurité qui permettent au collecteur géré d'accéder à votre OpenSearch Point de terminaison du domaine de service via HTTPS (port 443). Ajoutez au groupe de sécurité du domaine une règle entrante autorisant le trafic HTTPS provenant du groupe de sécurité que vous fournissez pour le collecteur.
Pour indiquer au grattoir quel OpenSearch Domaine de service auprès duquel effectuer la collecte, vous spécifiez le domaine dans le exporters champ de la demande. Le exporters le champ prend une liste des configurations de l'exportateur ; pour un OpenSearch Domaine de service, fournissez un openSearchConfiguration avec le domainArn du domaine. Vous fournissez le réseau (sous-réseaux et groupe de sécurité) séparément dans source champ, comme illustré dans les exemples suivants.
Le scraper utilise le point de terminaison VPC du domaine tel qu'il a été résolu lorsque vous créez le scraper. Si vous recréez le domaine, il obtient un nouveau point de terminaison. Vous devez donc créer un nouveau scraper ou mettre à jour le scraper existant avec UpdateScraper à collecter auprès de celui-ci.
Vous fournissez une configuration de scrape lorsque vous créez le scraper. Le collecteur géré se connecte au domaine que vous spécifiez et collecte automatiquement ses métriques ; vous ne spécifiez donc pas de cibles d’extraction dans la configuration. La configuration doit inclure une section scrape_configs avec une tâche dont job_name est exactement opensearch-exporter. Une configuration qui ne contient pas de tâche nommée opensearch-exporter est rejeté. Utilisez la configuration de scrape pour définir l'intervalle de scrape et, éventuellement, pour filtrer ou renommer les métriques collectées. Voici un exemple de configuration de scrape :
global: external_labels: domain_name:my-opensearch-domainscrape_configs: - job_name: opensearch-exporter scrape_interval: 60s
Pour plus d'informations sur les options de configuration de scrape prises en charge, consultez Configuration du scraper.
-
Vous trouverez ci-dessous une liste complète des opérations de grattage que vous pouvez utiliser avec AWS API :
Créez un scraper avec l’opération d’API CreateScraper.
-
Répertoriez vos scrapers existants avec l’opération d’API ListScrapers.
-
Mettez à jour l'alias, la configuration ou la destination d'un scraper avec UpdateScraper Fonctionnement de l'API.
-
Supprimez un scraper avec l’opération d’API DeleteScraper.
-
Obtenez plus de détails sur un scraper avec l’opération d’API DescribeScraper.
Cross-account installation
Pour créer un scraper dans une configuration multi-comptes, lorsque le OpenSearch Le domaine de service à partir duquel vous souhaitez collecter des métriques se trouve dans un compte différent de celui du collecteur Amazon Managed Service for Prometheus. Suivez la procédure suivante.
Par exemple, vous avez deux comptes : un compte source account_id_source où le OpenSearch Le domaine de service est localisé et un compte cible account_id_target où se trouve l'espace de travail Amazon Managed Service for Prometheus.
Les politiques de confiance décrites dans les étapes suivantes font référence au scraper par son ARN, qui comprend un scraper-id qui n'existe pas tant que vous n'avez pas créé le grattoir. Pour éviter ce problème d'ordre, créez d'abord les rôles avec un caractère générique (scraper/*) à la place de l'ARN de scraper spécifique, créez le scraper, puis mettez à jour les deux politiques de confiance pour remplacer le caractère générique par l'ARN de scraper réel qui CreateScraper retours.
Pour créer un scraper dans une configuration multi-comptes
-
Dans le compte source, créez un rôle
arn:aws:iam::et ajoutez la politique de confiance suivante.111122223333:role/Source{ "Effect": "Allow", "Principal": { "Service": [ "scraper.aps.amazonaws.com" ] }, "Action": "sts:AssumeRole", "Condition": { "ArnEquals": { "aws:SourceArn": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" }, "StringEquals": { "AWS:SourceAccount": "111122223333" } } } -
Dans le compte cible, créez un rôle
arn:aws:iam::et ajoutez la politique de confiance suivante, qui permet au rôle source de l'assumer.444455556666:role/Target{ "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:role/Source" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "sts:ExternalId": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" } } }Associez une politique d'autorisations au rôle cible qui lui permet d'écrire vers votre destination. Si votre destination est un espace de travail Amazon Managed Service pour Prometheus, joignez AmazonPrometheusRemoteWriteAccess (qui accorde
aps:RemoteWrite). Si votre destination est Amazon CloudWatch, joignez une politique qui accordecloudwatch:PutMetricDatasur l'ensemble de données. -
Créez un grattoir à l'aide du
--role-configurationoption.aws amp create-scraper \ --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \ --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:aws-region:111122223333:domain/my-opensearch-domain"}}]' \ --scrape-configuration configurationBlob=<base64-encoded-blob>\ --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:aws-region:444455556666:workspace/ws-workspace-id"}}' \ --role-configuration '{"sourceRoleArn":"arn:aws:iam::111122223333:role/Source", "targetRoleArn":"arn:aws:iam::444455556666:role/Target"}' -
Validez la création du scraper.
aws amp list-scrapers
Recherche et suppression des scrapers
Vous pouvez utiliser le AWS API ou AWS CLI pour répertorier les scrapers de votre compte ou pour les supprimer.
Assurez-vous que vous utilisez la dernière version du AWS CLI ou SDK. La dernière version vous fournit les dernières fonctionnalités et fonctionnalités, ainsi que des mises à jour de sécurité. Vous pouvez également utiliser AWS CloudShell, qui fournit automatiquement une expérience de ligne de commande toujours à jour.
Pour afficher tous les scrapers de votre compte, utilisez l’opératon d’API ListScrapers. Alternativement, avec AWS CLI, appelez :
aws amp list-scrapers
Pour supprimer un scraper, recherchez le scraperId du scraper que vous souhaitez supprimer à l'aide de l'opération ListScrapers, puis utilisez l'opération DeleteScraper pour le supprimer. Alternativement, avec AWS CLI, appelez :
aws amp delete-scraper --scraper-idscraperId
Statistiques collectées auprès d'Amazon OpenSearch Service
Lorsque vous intégrez Amazon OpenSearch Service, le collecteur Amazon Managed Service for Prometheus, supprime automatiquement Prometheus-compatible des indicateurs qui décrivent l'état et les performances de votre domaine. Le collecteur émet plusieurs centaines de métriques ; les tableaux suivants répertorient les métriques représentatives de chaque catégorie. Le opensearch_indices_ les métriques des tableaux suivants sont agrégées sur l'ensemble du domaine, et nombre d'entre elles ont des variantes principales uniquement et totales (suffixé) _primary ou _total). Le collecteur émet également les mêmes statistiques par index, avec le préfixe opensearch_index_stats_, et des métriques par fragment préfixées opensearch_indices_shards_.
| Métrique | Description/Objectif |
|---|---|
opensearch_cluster_health_status |
État de santé du cluster (vert, jaune ou rouge). |
opensearch_cluster_health_number_of_nodes |
Nombre de nœuds dans le cluster . |
opensearch_cluster_health_number_of_data_nodes |
Nombre de nœuds de données dans le cluster. |
opensearch_cluster_health_active_primary_shards |
Nombre de fragments principaux actifs. |
opensearch_cluster_health_active_shards |
Nombre total de fragments actifs, y compris les fragments principaux et les répliques. |
opensearch_cluster_health_relocating_shards |
Nombre de partitions qui sont déplacées entre les nœuds. |
opensearch_cluster_health_initializing_shards |
Nombre de partitions en cours d'initialisation. |
opensearch_cluster_health_unassigned_shards |
Nombre de partitions qui ne sont pas attribuées à un nœud. |
opensearch_cluster_health_delayed_unassigned_shards |
Nombre de partitions non attribuées dont l'affectation est retardée. |
opensearch_cluster_health_number_of_pending_tasks |
Nombre de tâches au niveau du cluster mises en file d'attente et en attente d'exécution. |
opensearch_cluster_health_number_of_in_flight_fetch |
Nombre de demandes d'extraction de partitions en cours. |
opensearch_cluster_health_task_max_waiting_in_queue_millis |
Durée d'attente la plus longue d'une tâche dans la file d'attente, en millisecondes. |
| Métrique | Description/Objectif |
|---|---|
opensearch_os_cpu_percent |
Pourcentage de CPU utilisé par le système d'exploitation sur le nœud. |
opensearch_os_load1 |
Charge moyenne du système d'exploitation au cours de la dernière minute. Le collecteur émet également |
opensearch_os_mem_used_bytes |
Quantité de mémoire physique utilisée, en octets. Le collecteur émet également |
opensearch_jvm_memory_used_bytes |
Quantité de mémoire JVM utilisée, en octets, par zone mémoire (tas et non-tas). Les métriques associées incluent |
opensearch_jvm_gc_collection_seconds_count |
Nombre total d'événements de collecte des déchets de la JVM. À utiliser avec |
opensearch_jvm_uptime_seconds |
Temps de disponibilité de la JVM, en secondes. |
opensearch_thread_pool_active_count |
Nombre de threads actifs dans chaque pool de threads. Les mesures connexes incluent |
opensearch_filesystem_data_available_bytes |
Quantité d'espace disque disponible pour le nœud, en octets. Les métriques associées incluent |
opensearch_filesystem_io_stats_device_read_operations_count |
Nombre d'opérations de lecture sur disque. Le collecteur émet également le nombre total d'opérations d'écriture et le nombre total d'opérations ainsi que les tailles de lecture et d'écriture (par exemple, |
opensearch_process_cpu_percent |
Pourcentage de CPU utilisé par OpenSearch processus. |
opensearch_process_mem_resident_size_bytes |
Taille de la mémoire résidente du OpenSearch processus, en octets. |
opensearch_process_open_files_count |
Nombre de descripteurs de fichiers ouverts par OpenSearch processus. |
opensearch_breakers_tripped |
Nombre total de fois que chaque disjoncteur s'est déclenché. Les métriques associées incluent |
opensearch_transport_rx_size_bytes_total |
Quantité totale de données reçues sur la couche de transport entre les nœuds, en octets. Le collecteur émet également |
opensearch_indexing_pressure_current_all_in_bytes |
Mémoire actuelle consommée par les demandes d'indexation, en octets, avec |
| Métrique | Description/Objectif |
|---|---|
opensearch_indices_docs |
Nombre de documents Les mesures connexes incluent |
opensearch_indices_store_size_bytes |
Taille totale des indices sur le disque, en octets, avec |
opensearch_indices_indexing_index_total |
Nombre total de documents indexés. À utiliser avec |
opensearch_indices_indexing_is_throttled |
Indique si l'indexation est actuellement limitée, avec |
opensearch_indices_search_query_total |
Nombre total de requêtes de recherche. À utiliser avec |
opensearch_indices_search_fetch_total |
Nombre total d'opérations de récupération, avec |
opensearch_indices_get_total |
Nombre total d'opérations get, avec |
opensearch_indices_merges_total |
Nombre total de fusions de segments réalisées. Les métriques associées incluent |
opensearch_indices_refresh_total |
Nombre total d'opérations d'actualisation de l'index, avec |
opensearch_indices_flush_total |
Nombre total d'opérations de rinçage de l'index, avec |
opensearch_indices_segments_count |
Nombre de segments. Le collecteur émet également des métriques de mémoire par segment (par exemple, |
opensearch_indices_translog_operations |
Nombre d'opérations dans le journal des transactions, avec |
opensearch_indices_fielddata_memory_size_bytes |
Mémoire utilisée par le cache de données de champ, en octets, avec |
opensearch_indices_query_cache_memory_size_bytes |
Mémoire utilisée par le cache de requêtes, en octets. Les métriques associées incluent |
opensearch_indices_request_cache_memory_size_bytes |
Mémoire utilisée par le cache de requêtes, en octets. Les métriques associées incluent |
Limitations
L'Amazonie OpenSearch L'intégration des services avec Amazon Managed Service pour Prometheus présente les limites suivantes :
-
Uniquement pris en charge pour OpenSearch Domaines de service qui ont accès à Amazon Virtual Private Cloud. Les domaines avec accès public ne sont pas pris en charge.
-
Un scraper collecte des métriques à partir d'un seul OpenSearch Domaine de service. Pour collecter les métriques de plusieurs domaines, créez un extracteur distinct pour chaque domaine.