View a markdown version of this page

Configurer des collecteurs Prometheus gérés pour Amazon OpenSearch Service - Amazon Managed Service for Prometheus

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configurer des collecteurs Prometheus gérés pour Amazon OpenSearch Service

Le service géré Amazon pour Prometheus, collecteur géré pour Amazon OpenSearch Le service supprime automatiquement Prometheus-compatible les statistiques de votre OpenSearch Domaine de service et les redirige vers votre destination. Amazon Managed Service for Prometheus gère le collecteur pour vous, vous offrant ainsi l'évolutivité, la sécurité et la fiabilité dont vous avez besoin, sans avoir à gérer vous-même des instances, des agents ou des scrapers. Votre destination peut être un service géré par Amazon pour Prometheus Workspace ou Amazon CloudWatch.

Vous pouvez également créer un scraper qui s'intègre à Amazon Elastic Kubernetes Service ou à Amazon Managed Streaming pour Apache Kafka. Pour plus d'informations, voir Intégrez Amazon EKS et Intégrez Amazon MSK.

Créer un scraper

Cette procédure suppose que vous connaissez Amazon OpenSearch Administration des domaines de service et concepts de mise en réseau Amazon Virtual Private Cloud.

Il existe quelques prérequis pour créer un grattoir pour un OpenSearch Domaine de service :

  • Une Amazon OpenSearch Domaine de service avec accès à Amazon Virtual Private Cloud. Support pour les collecteurs gérés uniquement OpenSearch Domaines de service dotés d'un accès VPC. Les domaines avec accès public ne sont pas pris en charge.

  • Groupes de sécurité qui permettent au collecteur géré d'accéder à votre OpenSearch Point de terminaison du domaine de service via HTTPS (port 443). Ajoutez au groupe de sécurité du domaine une règle entrante autorisant le trafic HTTPS provenant du groupe de sécurité que vous fournissez pour le collecteur.

Pour indiquer au grattoir quel OpenSearch Domaine de service auprès duquel effectuer la collecte, vous spécifiez le domaine dans le exporters champ de la demande. Le exporters le champ prend une liste des configurations de l'exportateur ; pour un OpenSearch Domaine de service, fournissez un openSearchConfiguration avec le domainArn du domaine. Vous fournissez le réseau (sous-réseaux et groupe de sécurité) séparément dans source champ, comme illustré dans les exemples suivants.

Note

Le scraper utilise le point de terminaison VPC du domaine tel qu'il a été résolu lorsque vous créez le scraper. Si vous recréez le domaine, il obtient un nouveau point de terminaison. Vous devez donc créer un nouveau scraper ou mettre à jour le scraper existant avec UpdateScraper à collecter auprès de celui-ci.

Vous fournissez une configuration de scrape lorsque vous créez le scraper. Le collecteur géré se connecte au domaine que vous spécifiez et collecte automatiquement ses métriques ; vous ne spécifiez donc pas de cibles d’extraction dans la configuration. La configuration doit inclure une section scrape_configs avec une tâche dont job_name est exactement opensearch-exporter. Une configuration qui ne contient pas de tâche nommée opensearch-exporter est rejeté. Utilisez la configuration de scrape pour définir l'intervalle de scrape et, éventuellement, pour filtrer ou renommer les métriques collectées. Voici un exemple de configuration de scrape :

global: external_labels: domain_name: my-opensearch-domain scrape_configs: - job_name: opensearch-exporter scrape_interval: 60s

Pour plus d'informations sur les options de configuration de scrape prises en charge, consultez Configuration du scraper.

To create a scraper using the AWS API

Utilisez le CreateScraper Fonctionnement de l'API pour créer un scraper avec AWS API. L'exemple suivant crée un scraper dans la région USA Est (Virginie du Nord) qui collecte des métriques à partir d'un OpenSearch Domaine de service et les envoie à un espace de travail Amazon Managed Service pour Prometheus. Remplacez le example du contenu avec vos propres informations de domaine, de réseau et d'espace de travail, et fournissez la configuration de votre scraper.

Note

Configurez le groupe de sécurité et les sous-réseaux en fonction de l'Amazon VPC de votre OpenSearch Domaine de service. Incluez au moins deux sous-réseaux dans deux zones de disponibilité.

POST /scrapers HTTP/1.1 { "alias": "myScraper", "source": { "vpcConfiguration": { "securityGroupIds": ["sg-security-group-id"], "subnetIds": ["subnet-subnet-id-1", "subnet-subnet-id-2"] } }, "exporters": [ { "openSearchConfiguration": { "domainArn": "arn:aws:es:us-east-1:123456789012:domain/my-opensearch-domain" } } ], "destination": { "ampConfiguration": { "workspaceArn": "arn:aws:aps:us-east-1:123456789012:workspace/ws-workspace-id" } }, "scrapeConfiguration": { "configurationBlob": "base64-encoded-blob" } }

Pour envoyer les statistiques à Amazon CloudWatch au lieu d'un espace de travail Amazon Managed Service pour Prometheus, remplacez destination avec un CloudWatch configuration :

"destination": { "cloudWatchConfiguration": { "datasetArn": "arn:aws:cloudwatch:us-east-1:123456789012:dataset/default" } }

Le scrapeConfiguration Le paramètre nécessite un fichier YAML de configuration Prometheus codé en base64. Exécutez l'une des commandes suivantes pour convertir le fichier YAML en base64. Vous pouvez également utiliser n'importe quel convertisseur base64 en ligne pour convertir le fichier.

Exemple Linux/macOS
base64 -w0 scraper-config.yaml
Exemple Fenêtres PowerShell
[Convert]::ToBase64String([System.IO.File]::ReadAllBytes("scraper-config.yaml"))
To create a scraper using the AWS CLI

Utilisez le create-scraper commande pour créer un grattoir à l'aide de AWS Command Line Interface. L'exemple suivant crée un scraper dans la région de l'Est des États-Unis (Virginie du Nord). Remplacez le example du contenu avec vos propres informations de domaine, de réseau et d'espace de travail, et fournissez la configuration de votre scraper.

Note

Configurez le groupe de sécurité et les sous-réseaux en fonction de l'Amazon VPC de votre OpenSearch Domaine de service. Incluez au moins deux sous-réseaux dans deux zones de disponibilité.

aws amp create-scraper \ --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \ --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:us-east-1:123456789012:domain/my-opensearch-domain"}}]' \ --scrape-configuration configurationBlob=base64-encoded-blob \ --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:us-east-1:123456789012:workspace/ws-workspace-id"}}'
  • Vous trouverez ci-dessous une liste complète des opérations de grattage que vous pouvez utiliser avec AWS API :

    Créez un scraper avec l’opération d’API CreateScraper.

  • Répertoriez vos scrapers existants avec l’opération d’API ListScrapers.

  • Mettez à jour l'alias, la configuration ou la destination d'un scraper avec UpdateScraper Fonctionnement de l'API.

  • Supprimez un scraper avec l’opération d’API DeleteScraper.

  • Obtenez plus de détails sur un scraper avec l’opération d’API DescribeScraper.

Cross-account installation

Pour créer un scraper dans une configuration multi-comptes, lorsque le OpenSearch Le domaine de service à partir duquel vous souhaitez collecter des métriques se trouve dans un compte différent de celui du collecteur Amazon Managed Service for Prometheus. Suivez la procédure suivante.

Par exemple, vous avez deux comptes : un compte source account_id_source où le OpenSearch Le domaine de service est localisé et un compte cible account_id_target où se trouve l'espace de travail Amazon Managed Service for Prometheus.

Note

Les politiques de confiance décrites dans les étapes suivantes font référence au scraper par son ARN, qui comprend un scraper-id qui n'existe pas tant que vous n'avez pas créé le grattoir. Pour éviter ce problème d'ordre, créez d'abord les rôles avec un caractère générique (scraper/*) à la place de l'ARN de scraper spécifique, créez le scraper, puis mettez à jour les deux politiques de confiance pour remplacer le caractère générique par l'ARN de scraper réel qui CreateScraper retours.

Pour créer un scraper dans une configuration multi-comptes
  1. Dans le compte source, créez un rôle arn:aws:iam::111122223333:role/Source et ajoutez la politique de confiance suivante.

    { "Effect": "Allow", "Principal": { "Service": [ "scraper.aps.amazonaws.com" ] }, "Action": "sts:AssumeRole", "Condition": { "ArnEquals": { "aws:SourceArn": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" }, "StringEquals": { "AWS:SourceAccount": "111122223333" } } }
  2. Dans le compte cible, créez un rôle arn:aws:iam::444455556666:role/Target et ajoutez la politique de confiance suivante, qui permet au rôle source de l'assumer.

    { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:role/Source" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "sts:ExternalId": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id" } } }

    Associez une politique d'autorisations au rôle cible qui lui permet d'écrire vers votre destination. Si votre destination est un espace de travail Amazon Managed Service pour Prometheus, joignez AmazonPrometheusRemoteWriteAccess (qui accorde aps:RemoteWrite). Si votre destination est Amazon CloudWatch, joignez une politique qui accorde cloudwatch:PutMetricData sur l'ensemble de données.

  3. Créez un grattoir à l'aide du --role-configuration option.

    aws amp create-scraper \ --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \ --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:aws-region:111122223333:domain/my-opensearch-domain"}}]' \ --scrape-configuration configurationBlob=<base64-encoded-blob> \ --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:aws-region:444455556666:workspace/ws-workspace-id"}}' \ --role-configuration '{"sourceRoleArn":"arn:aws:iam::111122223333:role/Source", "targetRoleArn":"arn:aws:iam::444455556666:role/Target"}'
  4. Validez la création du scraper.

    aws amp list-scrapers

Recherche et suppression des scrapers

Vous pouvez utiliser le AWS API ou AWS CLI pour répertorier les scrapers de votre compte ou pour les supprimer.

Note

Assurez-vous que vous utilisez la dernière version du AWS CLI ou SDK. La dernière version vous fournit les dernières fonctionnalités et fonctionnalités, ainsi que des mises à jour de sécurité. Vous pouvez également utiliser AWS CloudShell, qui fournit automatiquement une expérience de ligne de commande toujours à jour.

Pour afficher tous les scrapers de votre compte, utilisez l’opératon d’API ListScrapers. Alternativement, avec AWS CLI, appelez :

aws amp list-scrapers

Pour supprimer un scraper, recherchez le scraperId du scraper que vous souhaitez supprimer à l'aide de l'opération ListScrapers, puis utilisez l'opération DeleteScraper pour le supprimer. Alternativement, avec AWS CLI, appelez :

aws amp delete-scraper --scraper-id scraperId

Statistiques collectées auprès d'Amazon OpenSearch Service

Lorsque vous intégrez Amazon OpenSearch Service, le collecteur Amazon Managed Service for Prometheus, supprime automatiquement Prometheus-compatible des indicateurs qui décrivent l'état et les performances de votre domaine. Le collecteur émet plusieurs centaines de métriques ; les tableaux suivants répertorient les métriques représentatives de chaque catégorie. Le opensearch_indices_ les métriques des tableaux suivants sont agrégées sur l'ensemble du domaine, et nombre d'entre elles ont des variantes principales uniquement et totales (suffixé) _primary ou _total). Le collecteur émet également les mêmes statistiques par index, avec le préfixe opensearch_index_stats_, et des métriques par fragment préfixées opensearch_indices_shards_.

Métrique Description/Objectif

opensearch_cluster_health_status

État de santé du cluster (vert, jaune ou rouge).

opensearch_cluster_health_number_of_nodes

Nombre de nœuds dans le cluster .

opensearch_cluster_health_number_of_data_nodes

Nombre de nœuds de données dans le cluster.

opensearch_cluster_health_active_primary_shards

Nombre de fragments principaux actifs.

opensearch_cluster_health_active_shards

Nombre total de fragments actifs, y compris les fragments principaux et les répliques.

opensearch_cluster_health_relocating_shards

Nombre de partitions qui sont déplacées entre les nœuds.

opensearch_cluster_health_initializing_shards

Nombre de partitions en cours d'initialisation.

opensearch_cluster_health_unassigned_shards

Nombre de partitions qui ne sont pas attribuées à un nœud.

opensearch_cluster_health_delayed_unassigned_shards

Nombre de partitions non attribuées dont l'affectation est retardée.

opensearch_cluster_health_number_of_pending_tasks

Nombre de tâches au niveau du cluster mises en file d'attente et en attente d'exécution.

opensearch_cluster_health_number_of_in_flight_fetch

Nombre de demandes d'extraction de partitions en cours.

opensearch_cluster_health_task_max_waiting_in_queue_millis

Durée d'attente la plus longue d'une tâche dans la file d'attente, en millisecondes.

Métrique Description/Objectif

opensearch_os_cpu_percent

Pourcentage de CPU utilisé par le système d'exploitation sur le nœud.

opensearch_os_load1

Charge moyenne du système d'exploitation au cours de la dernière minute. Le collecteur émet également opensearch_os_load5 et opensearch_os_load15.

opensearch_os_mem_used_bytes

Quantité de mémoire physique utilisée, en octets. Le collecteur émet également opensearch_os_mem_free_bytes, opensearch_os_mem_actual_used_bytes, et opensearch_os_mem_actual_free_bytes.

opensearch_jvm_memory_used_bytes

Quantité de mémoire JVM utilisée, en octets, par zone mémoire (tas et non-tas). Les métriques associées incluent opensearch_jvm_memory_committed_bytes et opensearch_jvm_memory_max_bytes.

opensearch_jvm_gc_collection_seconds_count

Nombre total d'événements de collecte des déchets de la JVM. À utiliser avec opensearch_jvm_gc_collection_seconds_sum, le temps total consacré à la collecte des ordures.

opensearch_jvm_uptime_seconds

Temps de disponibilité de la JVM, en secondes.

opensearch_thread_pool_active_count

Nombre de threads actifs dans chaque pool de threads. Les mesures connexes incluent opensearch_thread_pool_queue_count, opensearch_thread_pool_rejected_count, et opensearch_thread_pool_completed_count.

opensearch_filesystem_data_available_bytes

Quantité d'espace disque disponible pour le nœud, en octets. Les métriques associées incluent opensearch_filesystem_data_free_bytes et opensearch_filesystem_data_size_bytes.

opensearch_filesystem_io_stats_device_read_operations_count

Nombre d'opérations de lecture sur disque. Le collecteur émet également le nombre total d'opérations d'écriture et le nombre total d'opérations ainsi que les tailles de lecture et d'écriture (par exemple, opensearch_filesystem_io_stats_device_read_size_kilobytes_sum).

opensearch_process_cpu_percent

Pourcentage de CPU utilisé par OpenSearch processus.

opensearch_process_mem_resident_size_bytes

Taille de la mémoire résidente du OpenSearch processus, en octets.

opensearch_process_open_files_count

Nombre de descripteurs de fichiers ouverts par OpenSearch processus.

opensearch_breakers_tripped

Nombre total de fois que chaque disjoncteur s'est déclenché. Les métriques associées incluent opensearch_breakers_estimated_size_bytes et opensearch_breakers_limit_size_bytes.

opensearch_transport_rx_size_bytes_total

Quantité totale de données reçues sur la couche de transport entre les nœuds, en octets. Le collecteur émet également opensearch_transport_tx_size_bytes_total et le nombre de paquets.

opensearch_indexing_pressure_current_all_in_bytes

Mémoire actuelle consommée par les demandes d'indexation, en octets, avec opensearch_indexing_pressure_limit_in_bytes comme limite configurée.

Métrique Description/Objectif

opensearch_indices_docs

Nombre de documents Les mesures connexes incluent opensearch_indices_docs_deleted, opensearch_indices_docs_primary, et opensearch_indices_docs_total.

opensearch_indices_store_size_bytes

Taille totale des indices sur le disque, en octets, avec opensearch_indices_store_size_bytes_primary et opensearch_indices_store_size_bytes_total variantes.

opensearch_indices_indexing_index_total

Nombre total de documents indexés. À utiliser avec opensearch_indices_indexing_index_time_seconds_total pour indexer la latence.

opensearch_indices_indexing_is_throttled

Indique si l'indexation est actuellement limitée, avec opensearch_indices_indexing_throttle_time_seconds_total pendant la durée totale d'étranglement.

opensearch_indices_search_query_total

Nombre total de requêtes de recherche. À utiliser avec opensearch_indices_search_query_time_seconds pour la latence des requêtes.

opensearch_indices_search_fetch_total

Nombre total d'opérations de récupération, avec opensearch_indices_search_fetch_time_seconds pour la latence de récupération.

opensearch_indices_get_total

Nombre total d'opérations get, avec opensearch_indices_get_time_seconds pour obtenir de la latence.

opensearch_indices_merges_total

Nombre total de fusions de segments réalisées. Les métriques associées incluent opensearch_indices_merges_current et opensearch_indices_merges_total_time_seconds_total.

opensearch_indices_refresh_total

Nombre total d'opérations d'actualisation de l'index, avec opensearch_indices_refresh_time_seconds_total pour le temps de rafraîchissement.

opensearch_indices_flush_total

Nombre total d'opérations de rinçage de l'index, avec opensearch_indices_flush_time_seconds pour le temps de rinçage.

opensearch_indices_segments_count

Nombre de segments. Le collecteur émet également des métriques de mémoire par segment (par exemple, opensearch_indices_segments_memory_bytes et opensearch_indices_segment_terms_memory_total).

opensearch_indices_translog_operations

Nombre d'opérations dans le journal des transactions, avec opensearch_indices_translog_size_in_bytes pour sa taille.

opensearch_indices_fielddata_memory_size_bytes

Mémoire utilisée par le cache de données de champ, en octets, avec opensearch_indices_fielddata_evictions pour les expulsions.

opensearch_indices_query_cache_memory_size_bytes

Mémoire utilisée par le cache de requêtes, en octets. Les métriques associées incluent opensearch_indices_query_cache_count et opensearch_indices_query_cache_evictions.

opensearch_indices_request_cache_memory_size_bytes

Mémoire utilisée par le cache de requêtes, en octets. Les métriques associées incluent opensearch_indices_request_cache_count et opensearch_indices_request_cache_evictions.

Limitations

L'Amazonie OpenSearch L'intégration des services avec Amazon Managed Service pour Prometheus présente les limites suivantes :

  • Uniquement pris en charge pour OpenSearch Domaines de service qui ont accès à Amazon Virtual Private Cloud. Les domaines avec accès public ne sont pas pris en charge.

  • Un scraper collecte des métriques à partir d'un seul OpenSearch Domaine de service. Pour collecter les métriques de plusieurs domaines, créez un extracteur distinct pour chaque domaine.