Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d'un pipeline OpenSearch d'ingestion avec OpenTelemetry Collector

Vous pouvez utiliser le OpenTelemetry Collector pour intégrer des journaux, des traces et des métriques dans des pipelines OpenSearch d'ingestion. Un pipeline unique peut être utilisé pour intégrer tous les journaux, traces et métriques dans différents indices d'un domaine ou d'une collection. Vous pouvez également utiliser des pipelines pour ingérer uniquement les journaux, les traces ou les métriques individuellement.

Conditions préalables

Lors de la OpenTelemetry configuration du fichier de configuration, vous devez configurer les éléments suivants pour que l'ingestion ait lieu :

extensions:
    sigv4auth:
        region: "region"
        service: "osis"

exporters:
    otlphttp:
        logs_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/logs"
        metrics_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/metrics"
        traces_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/traces"
        auth:
            authenticator: sigv4auth
            compression: none

service:
    extensions: [sigv4auth]
    pipelines:
        traces:
        receivers: [jaeger]
        exporters: [otlphttp]
            

Étape 1 : configurer le rôle du pipeline

Après avoir configuré la configuration du OpenTelemetry collecteur, configurez le rôle de pipeline que vous souhaitez utiliser dans la configuration de votre pipeline. Le rôle de pipeline n'a pas besoin d'autorisations spécifiques pour la source OTLP, mais uniquement d'autorisations pour accorder aux pipelines l'accès au OpenSearch domaine ou à la collection.

Étape 2 : Création du pipeline

Vous pouvez ensuite configurer un pipeline d' OpenSearch ingestion comme le suivant, qui spécifie OTLP comme source. Vous pouvez également configurer les OpenTelemetry journaux, les métriques et les traces en tant que sources individuelles.

Configuration du pipeline source OTLP :

version: 2
otlp-pipeline:
    source:
        otlp:
            logs_path: /otlp-pipeline/v1/logs
            traces_path: /otlp-pipeline/v1/traces
            metrics_path: /otlp-pipeline/v1/metrics
    sink:
        - opensearch:
            hosts: ["https://search-mydomain.region.es.amazonaws.com"]
            index: "ss4o_metrics-otel-%{yyyy.MM.dd}"
            index_type: custom
            aws:
                region: "region"
            

OpenTelemetry Configuration du pipeline de journaux :

version: 2
otel-logs-pipeline:
  source:
    otel_logs_source:
        path: /otel-logs-pipeline/v1/logs
  sink:
    - opensearch:
        hosts: ["https://search-mydomain.region.es.amazonaws.com"]
        index: "ss4o_metrics-otel-%{yyyy.MM.dd}"
        index_type: custom
        aws:
            region: "region"
            

OpenTelemetry Configuration du pipeline de métriques :

version: 2
otel-metrics-pipeline:
  source:
    otel_metrics_source:
        path: /otel-metrics-pipeline/v1/metrics
  sink:
    - opensearch:
        hosts: ["https://search-mydomain.region.es.amazonaws.com"]
        index: "ss4o_metrics-otel-%{yyyy.MM.dd}"
        index_type: custom
        aws:
            region: "region"
            

OpenTelemetry Configuration du pipeline de traces :

version: 2
otel-trace-pipeline:
  source:
    otel_trace_source:
        path: /otel-traces-pipeline/v1/traces
  sink:
    - opensearch:
        hosts: ["https://search-mydomain.region.es.amazonaws.com"]
        index: "ss4o_metrics-otel-%{yyyy.MM.dd}"
        index_type: custom
        aws:
            region: "region"
            

Vous pouvez utiliser un plan préconfiguré pour créer ce pipeline. Pour de plus amples informations, veuillez consulter Travailler avec des plans.

Connectivité entre comptes

OpenSearch Les pipelines d'ingestion avec OpenTelemetry des sources ont une capacité d'ingestion entre comptes. Amazon OpenSearch Ingestion vous permet de partager des pipelines entre Comptes AWS un cloud privé virtuel (VPC) et un point de terminaison de pipeline dans un VPC distinct. Pour de plus amples informations, veuillez consulter Configuration des pipelines OpenSearch d'ingestion pour l'ingestion entre comptes.

Limitations

Le pipeline OpenSearch d'ingestion ne peut recevoir aucune demande supérieure à 20 Mo. Cette valeur est configurée par l'utilisateur dans l'max_request_lengthoption. La valeur par défaut de cette option est de 10 Mo.

CloudWatch Alarmes recommandées pour les OpenTelemetry sources

Les CloudWatch mesures suivantes sont recommandées pour surveiller les performances de votre pipeline d'ingestion. Ces indicateurs peuvent vous aider à identifier la quantité de données traitées à partir des exportations, le nombre d'événements traités à partir des flux, les erreurs lors du traitement des exportations et des événements des flux, ainsi que le nombre de documents écrits vers la destination. Vous pouvez configurer des CloudWatch alarmes pour effectuer une action lorsque l'une de ces mesures dépasse une valeur spécifiée pendant une durée spécifiée.

Les CloudWatch métriques de la source OTLP sont formatées comme suit. {pipeline-name}.otlp.{logs | traces | metrics}.{metric-name} Par exemple, otel-pipeline.otlp.metrics.requestTimeouts.count.

Dans le cas de l'utilisation d'une OpenTelemetry source individuelle, les métriques seront formatées comme {pipeline-name}.{source-name}.{metric-name} suit. Par exemple, trace-pipeline.otel_trace_source.requestTimeouts.count.

OpenTelemetry Les trois types de données auront les mêmes métriques, mais par souci de concision, celles-ci ne seront répertoriées dans le tableau ci-dessous que pour les données de type journal source OTLP.