Tutorial: incorporar datos a un dominio mediante Amazon OpenSearch Ingestion

En este tutorial se muestra cómo utilizar Amazon OpenSearch Ingestion para configurar una canalización sencilla e incorporar datos en un dominio de Amazon OpenSearch Service. Una canalización es un recurso que OpenSearch Ingestion aprovisiona y administra. Puede usar una canalización para filtrar, enriquecer, transformar, normalizar y agregar datos para el análisis y la visualización posteriores en OpenSearch Service.

Este tutorial recorre los pasos básicos para poner en marcha una canalización de forma rápida. Para obtener instrucciones más completas, consulte Creación de canalizaciones.

En este tutorial, deberá completar los siguientes pasos:

En este tutorial creará los recursos siguientes:

Permisos necesarios

Para completar este tutorial, su usuario o rol debe tener una política basada en la identidad adjunta con los siguientes permisos mínimos. Estos permisos le permiten crear un rol de canalización y adjuntar una política (iam:Create* y iam:Attach*), crear o modificar un dominio (es:*) y trabajar con canalizaciones (osis:*).

JSON

{
   "Version":"2012-10-17",		 	 	 
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "iam:Attach*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::111122223333:role/OpenSearchIngestion-PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:CreateRole",
            "iam:AttachRolePolicy",
            "iam:PassRole"
         ]
      }
   ]
}

Paso 1: crear el rol de canalización

En primer lugar, cree un rol que asuma la canalización para acceder al receptor de dominio de OpenSearch Service. Incluirá esta función en la configuración de la canalización más adelante en este tutorial.

Recuerde el nombre de recurso de Amazon (ARN) del rol (por ejemplo, ). , arn:aws:iam::your-account-id:role/PipelineRole). Lo necesitará cuando cree la canalización.

Paso 2: crear un dominio

Primero, cree un dominio denominado ingestion-domain al que desee incorporar datos.

Vaya a la consola de Amazon OpenSearch Service en https://console.aws.amazon.com/aos/home y cree un dominio que cumpla los siguientes requisitos:

El dominio debe tener una política de acceso que otorgue permiso al rol de IAM OpenSearchIngestion-PipelineRole, que OpenSearch Service creará para usted en el siguiente paso. La canalización asumirá este rol para enviar datos al receptor de dominios.

Asegúrese de que el dominio tenga la siguiente política de acceso a nivel de dominio, que otorga al rol de canalización acceso al dominio. Sustituya la Región y el ID de cuenta por los suyos:

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::111122223333:role/OpenSearchIngestion-PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:111122223333:domain/ingestion-domain/*"
    }
  ]
}

Para obtener más información sobre cómo crear políticas de acceso a nivel de dominio, consulte Políticas basadas en recursos.

Si ya ha creado un dominio, modifique su política de acceso actual para proporcionar los permisos anteriores a OpenSearchIngestion-PipelineRole.

Paso 3: crear una canalización

Ahora que tiene un dominio, puede crear una canalización.

Paso 4: incorporar algunos datos de muestra

Cuando el estado de la canalización sea Active, puede empezar a incorporarle datos. Debe firmar todas las solicitudes HTTP que se envíen a la canalización mediante la versión 4 de Signature. Use una herramienta HTTP como Postman o awscurl para enviar algunos datos a la canalización. Al igual que ocurre con la indexación de datos directamente en un dominio, la incorporación de datos a una canalización siempre requiere un rol de IAM o una clave de acceso y una clave secreta de IAM.

Primero, obtenga la URL de incorporación en la página de Configuración de canalización:

A continuación, incorpore algunos datos de muestra. La siguiente solicitud utiliza awscurl para enviar un único archivo de registro a la canalización:

awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://pipeline-endpoint.us-east-1.osis.amazonaws.com/logs

Debería ver una respuesta 200 OK. Si recibe un error de autenticación, es posible que se deba a que está incorporando datos de una cuenta distinta a la de la canalización. Consulte Solución de problemas de permisos.

Ahora, consulte el índice application_logs para asegurarse de que la entrada de registro se haya incorporado correctamente:

awscurl --service es --region us-east-1 \
     -X GET \
     https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

Respuesta de ejemplo:

{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

Solución de problemas de permisos

Si ha seguido los pasos del tutorial y sigue viendo errores de autenticación cuando intenta incorporar datos, puede que se deba a que la función que escribe en una canalización Cuenta de AWS no es la canalización misma. En este caso, debe crear y asumir un rol que le permita específicamente incorporar datos. Para obtener instrucciones, consulte Provisión de acceso de ingesta entre cuentas.

Recursos relacionados

Este tutorial presenta un caso práctico sencillo de incorporación de un único documento a través de HTTP. En escenarios de producción, configurará las aplicaciones de cliente (como Fluent Bit, Kubernetes u OpenTelemetry Collector) para enviar datos a una o más canalizaciones. Es probable que sus canalizaciones sean más complejas que en el ejemplo sencillo de este tutorial.

Para empezar a configurar sus clientes e incorporar datos, consulte los siguientes recursos: