Registro de Amazon MSK

Puede entregar registros de agente de Apache Kafka a uno o varios de los siguientes tipos de destino: Registros de Amazon CloudWatch, Amazon S3 o Amazon Data Firehose. También puede registrar llamadas a la API de Amazon MSK con AWS CloudTrail.

Registros de agente

Los registros de agente le permiten solucionar problemas de las aplicaciones de Apache Kafka y analizar las comunicaciones con su clúster de MSK. Puede configurar su clúster nuevo o existente de MSK para que entregue registros de agente de nivel INFO a uno o más de los siguientes tipos de recursos de destino: un grupo de Registros de CloudWatch, un bucket de S3 o un flujo de entrega de Firehose. A continuación, puede usar Firehose para entregar los datos de registro de su flujo de entrega a OpenSearch Service.

Debe crear un recurso de destino antes de configurar el clúster para enviarle los registros de los agentes. Amazon MSK no crea estos recursos de destino si aún no existen. Para obtener información acerca de estos tres tipos de recursos de destino y cómo crearlos, consulte la siguiente documentación:

Permisos necesarios

Para configurar un destino para los registros de los agentes de Amazon MSK, la identidad de IAM que utilice para las acciones de Amazon MSK debe tener los permisos descritos en la política Política administrada por AWS: AmazonMSKFullAccess.

Para transmitir registros de agente a un bucket de S3, también necesita el permiso s3:PutBucketPolicy. Para obtener información acerca de las políticas de bucket de S3, consulte ¿Cómo agrego una política de bucket de S3? en la Guía del usuario de Amazon S3. Para obtener información acerca de las políticas de IAM en general, consulte Administración de accesos en la Guía del usuario de IAM.

Política de claves de KMS necesarias para usar con buckets de SSE-KMS

Si habilitó el cifrado del servidor para su bucket de S3 utilizando claves administradas por AWS KMS (SSE-KMS) con una clave administrada por el cliente, agregue lo siguiente a la política de claves para su clave de KMS para que Amazon MSK pueda escribir archivos de agente en el bucket.

{
  "Sid": "Allow Amazon MSK to use the key.",
  "Effect": "Allow",
  "Principal": {
    "Service": [
      "delivery.logs.amazonaws.com"
    ]
  },
  "Action": [
    "kms:Encrypt",
    "kms:Decrypt",
    "kms:ReEncrypt*",
    "kms:GenerateDataKey*",
    "kms:DescribeKey"
  ],
  "Resource": "*"
}

Configuración de los registros de agente desde la Consola de administración de AWS

Si va a crear un nuevo clúster, busque el encabezado Broker log delivery (Entrega de registros de agente) en la sección Monitoring (Monitoreo). Puede especificar los destinos donde desea que Amazon MSK entregue los registros de agente.

Para un clúster existente, elija el clúster de la lista de clústeres y, a continuación, elija la pestaña Propiedades. Desplácese hacia abajo hasta la sección Envío de registros y, a continuación, elija el botón Editar. Puede especificar los destinos donde desea que Amazon MSK entregue los registros de agente.

Configuración de los registros de agente desde la AWS CLI

Si utiliza los comandos create-cluster o update-monitoring, tiene la opción de especificar el parámetro logging-info y pasarlo a una estructura JSON como en el siguiente ejemplo. En este JSON, los tres tipos de destino son opcionales.

{
  "BrokerLogs": {
    "S3": {
      "Bucket": "amzn-s3-demo-bucket",
      "Prefix": "ExamplePrefix",
      "Enabled": true
    },
    "Firehose": {
      "DeliveryStream": "ExampleDeliveryStreamName",
      "Enabled": true
    },
    "CloudWatchLogs": {
      "Enabled": true,
      "LogGroup": "ExampleLogGroupName"
    }
  }
}

Configuración de los registros de agente con la API

Puede especificar la estructura loggingInfo opcional en el JSON que pasa a las operaciones CreateCluster o UpdateMonitoring.