Descubrimiento y administración de fuentes de datos - Amazon CloudWatch Logs

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Descubrimiento y administración de fuentes de datos

CloudWatch Logs descubre y clasifica automáticamente los datos de registro por fuente y tipo de datos, lo que facilita la comprensión y la administración de los registros a escala. Esta función proporciona la detección de esquemas para fuentes AWS vendidas, como Amazon VPC Flow Logs y Route 53 CloudTrail, así como herramientas de seguridad de terceros.

La consola de administración de registros proporciona una vista de alto nivel de los registros organizados por fuente y tipo de datos, en lugar de limitarse a grupos de registros. Esta organización le ayuda a:

  • Consulta los registros clasificados por AWS servicios, fuentes de terceros (como Okta o CrowdStrike) y fuentes personalizadas

  • Comprenda automáticamente el esquema y la estructura de sus datos de registro

  • Cree políticas de indexación de campos basadas en los campos de esquema descubiertos

  • Administre los registros de manera más eficiente en diferentes fuentes de datos

  • Consulte los registros por diferentes fuentes de datos

Al habilitar el registro de CloudWatch registros para AWS los servicios compatibles, CloudWatch Logs aplica automáticamente el esquema correspondiente a sus registros. Esta aplicación de esquema automático ayuda a mantener la coherencia y proporciona información inmediata sobre la estructura de los registros.

¿Qué son las fuentes de datos de CloudWatch registros?

CloudWatch Las fuentes de datos de los registros son una función que proporciona una nueva forma de organizar y clasificar los datos de los registros en función de la fuente que los genera. Si bien CloudWatch Logs suele utilizar grupos de registros para organizar los registros, Data Sources ofrece una capa adicional de organización que agrupa los registros por servicio de origen y tipo de registro.

Cómo funcionan las fuentes de datos

Las fuentes de datos proporcionan una organización de registros basada en servicios y un descubrimiento simplificado en toda su AWS infraestructura. Puede localizar fácilmente los registros de servicios específicos y filtrarlos por tipo de registro sin necesidad de conocer los nombres o estructuras individuales de los grupos de registros.

Para las fuentes de terceros y, opcionalmente, para las fuentes de registros de aplicaciones, las fuentes de datos funcionan con CloudWatch canalizaciones para clasificar los registros. Al configurar una canalización para ingerir y transformar los registros, se especifica el nombre y el tipo de la fuente de datos. CloudWatch A continuación, Logs clasifica automáticamente todos los registros que procesa la canalización. Para obtener más información, consulta CloudWatch las canalizaciones en la Guía del CloudWatch usuario de Amazon.

Las fuentes de datos clasifican los registros mediante dos identificadores clave:

  • Nombre de la fuente de datos: el AWS servicio, la fuente de terceros o la aplicación que genera los registros (por ejemplo, Route 53, Amazon VPC CloudTrail, Okta SSO o Falcon). CrowdStrike

  • Tipo de fuente de datos: el tipo específico de registro generado por ese servicio.

Un esquema define la estructura de los datos de registro, incluidos los campos que están presentes y la forma en que se organiza la información. Una sola fuente de datos puede producir varios tipos de registros con diferentes esquemas y propósitos. Por ejemplo, la fuente de AWS CloudTrail datos tiene dos tipos: eventos de administración (que rastrean las operaciones del plano de control, como la creación o eliminación de recursos) y eventos de datos (que rastrean las operaciones del plano de datos, como el acceso a objetos desde S3). Cada tipo tiene un esquema diferente porque capturan distintos tipos de información.

Cómo comenzar

CloudWatch Los registros clasifican los registros en fuentes de datos según su origen. El método depende del tipo de registros con los que trabajes:

Servicio de AWS registros

Los registros compatibles Servicios de AWS se agrupan automáticamente por fuente de datos sin necesidad de configuración alguna. CloudWatch Logs reconoce estos registros y aplica el nombre y el tipo de fuente de datos adecuados en función del servicio de origen.

Registros de terceros

Los registros de terceros requieren canalizaciones para la categorización de las fuentes de datos. Cuando configura una canalización para ingerir registros de fuentes de terceros compatibles, como Microsoft Office 365, Okta o Palo Alto Networks CrowdStrike, especifica el nombre y el tipo de la fuente de datos en la configuración de la canalización. CloudWatch Logs clasifica automáticamente todos los registros que procesa la canalización utilizando esos identificadores.

Opcionalmente, Pipelines puede transformar los registros de terceros al formato Open Cybersecurity Schema Framework (OCSF) para un análisis estandarizado de los eventos de seguridad. Cuando la transformación de OCSF está habilitada, el nombre y el tipo de la fuente de datos se determinan automáticamente en función del mapeo del esquema de OCSF. Sin la transformación OCSF, debe especificar el nombre y el tipo de la fuente de datos en la configuración de la canalización.

Registros de aplicaciones

En el caso de los registros de aplicaciones personalizados, puede clasificarlos por fuente de datos mediante uno de estos métodos:

  • Etiquetas de grupos de registros: añada etiquetas a sus grupos de registros utilizando las claves cw:datasource:name y especificando el nombre y cw:datasource:type el tipo de la fuente de datos, respectivamente, para todos los registros ingeridos en el grupo de registros. Los valores de las etiquetas pueden tener un máximo de 64 caracteres y solo pueden contener letras minúsculas, números y caracteres de subrayado. Deben empezar por una letra o un número y no pueden contener guiones dobles (__).

  • Configuración de canalización: configure la información de la fuente de datos mediante canalizaciones de procesamiento de registros al ingerir los registros de las aplicaciones.

nota

Los nombres de las fuentes de datos no pueden empezar por «aws» o «amazon» para evitar conflictos con los registros de AWS servicio.

Campos del sistema

CloudWatch Los registros agregan automáticamente tres campos del sistema a los registros clasificados por fuente de datos. Estos campos sirven como facetas predeterminadas:

  • @data_source_name- Contiene el nombre de la fuente de datos o «Desconocido» si no se ha determinado

  • @data_source_type- Contiene el tipo de fuente de datos o «Desconocido» si no se ha determinado

  • @data_format- Indica el formato de los datos de registro

Si no se puede determinar el nombre o el tipo de la fuente de datos, estos campos se configuran como «Desconocido». Las fuentes de datos con valores «desconocidos» siguen visibles en las facetas y en la tabla de fuentes de datos situada en la sección «Administración de registros» de la consola, lo que permite identificar los registros no clasificados y del grupo de registros del que provienen.

El @data_format campo puede contener uno de los siguientes valores:

  • Default- Registros ingeridos sin modificación.

  • Custom- Los registros se procesan a través de procesadores de canalización o los registros se ingieren en un grupo de registros con etiquetas de fuentes name/type de datos.

  • OCSF-<version>- Los registros se procesan con procesadores OCSF (Open Cybersecurity Schema Framework) en canalizaciones.

  • AWS-OTEL-LOG-V<version>- OpenTelemetry registros ingeridos a través del punto final OTLP CloudWatch .

  • AWS-OTEL-TRACE-V<version>- los OpenTelemetry rastros ingeridos a través del punto final de la OTLP CloudWatch .

Estos campos del sistema le permiten filtrar y consultar los registros en función de su origen y formato, lo que facilita el trabajo con registros de diferentes orígenes y procesos de procesamiento.

Acceso a orígenes de datos

Consola

En la consola de CloudWatch registros, se utiliza la pestaña Administración de registros para acceder a las fuentes de datos. CloudWatch Logs consolida automáticamente los datos de registro por fuentes y tipos de datos, y descubre continuamente los datos recién ingresados. Desde la lista de fuentes de datos, puede crear canalizaciones y definir índices y facetas de campos.

AWS CLI

Usa el siguiente comando para enumerar las distintas fuentes de datos y tipos de registros de tu cuenta:

aws logs list-aggregate-log-group-summaries --group-by DATA_SOURCE_NAME_AND_TYPE

Relación con los grupos de registros

Las fuentes de datos complementan, no sustituyen, a los grupos de registros. Los registros se siguen almacenando en grupos de registros como antes, pero ahora también se etiquetan automáticamente con la información de la fuente de datos. Esta organización dual le permite:

  • Utilice grupos de registros para obtener políticas detalladas de retención y control de acceso

  • Utilice las fuentes de datos para el descubrimiento y el análisis de registros basados en servicios

  • Consulte los registros mediante cualquiera de los dos métodos organizativos en función de sus necesidades

Las fuentes de datos facilitan el trabajo con los registros a escala, ya que proporcionan una visión centrada en el servicio de los datos de registro en toda la infraestructura. AWS