Escritura de resultados de calidad de los datos en las tablas del Catálogo de datos

Puede configurar las ejecuciones de evaluación de Calidad de datos de AWS Glue para que escriban automáticamente los resultados en las tablas de Apache Iceberg del Catálogo de datos de AWS Glue. Una vez que active la salida de resultados, podrá consultar directamente los resultados de calidad de datos, crear paneles con herramientas de visualización y mantener un historial centralizado de los resultados de calidad de datos en toda su cuenta.

Puede escribir los siguientes tipos de resultados de calidad de datos en las tablas del Catálogo de datos:

Requisitos previos

Para escribir los resultados de la calidad de datos en las tablas del Catálogo de datos, el rol de IAM que utilice para la ejecución de la evaluación debe tener los siguientes permisos:

La ejecución de la evaluación utiliza el rol de IAM que especifique para escribir en las tablas de resultados. Este es el mismo rol que tiene acceso a la tabla de datos de origen.

Configuración de la salida de los resultados

La salida de los resultados de la calidad de datos se configura mediante el parámetro --additional-run-options de la API StartDataQualityRulesetEvaluationRun o el parámetro additional_options de los trabajos de ETL de AWS Glue. De forma predeterminada, Calidad de datos de AWS Glue no escribe los resultados en las tablas del Catálogo de datos. Debe activar explícitamente cada tipo de resultado que desee escribir.

Cada tipo de resultado tiene su propio bloque de configuración con una estructura CatalogTableConfig compartida. Si no proporciona un elemento CatalogTableConfig, Calidad de datos de AWS Glue obtiene automáticamente los valores predeterminados, incluidos el nombre de la tabla y la ruta de Amazon S3.

La estructura CatalogTableConfig contiene los siguientes campos:

Ejemplo: configuración de los resultados de las reglas y los resultados de la creación de perfiles

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "DataQualityRuleResults": {
      "WriteDataQualityRuleResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "rule_results"
      }
    },
    "ProfilingResults": {
      "WriteProfilingResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "profiles"
      }
    }
  }'

Ejemplo: configuración de los resultados a nivel de fila

Para obtener resultados a nivel de fila, también puede especificar el tipo de registros que se van a incluir y el número máximo de filas que se van a escribir.

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "RowLevelResults": {
      "MaxRowsToWrite": 5000,
      "ResultType": "FAILED_ONLY",
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "row_level_results"
      }
    }
  }'

El parámetro ResultType acepta los siguientes valores:

Ejemplo: configuración de trabajos de ETL de AWS Glue

En los trabajos de ETL de AWS Glue, se configura la salida de resultados mediante el parámetro additional_options con claves de notación de puntos:

result = EvaluateDataQuality.process_rows(
    frame=dynamic_frame,
    ruleset=ruleset,
    publishing_options={
        "dataQualityEvaluationContext": "my_context",
        "enableDataQualityResultsPublishing": True
    },
    additional_options={
        "observations.scope": "ALL",
        "dataQualityResultsPublishing.strategy": "BEST_EFFORT",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.writeProfilingResultsEnabled": "true",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.databaseName": "my_db",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.tableName": "profiling_results",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.s3Location": "s3://amzn-s3-demo-bucket/profiling/",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.catalogId": "123456789012"
    }
)

Ejemplo: configuración de los resultados de la observación

Puede configurar los resultados de la observación de la misma manera que otros tipos de resultados. Los resultados de la observación requieren que la detección de anomalías esté activada (ObservationScope: ALL):

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "ObservationScope": "ALL",
    "ObservationResults": {
      "WriteObservationResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "observation_results"
      }
    }
  }'

Esquemas de tabla

Calidad de datos de AWS Glue escribe cada tipo de resultado en una tabla de Iceberg independiente. Los resultados de las reglas, los resultados de la creación de perfiles (incluida la tabla de resultados de distribución independiente) y las tablas de resultados de las observaciones se dividen según catalog_id, database_name, table_name y day(stored_on) para permitir consultas eficientes. Puede filtrar en stored_on directamente para las consultas basadas en el tiempo e Iceberg se encarga de reducir las particiones automáticamente.

Tabla de resultados de las reglas

La tabla de resultados de las reglas almacena el resultado de aprobación o rechazo de cada regla evaluada durante una ejecución de calidad de datos.

Tabla de resultados de la creación de perfiles

En la siguiente tabla se describen las columnas de la tabla de resultados de la creación de perfiles. Esta tabla almacena las estadísticas escalares recopiladas por los analizadores y las reglas (como Mean, StandardDeviation y Completeness). AWS Calidad de datos de Glue almacena las estadísticas de distribución en una tabla de resultados de distribución independiente.

Tabla de resultados de la distribución

En la siguiente tabla se describen las columnas de la tabla de resultados de la distribución. Los resultados de la distribución se almacenan por separado de las estadísticas de creación de perfiles escalares, con una fila por intervalo o categoría. Puede configurar esta tabla dentro del bloque ProfilingResults.DistributionResults.

Tabla de resultados a nivel de fila

En la siguiente tabla se describen las columnas de la tabla de resultados a nivel de fila. Puede usar esta tabla para identificar los registros específicos que no cumplieron con las reglas de calidad de datos.

Tabla de resultados de observación

La tabla de resultados de observación almacena las predicciones de detección de anomalías para cada estadística en cada ejecución de evaluación. La tabla incluye todos los resultados de las predicciones: anomalías, valores normales y predicciones omitidas. Esto le permite renderizar gráficos de tendencias continuos con bandas de predicción.

Consulta de los resultados con

Una vez finalizada la evaluación de la calidad de los datos, puede consultar las tablas de resultados directamente. En los siguientes ejemplos se muestran patrones de consulta frecuentes.

Ejemplo: búsqueda de reglas con errores para una ejecución específica

SELECT rule_name, rule_description, evaluation_message, evaluated_metrics
FROM quality_results.rule_results
WHERE ruleset_evaluation_run_id = 'dqr-12345678'
  AND rule_result = 'FAIL'
ORDER BY rule_name;

Ejemplo: visualización de las estadísticas de creación de perfiles a lo largo del tiempo

SELECT stored_on, statistics_value
FROM quality_results.profiles
WHERE database_name = 'my_database'
  AND table_name = 'my_table'
  AND statistic_name = 'Mean'
  AND columns_referenced = ARRAY['salary']
ORDER BY stored_on;

Ejemplo: identificación de las filas que no cumplieron una regla específica

SELECT *
FROM quality_results.row_level_results
WHERE data_quality_evaluation_result = 'Failed'
  AND contains(data_quality_rules_fail, 'IsComplete "email"');

Ejemplo: visualización de un histograma numérico

SELECT bin_index, bin_lower_bound, bin_upper_bound, bin_count
FROM quality_results.distributions
WHERE column_name = 'salary'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_index;

Ejemplo: visualización de una distribución de valores categóricos

SELECT bin_label, bin_count
FROM quality_results.distributions
WHERE column_name = 'department'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_count DESC;

Ejemplo: seguimiento de la frecuencia de las categorías a lo largo del tiempo

SELECT started_on, bin_count
FROM quality_results.distributions
WHERE column_name = 'status' AND bin_label = 'active'
ORDER BY started_on;

Ejemplo: visualización de las tendencias de detección de anomalías con bandas de predicción

SELECT o.recorded_on, 
       p.statistics_value AS actual_value,
       o.expected_value, 
       o.lower_bound, 
       o.upper_bound,
       o.prediction_outcome
FROM quality_results.profiles p
JOIN quality_results.observation_results o
  ON p.statistic_id = o.statistic_id
  AND p.ruleset_evaluation_run_id = o.ruleset_evaluation_run_id
WHERE p.database_name = 'my_database'
  AND p.table_name = 'my_table'
  AND p.statistic_name = 'RowCount'
  AND p.stored_on >= DATE '2025-03-01'
ORDER BY p.stored_on;

Ejemplo: consulta del estado de observación más reciente después de las anotaciones

Como la tabla de resultados de la observación utiliza un modelo de solo anexión, las anotaciones de exclusión agregan nuevas filas. Utilice una consulta de deduplicación para obtener el estado más reciente de cada observación:

SELECT statistic_id, statistic_name, prediction_outcome, 
       expected_value, lower_bound, upper_bound, training_input, stored_on
FROM (
  SELECT *, ROW_NUMBER() OVER (
    PARTITION BY statistic_id, ruleset_evaluation_run_id 
    ORDER BY stored_on DESC
  ) AS rn
  FROM quality_results.observation_results
  WHERE database_name = 'my_database'
    AND table_name = 'my_table'
)
WHERE rn = 1
ORDER BY stored_on;

Consideraciones

Tenga en cuenta las siguientes consideraciones al escribir resultados de calidad de datos en las tablas del Catálogo de datos: