Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Scrittura dei risultati della qualità dei dati nelle tabelle del Data Catalog

È possibile configurare le esecuzioni di valutazione di AWS Glue Data Quality per scrivere automaticamente i risultati nelle tabelle Apache Iceberg nel Glue Data Catalog. AWS Dopo aver abilitato l'output dei risultati, puoi interrogare direttamente i risultati sulla qualità dei dati utilizzando, creare dashboard con strumenti di visualizzazione e mantenere una cronologia centralizzata dei risultati della qualità dei dati in tutto il tuo account.

Puoi scrivere i seguenti tipi di risultati sulla qualità dei dati nelle tabelle di Data Catalog:

Prerequisiti

Per scrivere i risultati della qualità dei dati nelle tabelle del Data Catalog, il ruolo IAM utilizzato per l'esecuzione della valutazione deve disporre delle seguenti autorizzazioni:

L'esecuzione della valutazione utilizza il ruolo IAM specificato per scrivere nelle tabelle dei risultati. Questo è lo stesso ruolo che ha accesso alla tabella dei dati di origine.

Configurazione dell'output dei risultati

È possibile configurare l'output dei risultati di qualità dei dati utilizzando il --additional-run-options parametro dell'StartDataQualityRulesetEvaluationRunAPI o il additional_options parametro nei job AWS Glue ETL. Per impostazione predefinita, AWS Glue Data Quality non scrive i risultati nelle tabelle del Data Catalog. È necessario abilitare esplicitamente ogni tipo di risultato che si desidera scrivere.

Ogni tipo di risultato ha il proprio blocco di configurazione con una CatalogTableConfig struttura condivisa. Se non fornisci un valoreCatalogTableConfig, AWS Glue Data Quality ricava automaticamente i valori predefiniti, inclusi il nome della tabella e il percorso Amazon S3.

La CatalogTableConfig struttura contiene i seguenti campi:

Esempio: configurare i risultati delle regole e i risultati della profilazione

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "DataQualityRuleResults": {
      "WriteDataQualityRuleResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "rule_results"
      }
    },
    "ProfilingResults": {
      "WriteProfilingResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "profiles"
      }
    }
  }'

Esempio: configurazione dei risultati a livello di riga

Per i risultati a livello di riga, puoi anche specificare il tipo di record da includere e il numero massimo di righe da scrivere.

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "RowLevelResults": {
      "MaxRowsToWrite": 5000,
      "ResultType": "FAILED_ONLY",
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "row_level_results"
      }
    }
  }'

Il parametro ResultType accetta i seguenti valori:

Esempio: configurare in AWS Glue i job ETL

Nei job AWS Glue ETL, si configura l'output dei risultati utilizzando il additional_options parametro con tasti di notazione a punti:

result = EvaluateDataQuality.process_rows(
    frame=dynamic_frame,
    ruleset=ruleset,
    publishing_options={
        "dataQualityEvaluationContext": "my_context",
        "enableDataQualityResultsPublishing": True
    },
    additional_options={
        "observations.scope": "ALL",
        "dataQualityResultsPublishing.strategy": "BEST_EFFORT",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.writeProfilingResultsEnabled": "true",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.databaseName": "my_db",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.tableName": "profiling_results",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.s3Location": "s3://amzn-s3-demo-bucket/profiling/",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.catalogId": "123456789012"
    }
)

Esempio: configurazione dei risultati delle osservazioni

È possibile configurare i risultati dell'osservazione allo stesso modo degli altri tipi di risultati. I risultati dell'osservazione richiedono l'attivazione del rilevamento delle anomalie (ObservationScope: ALL):

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "ObservationScope": "ALL",
    "ObservationResults": {
      "WriteObservationResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "observation_results"
      }
    }
  }'

Schemi delle tabelle

AWS Glue Data Quality scrive ogni tipo di risultato in una tabella Iceberg separata. I risultati delle regole, i risultati della profilazione (inclusa la tabella dei risultati di distribuzione separata) e le tabelle dei risultati delle osservazioni sono suddivisi percatalog_id, database_nametable_name, e day(stored_on) per consentire un'interrogazione efficiente. Puoi filtrare stored_on direttamente per le query basate sul tempo e Iceberg gestisce automaticamente l'eliminazione delle partizioni.

Tabella dei risultati delle regole

La tabella dei risultati delle regole memorizza il risultato positivo o negativo per ogni regola valutata durante un'esecuzione della qualità dei dati.

Tabella dei risultati di profilazione

La tabella seguente descrive le colonne della tabella dei risultati della profilazione. Questa tabella memorizza le statistiche scalari raccolte da analizzatori e regole (comeMean, StandardDeviation e). Completeness AWS Glue Data Quality memorizza le statistiche di distribuzione in una tabella separata dei risultati di distribuzione.

Tabella dei risultati della distribuzione

La tabella seguente descrive le colonne della tabella dei risultati della distribuzione. I risultati della distribuzione vengono archiviati separatamente dalle statistiche di profilazione scalare, con una riga per contenitore o categoria. È possibile configurare questa tabella all'interno del ProfilingResults.DistributionResults blocco.

Row-level tabella dei risultati

La tabella seguente descrive le colonne della tabella dei risultati a livello di riga. È possibile utilizzare questa tabella per identificare i record specifici che non rispettano le regole di qualità dei dati.

Tabella dei risultati dell'osservazione

La tabella dei risultati dell'osservazione memorizza le previsioni di rilevamento delle anomalie per ogni statistica in ogni ciclo di valutazione. La tabella include tutti i risultati delle previsioni: anomalie, valori normali e previsioni saltate. Ciò consente di visualizzare grafici di tendenza continui con bande di previsione.

Interrogazione dei risultati con

Una volta completata la valutazione della qualità dei dati, è possibile interrogare direttamente le tabelle dei risultati utilizzando. Gli esempi seguenti illustrano i modelli di interrogazione più comuni.

Esempio: trova regole non riuscite per un'esecuzione specifica

SELECT rule_name, rule_description, evaluation_message, evaluated_metrics
FROM quality_results.rule_results
WHERE ruleset_evaluation_run_id = 'dqr-12345678'
  AND rule_result = 'FAIL'
ORDER BY rule_name;

Esempio: visualizza le statistiche di profilazione nel tempo

SELECT stored_on, statistics_value
FROM quality_results.profiles
WHERE database_name = 'my_database'
  AND table_name = 'my_table'
  AND statistic_name = 'Mean'
  AND columns_referenced = ARRAY['salary']
ORDER BY stored_on;

Esempio: identifica le righe che non soddisfano una regola specifica

SELECT *
FROM quality_results.row_level_results
WHERE data_quality_evaluation_result = 'Failed'
  AND contains(data_quality_rules_fail, 'IsComplete "email"');

Esempio: visualizzazione di un istogramma numerico

SELECT bin_index, bin_lower_bound, bin_upper_bound, bin_count
FROM quality_results.distributions
WHERE column_name = 'salary'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_index;

Esempio: visualizzazione di una distribuzione categorica dei valori

SELECT bin_label, bin_count
FROM quality_results.distributions
WHERE column_name = 'department'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_count DESC;

Esempio: traccia la frequenza delle categorie nel tempo

SELECT started_on, bin_count
FROM quality_results.distributions
WHERE column_name = 'status' AND bin_label = 'active'
ORDER BY started_on;

Esempio: visualizza le tendenze di rilevamento delle anomalie con bande di previsione

SELECT o.recorded_on, 
       p.statistics_value AS actual_value,
       o.expected_value, 
       o.lower_bound, 
       o.upper_bound,
       o.prediction_outcome
FROM quality_results.profiles p
JOIN quality_results.observation_results o
  ON p.statistic_id = o.statistic_id
  AND p.ruleset_evaluation_run_id = o.ruleset_evaluation_run_id
WHERE p.database_name = 'my_database'
  AND p.table_name = 'my_table'
  AND p.statistic_name = 'RowCount'
  AND p.stored_on >= DATE '2025-03-01'
ORDER BY p.stored_on;

Esempio: interroga lo stato di osservazione più recente dopo le annotazioni

Poiché la tabella dei risultati dell'osservazione utilizza un modello di sola aggiunta, le annotazioni di esclusione aggiungono nuove righe. Utilizza una query di deduplicazione per ottenere lo stato più recente di ogni osservazione:

SELECT statistic_id, statistic_name, prediction_outcome, 
       expected_value, lower_bound, upper_bound, training_input, stored_on
FROM (
  SELECT *, ROW_NUMBER() OVER (
    PARTITION BY statistic_id, ruleset_evaluation_run_id 
    ORDER BY stored_on DESC
  ) AS rn
  FROM quality_results.observation_results
  WHERE database_name = 'my_database'
    AND table_name = 'my_table'
)
WHERE rn = 1
ORDER BY stored_on;

Considerazioni

Tieni presente le seguenti considerazioni quando scrivi i risultati della qualità dei dati nelle tabelle del Data Catalog: