Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Datenqualitätsergebnisse in Datenkatalogtabellen schreiben

Sie können die Evaluierungsläufe von AWS Glue Data Quality so konfigurieren, dass die Ergebnisse automatisch in die Apache Iceberg-Tabellen im AWS Glue Data Catalog geschrieben werden. Nachdem Sie die Ergebnisausgabe aktiviert haben, können Sie Ihre Datenqualitätsergebnisse direkt damit abfragen, Dashboards mit Visualisierungstools erstellen und einen zentralen Verlauf der Datenqualitätsergebnisse in Ihrem gesamten Konto verwalten.

Sie können die folgenden Arten von Datenqualitätsergebnissen in Datenkatalogtabellen schreiben:

Voraussetzungen

Um Datenqualitätsergebnisse in Datenkatalogtabellen zu schreiben, muss die IAM-Rolle, die Sie für den Evaluierungslauf verwenden, über die folgenden Berechtigungen verfügen:

Der Testlauf verwendet die von Ihnen angegebene IAM-Rolle, um in die Ergebnistabellen zu schreiben. Dies ist dieselbe Rolle, die Zugriff auf die Quelldatentabelle hat.

Konfiguration der Ergebnisausgabe

Sie konfigurieren die Ausgabe von Ergebnissen zur Datenqualität mithilfe des --additional-run-options StartDataQualityRulesetEvaluationRun API-Parameters oder des additional_options Parameters in AWS Glue-ETL-Aufträgen. Standardmäßig schreibt AWS Glue Data Quality keine Ergebnisse in Datenkatalogtabellen. Sie müssen jeden Ergebnistyp, den Sie schreiben möchten, explizit aktivieren.

Jeder Ergebnistyp hat seinen eigenen Konfigurationsblock mit einer gemeinsamen CatalogTableConfig Struktur. Wenn Sie keine angebenCatalogTableConfig, leitet AWS Glue Data Quality automatisch Standardwerte ab, einschließlich des Tabellennamens und des Amazon S3-Pfads.

Die CatalogTableConfig Struktur enthält die folgenden Felder:

Beispiel: Konfigurieren Sie Regelergebnisse und Profilerstellungsergebnisse

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "DataQualityRuleResults": {
      "WriteDataQualityRuleResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "rule_results"
      }
    },
    "ProfilingResults": {
      "WriteProfilingResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "profiles"
      }
    }
  }'

Beispiel: Ergebnisse auf Zeilenebene konfigurieren

Für Ergebnisse auf Zeilenebene können Sie auch den Typ der einzuschließenden Datensätze und eine maximale Anzahl von Zeilen angeben, die geschrieben werden sollen.

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "RowLevelResults": {
      "MaxRowsToWrite": 5000,
      "ResultType": "FAILED_ONLY",
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "row_level_results"
      }
    }
  }'

Der Parameter ResultType akzeptiert die folgenden Werte:

Beispiel — ETL-Jobs in AWS Glue konfigurieren

In AWS Glue-ETL-Jobs konfigurieren Sie die Ergebnisausgabe mithilfe des additional_options Parameters mit Schlüsseln in Punktnotation:

result = EvaluateDataQuality.process_rows(
    frame=dynamic_frame,
    ruleset=ruleset,
    publishing_options={
        "dataQualityEvaluationContext": "my_context",
        "enableDataQualityResultsPublishing": True
    },
    additional_options={
        "observations.scope": "ALL",
        "dataQualityResultsPublishing.strategy": "BEST_EFFORT",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.writeProfilingResultsEnabled": "true",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.databaseName": "my_db",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.tableName": "profiling_results",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.s3Location": "s3://amzn-s3-demo-bucket/profiling/",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.catalogId": "123456789012"
    }
)

Beispiel — Beobachtungsergebnisse konfigurieren

Sie können Beobachtungsergebnisse auf die gleiche Weise wie andere Ergebnistypen konfigurieren. Für Beobachtungsergebnisse muss die Anomalieerkennung aktiviert sein (ObservationScope: ALL):

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "ObservationScope": "ALL",
    "ObservationResults": {
      "WriteObservationResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "observation_results"
      }
    }
  }'

Tabellenschemas

AWS Glue Data Quality schreibt jeden Ergebnistyp in eine separate Iceberg-Tabelle. Die Regelergebnisse, die Ergebnisse der Profilerstellung (einschließlich der separaten Tabelle mit den Verteilungsergebnissen) und die Tabellen mit den Beobachtungsergebnissen sind durchcatalog_id, und partitioniert database_nametable_name, um effiziente Abfragen day(stored_on) zu ermöglichen. Bei zeitbasierten Abfragen können Sie stored_on direkt nach Daten filtern, und Iceberg führt die Partitionsbereinigung automatisch durch.

Tabelle mit den Ergebnissen der Regel

In der Tabelle mit den Regelergebnissen wird das Ergebnis „Bestanden“ oder „Nicht bestanden“ für jede Regel gespeichert, die während eines Datenqualitätslaufs bewertet wurde.

Tabelle mit Ergebnissen der Profilerstellung

In der folgenden Tabelle werden die Spalten in der Tabelle mit den Ergebnissen der Profilerstellung beschrieben. In dieser Tabelle werden skalare Statistiken gespeichert, die von Analysatoren und Regeln (wie MeanStandardDeviation, und) erfasst wurden. Completeness AWS Glue Data Quality speichert die Verteilungsstatistiken in einer separaten Tabelle mit den Verteilungsergebnissen.

Tabelle mit den Ergebnissen der Verteilung

In der folgenden Tabelle werden die Spalten in der Tabelle mit den Verteilungsergebnissen beschrieben. Die Verteilungsergebnisse werden getrennt von den Statistiken zur skalaren Profilerstellung gespeichert, und zwar mit einer Zeile pro Abschnitt oder Kategorie. Sie können diese Tabelle innerhalb des ProfilingResults.DistributionResults Blocks konfigurieren.

Row-level Tabelle mit Ergebnissen

In der folgenden Tabelle werden die Spalten in der Ergebnistabelle auf Zeilenebene beschrieben. Sie können diese Tabelle verwenden, um die spezifischen Datensätze zu identifizieren, die Ihre Datenqualitätsregeln nicht erfüllt haben.

Tabelle mit den Beobachtungsergebnissen

In der Tabelle mit den Beobachtungsergebnissen werden Vorhersagen zur Erkennung von Anomalien für jede Statistik bei jedem Bewertungslauf gespeichert. Die Tabelle enthält alle Prognoseergebnisse: Anomalien, Normalwerte und übersprungene Vorhersagen. Auf diese Weise können Sie kontinuierliche Trenddiagramme mit Prognosebändern rendern.

Ergebnisse abfragen mit

Nach Abschluss der Bewertung der Datenqualität können Sie die Ergebnistabellen direkt mit abfragen. Die folgenden Beispiele veranschaulichen gängige Abfragemuster.

Beispiel: Finden Sie fehlgeschlagene Regeln für einen bestimmten Lauf

SELECT rule_name, rule_description, evaluation_message, evaluated_metrics
FROM quality_results.rule_results
WHERE ruleset_evaluation_run_id = 'dqr-12345678'
  AND rule_result = 'FAIL'
ORDER BY rule_name;

Beispiel: Profilstatistiken im Zeitverlauf anzeigen

SELECT stored_on, statistics_value
FROM quality_results.profiles
WHERE database_name = 'my_database'
  AND table_name = 'my_table'
  AND statistic_name = 'Mean'
  AND columns_referenced = ARRAY['salary']
ORDER BY stored_on;

Beispiel — Identifizieren Sie Zeilen, die eine bestimmte Regel nicht erfüllt haben

SELECT *
FROM quality_results.row_level_results
WHERE data_quality_evaluation_result = 'Failed'
  AND contains(data_quality_rules_fail, 'IsComplete "email"');

Beispiel — Zeigen Sie ein numerisches Histogramm an

SELECT bin_index, bin_lower_bound, bin_upper_bound, bin_count
FROM quality_results.distributions
WHERE column_name = 'salary'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_index;

Beispiel — Eine kategoriale Wertverteilung anzeigen

SELECT bin_label, bin_count
FROM quality_results.distributions
WHERE column_name = 'department'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_count DESC;

Beispiel — Verfolgen Sie die Häufigkeit von Kategorien im Zeitverlauf

SELECT started_on, bin_count
FROM quality_results.distributions
WHERE column_name = 'status' AND bin_label = 'active'
ORDER BY started_on;

Beispiel: Lassen Sie sich Trends bei der Erkennung von Anomalien anhand von Prognosebändern anzeigen

SELECT o.recorded_on, 
       p.statistics_value AS actual_value,
       o.expected_value, 
       o.lower_bound, 
       o.upper_bound,
       o.prediction_outcome
FROM quality_results.profiles p
JOIN quality_results.observation_results o
  ON p.statistic_id = o.statistic_id
  AND p.ruleset_evaluation_run_id = o.ruleset_evaluation_run_id
WHERE p.database_name = 'my_database'
  AND p.table_name = 'my_table'
  AND p.statistic_name = 'RowCount'
  AND p.stored_on >= DATE '2025-03-01'
ORDER BY p.stored_on;

Beispiel — Fragt den neuesten Beobachtungsstatus nach Anmerkungen ab

Da in der Tabelle mit den Beobachtungsergebnissen ein Modell verwendet wird, das nur zum Anhängen dient, werden durch Ausschlussanmerkungen neue Zeilen hinzugefügt. Verwenden Sie eine Deduplizierungsabfrage, um den neuesten Status für jede Beobachtung abzurufen:

SELECT statistic_id, statistic_name, prediction_outcome, 
       expected_value, lower_bound, upper_bound, training_input, stored_on
FROM (
  SELECT *, ROW_NUMBER() OVER (
    PARTITION BY statistic_id, ruleset_evaluation_run_id 
    ORDER BY stored_on DESC
  ) AS rn
  FROM quality_results.observation_results
  WHERE database_name = 'my_database'
    AND table_name = 'my_table'
)
WHERE rn = 1
ORDER BY stored_on;

Überlegungen

Beachten Sie beim Schreiben von Datenqualitätsergebnissen in Datenkatalogtabellen die folgenden Überlegungen: