Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erste Schritte mit AWS Glue-Datenqualität für die Data Catalog

Dieser Abschnitt Erste Schritte enthält Anweisungen, die Ihnen den Einstieg in AWS Glue Data Quality in der AWS Glue-Konsole erleichtern. Sie lernen, wie Sie grundlegende Aufgaben wie das Generieren von Empfehlungen für Datenqualitätsregeln und das Auswerten eines Regelsatzes anhand Ihrer Daten ausführen.

Voraussetzungen

Bevor Sie AWS Glue Data Quality verwenden, sollten Sie sich mit der Verwendung von Data Catalog und den Crawlern in AWS Glue vertraut machen. Mit AWS Glue Data Quality können Sie die Qualität von Tabellen in einer Data Catalog-Datenbank auswerten. Sie benötigen außerdem Folgendes:

Step-by-step Beispiel

Ein schrittweises Beispiel mit Beispieldatensätzen finden Sie im Blogbeitrag zu AWS Glue Data Quality.

Generieren von Regelempfehlungen

Regelempfehlungen vereinfachen den Einstieg in die Datenqualität, ohne Code schreiben zu müssen. Mit AWS Glue Data Quality können Sie Ihre Daten analysieren, Regeln identifizieren und einen Regelsatz erstellen, den Sie in einer Datenqualitätsaufgabe auswerten können. Empfehlungsausführungen werden nach 90 Tagen automatisch gelöscht.

Empfehlungsmodi

Wenn Sie einen Empfehlungslauf starten, können Sie einen der folgenden Modi wählen:

Ressourcen und Gebühren von Athena

ADVANCEDverwendet Athena, um auf Tabellendaten für den Empfehlungslauf zuzugreifen. Wenn die glue-dataquality-sampling Athena-Arbeitsgruppe nicht existiert, erstellt AWS Glue sie in Ihrem Konto. Sie können diese Arbeitsgruppe in der Athena-Konsole ansehen. Bei einem ADVANCED Lauf fallen Gebühren für die Nutzung von Athena an.

Wählen Sie einen Empfehlungsmodus

Wählen Sie BASIC oder ADVANCED basierend auf Ihren Prioritäten:

Verfügbarkeit und Einschränkungen

Sie können es ADVANCED in den folgenden AWS Regionen verwenden:

Der folgende AWS CLI Befehl startet einen ADVANCED Empfehlungslauf:

aws glue start-data-quality-rule-recommendation-run \
  --data-source '{"DataQualityGlueTable":{"DatabaseName":"mydatabase","TableName":"mytable"}}' \
  --role "arn:aws:iam::111122223333:role/GlueDataQualityRole" \
  --recommendation-mode ADVANCED

Weitere Hinweise zur Datenverarbeitung und Speicherung finden Sie unterDatenschutz für erweiterte Datenqualitätsregeln.

Weitere Informationen zu den erforderlichen Berechtigungen für Empfehlungsrollen finden Sie unterMindestberechtigungen, um Empfehlungen für erweiterte Datenqualitätsregeln zu erhalten.

Bedeutung der empfohlenen Regeln

Überprüfen und bearbeiten Sie die generierten Regeln, bevor Sie sie in einer Bewertung der Datenqualität verwenden.

AWS Glue Data Quality generiert Regeln auf der Grundlage der Daten aus jeder Spalte der Eingabetabelle. Mithilfe der Regeln werden mögliche Grenzen identifiziert, an denen Daten gefiltert werden können, um Qualitätsanforderungen einzuhalten. Die folgende Liste generierter Regeln enthält Beispiele, die hilfreich sind, um zu verstehen, was die Regeln bedeuten und was sie bewirken können, wenn sie auf Ihre Daten angewendet werden.

Eine vollständige Liste der generierten DQDL-Regeltypen (Data Quality Definition Language) finden Sie in der DQDL-Regeltypreferenz.

Empfehlungen zu Überwachungsregeln

Wenn Empfehlungen zu Datenqualitätsregeln ausgeführt werden, werden auf der Seite Regeln hinzufügen und Datenqualität überwachen in der oberen Leiste Informationen und zusätzliche Aktionen angezeigt, die Sie ausführen können.

Wenn Regelempfehlungen ausgeführt werden, können Sie die Ausführung beenden, bevor die Empfehlungsaufgabe abgeschlossen ist. Während die Aufgabe ausgeführt wird, sehen Sie den Status In Bearbeitung sowie das Datum und die Uhrzeit, zu der die Ausführung gestartet wurde.

Wenn die Regelempfehlungen abgeschlossen sind, werden in der Regelempfehlungsleiste die Anzahl der empfohlenen Regeln, der Status der letzten Empfehlungsausführung sowie das Datum und der Zeitstempel der Fertigstellung angezeigt.

Sie können die empfohlenen Regeln hinzufügen, indem Sie Regelempfehlung einfügen auswählen. Wählen Sie ein bestimmtes Datum aus, um zuvor empfohlene Regeln anzuzeigen. Um eine neue Empfehlung auszuführen, wählen Sie Weitere Aktionen und dann Empfohlene Regeln aus.

Legen Sie Standardeinstellungen fest, indem Sie Benutzereinstellungen verwalten auswählen. Sie können den Standardpfad für Amazon S3 festlegen, um Regelsätze zu speichern oder eine Standardrolle zum Ausführen des Data Catalogs einzurichten.

Bearbeitung von empfohlenen Regelsätzen

Da AWS Glue Data Quality Regeln basierend auf vorhandenen Daten generiert, die Ihnen zur Verfügung stehen, werden in den automatisierten Vorschlägen möglicherweise einige unerwartete oder unerwünschte Regeln angezeigt. Um den größtmöglichen Nutzen aus den empfohlenen Regelsätzen zu ziehen, müssen Sie diese auswerten und ändern. Für diesen Schritt des Tutorials nehmen Sie die im vorherigen Schritt generierten Regeln und passen sie an, um für einige Daten restriktivere Eigenschaften zu erzwingen. Außerdem lockern Sie andere Regeln, um sicherzustellen, dass später korrekte, eindeutige Daten hinzugefügt werden können.

Erstellen eines neuen Regelsatzes

Ein Regelsatz ist eine Gruppe von Datenqualitätsregeln, die Sie anhand Ihrer Daten auswerten. In der AWS Glue-Konsole können Sie benutzerdefinierte Regelsätze mithilfe der Data Quality Definition Language (DQDL) erstellen.

Auswertung der Datenqualität über mehrere Datensätze hinweg

Mithilfe ReferentialIntegrity von DatasetMatch and-Regelsätzen können Sie Datenqualitätsregeln für mehrere Datensätze einrichten. ReferentialIntegrityprüft, ob Daten im Primärdatensatz in anderen Datensätzen vorhanden sind.

Um einen Referenzdatensatz hinzuzufügen, wählen Sie die Registerkarte Schema und dann Referenztabellen aktualisieren aus. Sie werden aufgefordert, eine Datenbank und eine Tabelle auszuwählen. Sie können die Tabelle hinzufügen und dann Datenqualitätsregeln einrichten. Regeltypen wie AggregateMatch, RowCountMatch ReferentialIntegrity SchemaMatch, und DatasetMatch unterstützen die Möglichkeit, Datenqualitätsprüfungen für mehrere Datensätze durchzuführen.

Ausführen eines Regelsatzes zur Bewertung der Datenqualität

Wenn Sie eine Datenqualitätsaufgabe ausführen, wertet AWS Glue Data Quality einen Regelsatz anhand Ihrer Daten aus und berechnet einen Datenqualitätsfaktor. Dieser Wert stellt den Prozentsatz der Datenqualitätsregeln dar, die für die Eingabe bestanden haben.

Aufrufen des Datenqualitätswerts und der Ergebnisse

Verwenden von Abfragen zur Vorverarbeitung

AWS Glue Data Quality unterstützt Vorverarbeitungsabfragen, mit denen Sie Ihre Daten transformieren können, bevor Sie Datenqualitätsprüfungen durchführen. Mit dieser Funktion können Sie:

Verwenden von Vorverarbeitungsabfragen mit der CLI und dem SDK

Empfehlungsdurchläufe

Die folgenden Beispiele zeigen, wie Vorverarbeitungsabfragen mit Empfehlungsläufen verwendet werden.

AWS CLI:

aws glue start-data-quality-rule-recommendation-run \
  --data-source '{"DataQualityGlueTable": { \
    "DatabaseName": "mydatabase", \
    "TableName": "mytable", \
    "PreProcessingQuery": "SELECT sepal_length, sepal_width, petal_length, petal_width, class, (sepal_length + sepal_width) as sepal_total FROM `mydatabase.mytable`" \
  }}' \
  --role "arn:aws:iam::123456789012:role/GlueDataQualityRole" \
  --created-ruleset-name "my-ruleset-with-preprocessing"

Java-SDK:

StartDataQualityRuleRecommendationRunRequest request = new StartDataQualityRuleRecommendationRunRequest()
    .withDataSource(new DataSource()
        .withDataQualityGlueTable(new DataQualityGlueTable()
            .withDatabaseName("mydatabase")
            .withTableName("mytable")
            .withPreProcessingQuery("SELECT sepal_length, sepal_width, " + 
                "(sepal_length + sepal_width) as sepal_total " +
                "FROM `mydatabase.mytable`")))
    .withRole("arn:aws:iam::123456789012:role/GlueDataQualityRole")
    .withCreatedRulesetName("my-ruleset-with-preprocessing");

glueClient.startDataQualityRuleRecommendationRun(request);

Die Auswertung des Regelsatzes wird ausgeführt

Die folgenden Beispiele zeigen, wie Vorverarbeitungsabfragen mit Regelsatzauswertungsläufen verwendet werden.

AWS CLI:

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{"DataQualityGlueTable": { \
    "DatabaseName": "mydatabase", \
    "TableName": "mytable", \
    "PreProcessingQuery": "SELECT order_id, amount, (tax + shipping) as total_fees FROM `mydatabase.mytable`" \
  }}' \
  --role "arn:aws:iam::123456789012:role/GlueDataQualityRole" \
  --ruleset-names '["my-ruleset"]'

Java-SDK:

StartDataQualityRulesetEvaluationRunRequest request = new StartDataQualityRulesetEvaluationRunRequest()
    .withDataSource(new DataSource()
        .withDataQualityGlueTable(new DataQualityGlueTable()
            .withDatabaseName("mydatabase")
            .withTableName("mytable")
            .withPreProcessingQuery("SELECT order_id, amount, " +
                "(tax + shipping) as total_fees " +
                "FROM `mydatabase.mytable`")))
    .withRole("arn:aws:iam::123456789012:role/GlueDataQualityRole")
    .withRulesetNames(Arrays.asList("my-ruleset"));

glueClient.startDataQualityRulesetEvaluationRun(request);

Überlegungen beim Erstellen von Abfragen zur Vorverarbeitung

Beim Schreiben einer Vorverarbeitungsabfrage:

Das folgende Beispiel zeigt eine Vorverarbeitungsabfrage:

SELECT 
    sepal_length, 
    sepal_width, 
    petal_length, 
    petal_width, 
    class,
    (sepal_length + sepal_width) as sepal_total 
FROM `mydatabase.mytable`

Einschränkungen

Unterstützte Ressourcentypen

* Die Unterstützung für Amazon S3-Tabellen und SageMaker Lakehouse in der AWS Glue Console wird nicht unterstützt. Derzeit werden Amazon S3-Tabellen- und SageMaker Lakehouse-Datenkatalog-Empfehlungsläufe sowie Datenkatalog-Datenqualitätsauswertungsläufe nur über die CLI unterstützt.

Amazon Athena Unterstützung anzeigen

AWS Glue Data Quality unterstützt Regelempfehlungen und Bewertungsläufe für Amazon Athena Ansichten, die mithilfe des Datenkatalogs erstellt CREATE VIEW und im Datenkatalog gespeichert wurden. Same-account, kontoübergreifende und verschachtelte Amazon Athena Ansichten werden unterstützt.

AWS Glue Data Quality bewertet eine Amazon Athena Ansicht anhand der Berechtigungen der IAM-Rolle, die Sie für den Datenqualitätslauf angeben. Gewähren Sie dieser Rolle Zugriff auf die Ansicht und auf alle zugrunde liegenden Tabellen, Partitionen, Datenspeicherorte und Verschlüsselungsschlüssel, auf die die Ansicht verweist. Für kontoübergreifende Ansichten konfigurieren Sie die erforderlichen AWS Glue- AWS Lake Formation, Amazon S3- und AWS KMS Berechtigungen in jedem teilnehmenden Konto. Wenn Sie Ressourcenlinks verwenden, konfigurieren Sie diese in dem Konto, auf dem AWS Glue Data Quality ausgeführt wird.

Erwägen Sie die folgenden Einschränkungen:

Andere bekannte Beschränkungen

Verwandte Themen