Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Nozioni di base su AWS Qualità dei dati Glue per Catalogo dati

Questa sezione introduttiva fornisce istruzioni per aiutarti a iniziare a utilizzare AWS Glue Data Quality sulla console AWS Glue. Imparerai come completare attività essenziali come la generazione di raccomandazioni di regole di qualità dei dati e la valutazione di un set di regole rispetto ai propri dati.

Prerequisiti

Prima di utilizzare AWS Glue Data Quality, è necessario conoscere l'utilizzo di Data Catalog e dei crawler in AWS Glue. Con AWS Glue Data Quality, è possibile valutare la qualità delle tabelle in un database Data Catalog. Devi disporre anche dei seguenti elementi:

Step-by-step esempio

Per un esempio dettagliato con set di dati di esempio, consulta il post del blog AWS Glue Data Quality.

Generazione di raccomandazioni di regole

I suggerimenti di regole consentono di iniziare a utilizzare facilmente la qualità dei dati senza scrivere codice. Con Qualità dei dati di AWS Glue è possibile analizzare i dati, identificare le regole e creare un set di regole che possono essere valutate in un'attività di qualità dei dati. Le esecuzioni di consigli vengono eliminate automaticamente dopo 90 giorni.

Modalità di raccomandazione

Quando avvii una serie di consigli, puoi scegliere una delle seguenti modalità:

Risorse e costi di Athena

ADVANCEDutilizza Athena per accedere ai dati della tabella per l'esecuzione dei consigli. Se il gruppo di lavoro glue-dataquality-sampling Athena non esiste, AWS Glue lo crea nel tuo account. Puoi visualizzare questo gruppo di lavoro nella console Athena. Una ADVANCED corsa comporta dei costi per l'utilizzo di Athena.

Scelta di una modalità di raccomandazione

Scegli BASIC o ADVANCED in base alle tue priorità:

Disponibilità e limitazioni

Puoi utilizzarlo ADVANCED nelle seguenti AWS regioni:

Il AWS CLI comando seguente avvia un'esecuzione ADVANCED consigliata:

aws glue start-data-quality-rule-recommendation-run \
  --data-source '{"DataQualityGlueTable":{"DatabaseName":"mydatabase","TableName":"mytable"}}' \
  --role "arn:aws:iam::111122223333:role/GlueDataQualityRole" \
  --recommendation-mode ADVANCED

Per ulteriori informazioni sull'elaborazione e l'archiviazione dei dati, vedereProtezione dei dati per raccomandazioni avanzate sulle regole di qualità dei dati.

Per ulteriori informazioni sulle autorizzazioni richieste per i ruoli di raccomandazione, vedereAutorizzazioni minime per ottenere raccomandazioni avanzate sulle regole di qualità dei dati.

Cosa significano le regole suggerite

Rivedi e modifica le regole generate prima di utilizzarle in una valutazione della qualità dei dati.

AWS Glue Data Quality genera regole basate sui dati di ogni colonna della tabella di input. Utilizza le regole per identificare i potenziali limiti entro i quali i dati possono essere filtrati per mantenere i requisiti di qualità. Il seguente elenco di regole generate include esempi utili per comprendere il significato delle regole e gli effetti che potrebbero avere se applicate ai dati.

Per un elenco completo dei tipi di regole Data Quality Definition Language (DQDL) generati, consulta la pagina DQDL rule type reference.

Monitoraggio dei suggerimenti di regole

Quando sono in esecuzione i suggerimenti sulle regole di qualità dei dati, la pagina Aggiungi regole e monitora la qualità dei dati visualizza informazioni e operazioni aggiuntive che è possibile intraprendere nella barra superiore.

Quando sono in corso le esecuzioni dei suggerimenti sulle regole, puoi scegliere Interrompi esecuzione prima del completamento dell'attività di suggerimento. Mentre l'attività è in corso, vedrai lo stato In corso e la data e l'ora di inizio dell'esecuzione.

Una volta completati i suggerimenti di regole, la barra di suggerimento mostra il numero di regole suggerite, lo stato dell'ultima esecuzione di suggerimento e la data e l'ora del termine.

È possibile aggiungere le regole suggerite scegliendo Inserisci suggerimento di regola. Per visualizzare le regole precedentemente suggerite, seleziona una data specifica. Per eseguire un nuovo suggerimento, scegli Altre operazioni, quindi scegli Regole suggerite.

Configura le impostazioni predefinite scegliendo Gestisci impostazioni utente. È possibile impostare il percorso predefinito in cui Amazon S3 può archiviare i set di regole o configurare un ruolo predefinito per eseguire Catalogo dati.

Modifica dei set di regole suggeriti

Poiché Qualità dei dati di AWS Glue genera regole basate sui dati esistenti che hai a disposizione, potresti vedere alcune regole impreviste o indesiderate nei suggerimenti automatici. Per ottenere il massimo dai set di regole suggeriti, è necessario valutarli e modificarli. In questo passaggio del tutorial, prendi le regole generate nel passaggio precedente e le modifichi per applicare qualità più restrittive su alcuni dati. Inoltre, allenterai altre regole per garantire che dati corretti e univoci possano essere aggiunti in un secondo momento.

Creazione di un nuovo set di regole

Un set di regole è un gruppo di regole di qualità dei dati che vengono valutate in base ai tuoi dati. Nella console AWS Glue, puoi creare set di regole personalizzati utilizzando Data Quality Definition Language (DQDL).

Valutazione della qualità dei dati su più set di dati

Puoi impostare regole di qualità dei dati su più set di dati utilizzando ReferentialIntegrity e DatasetMatch ruleset. ReferentialIntegrityverifica se i dati del set di dati principale sono presenti in altri set di dati.

Per aggiungere un set di dati di riferimento, scegli la scheda Schema, quindi scegli Aggiorna tabelle di riferimento. Ti verrà richiesto di selezionare un database e una tabella. È possibile aggiungere la tabella e quindi impostare le regole di qualità dei dati. Tipi di regole come AggregateMatch, RowCountMatch ReferentialIntegrity SchemaMatch, e DatasetMatch supportano la capacità di eseguire controlli di qualità dei dati su più set di dati.

Esecuzione di un set di regole per valutare la qualità dei dati

Quando esegui un'attività di qualità dei dati, AWS Glue Data Quality valuta un set di regole rispetto ai tuoi dati e calcola un punteggio di qualità dei dati. Questo punteggio rappresenta la percentuale di regole di qualità dei dati soddisfatte per l'input.

Visualizzazione del punteggio e dei risultati della qualità dei dati

Utilizzo delle interrogazioni di preelaborazione

AWS Glue Data Quality supporta le query di preelaborazione che consentono di trasformare i dati prima di eseguire i controlli di qualità dei dati. Questa funzionalità consente di:

Utilizzo di query di preelaborazione con CLI e SDK

Esecuzione di suggerimenti

Gli esempi seguenti mostrano come utilizzare le query di preelaborazione con esecuzioni di raccomandazioni.

AWS CLI:

aws glue start-data-quality-rule-recommendation-run \
  --data-source '{"DataQualityGlueTable": { \
    "DatabaseName": "mydatabase", \
    "TableName": "mytable", \
    "PreProcessingQuery": "SELECT sepal_length, sepal_width, petal_length, petal_width, class, (sepal_length + sepal_width) as sepal_total FROM `mydatabase.mytable`" \
  }}' \
  --role "arn:aws:iam::123456789012:role/GlueDataQualityRole" \
  --created-ruleset-name "my-ruleset-with-preprocessing"

SDK Java:

StartDataQualityRuleRecommendationRunRequest request = new StartDataQualityRuleRecommendationRunRequest()
    .withDataSource(new DataSource()
        .withDataQualityGlueTable(new DataQualityGlueTable()
            .withDatabaseName("mydatabase")
            .withTableName("mytable")
            .withPreProcessingQuery("SELECT sepal_length, sepal_width, " + 
                "(sepal_length + sepal_width) as sepal_total " +
                "FROM `mydatabase.mytable`")))
    .withRole("arn:aws:iam::123456789012:role/GlueDataQualityRole")
    .withCreatedRulesetName("my-ruleset-with-preprocessing");

glueClient.startDataQualityRuleRecommendationRun(request);

La valutazione del set di regole viene eseguita

Gli esempi seguenti mostrano come utilizzare le interrogazioni di preelaborazione con le esecuzioni di valutazione dei set di regole.

AWS CLI:

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{"DataQualityGlueTable": { \
    "DatabaseName": "mydatabase", \
    "TableName": "mytable", \
    "PreProcessingQuery": "SELECT order_id, amount, (tax + shipping) as total_fees FROM `mydatabase.mytable`" \
  }}' \
  --role "arn:aws:iam::123456789012:role/GlueDataQualityRole" \
  --ruleset-names '["my-ruleset"]'

SDK Java:

StartDataQualityRulesetEvaluationRunRequest request = new StartDataQualityRulesetEvaluationRunRequest()
    .withDataSource(new DataSource()
        .withDataQualityGlueTable(new DataQualityGlueTable()
            .withDatabaseName("mydatabase")
            .withTableName("mytable")
            .withPreProcessingQuery("SELECT order_id, amount, " +
                "(tax + shipping) as total_fees " +
                "FROM `mydatabase.mytable`")))
    .withRole("arn:aws:iam::123456789012:role/GlueDataQualityRole")
    .withRulesetNames(Arrays.asList("my-ruleset"));

glueClient.startDataQualityRulesetEvaluationRun(request);

Considerazioni sulla creazione di interrogazioni di pre-elaborazione

Quando si scrive una query di preelaborazione:

L'esempio seguente mostra una query di preelaborazione:

SELECT 
    sepal_length, 
    sepal_width, 
    petal_length, 
    petal_width, 
    class,
    (sepal_length + sepal_width) as sepal_total 
FROM `mydatabase.mytable`

Limitazioni

Tipi di origini supportate

* Le tabelle Amazon S3 e il supporto SageMaker Lakehouse nella console AWS Glue non sono supportati. Attualmente, le esecuzioni consigliate delle tabelle Amazon S3 e del SageMaker Lakehouse Data Catalog e le esecuzioni di valutazione della qualità dei dati di Data Catalog sono supportate solo tramite la CLI.

Amazon Athena visualizza il supporto

AWS Glue Data Quality supporta la raccomandazione delle regole e le esecuzioni di valutazione per le Amazon Athena viste create utilizzando CREATE VIEW e archiviate nel Data Catalog. Same-accountsono supportate le Amazon Athena viste tra account e annidate.

AWS Glue Data Quality valuta una Amazon Athena vista utilizzando le autorizzazioni del ruolo IAM fornite per l'esecuzione della qualità dei dati. Concedi a questo ruolo l'accesso alla vista e a ogni tabella, partizione, posizione dei dati e chiave di crittografia sottostanti a cui la vista fa riferimento. Per le visualizzazioni tra account, configura AWS Glue AWS Lake Formation, Amazon S3 e le AWS KMS autorizzazioni richieste in ogni account partecipante. Se utilizzi collegamenti alle risorse, configurali nell'account che esegue AWS Glue Data Quality.

Considera i seguenti limiti:

Altri limiti noti

Argomenti correlati