Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Démarrage avec AWS Qualité des données Glue pour Catalogue de données

Cette section de mise en route fournit des instructions qui vous aideront à faire vos premiers pas avec AWS Glue Data Quality sur la console AWS Glue. Vous apprendrez à accomplir des tâches essentielles telles que la génération de recommandations de règles portant sur la qualité des données et l'évaluation d'un jeu de règles par rapport à vos données.

Conditions préalables

Avant d'utiliser AWS Glue Data Quality, vous devez vous familiariser avec l'utilisation du Data Catalog et des Crawlers dans AWS Glue. Avec AWS Glue Data Quality, vous pouvez évaluer la qualité des tables d'une base de données Data Catalog. Vous avez également besoin des éléments suivants :

Step-by-step exemple

Pour un exemple étape par étape avec des exemples de jeux de données, consultez le billet de blog AWS Glue Data Quality.

Génération de recommandations de règles

Les recommandations de règles facilitent l'amélioration de la qualité des données sans écrire de code. Avec la qualité des données d' AWS , vous pouvez analyser vos données, identifier les règles et créer un ensemble de règles que vous pouvez évaluer dans le cadre d'une tâche liée à la qualité des données. Les exécutions de recommandations sont automatiquement supprimées après 90 jours.

Modes de recommandation

Lorsque vous lancez l'exécution d'une recommandation, vous pouvez choisir l'un des modes suivants :

Ressources et frais d'Athéna

ADVANCEDutilise Athena pour accéder aux données du tableau pour l'exécution de la recommandation. Si le groupe de travail glue-dataquality-sampling Athena n'existe pas, AWS Glue le crée dans votre compte. Vous pouvez consulter ce groupe de travail dans la console Athena. Toute ADVANCED course entraîne des frais pour l'utilisation d'Athéna.

Choix d'un mode de recommandation

Choisissez BASIC ou ADVANCED en fonction de vos priorités :

Disponibilité et limites

Vous pouvez l'utiliser ADVANCED dans les AWS régions suivantes :

La AWS CLI commande suivante lance l'exécution d'une ADVANCED recommandation :

aws glue start-data-quality-rule-recommendation-run \
  --data-source '{"DataQualityGlueTable":{"DatabaseName":"mydatabase","TableName":"mytable"}}' \
  --role "arn:aws:iam::111122223333:role/GlueDataQualityRole" \
  --recommendation-mode ADVANCED

Pour plus d'informations sur le traitement et le stockage des données, consultezProtection des données pour des recommandations avancées en matière de règles de qualité des données.

Pour plus d'informations sur les autorisations de rôle de recommandation requises, consultezAutorisations minimales pour obtenir des recommandations avancées en matière de règles de qualité des données.

Signification des règles recommandées

Passez en revue et modifiez les règles générées avant de les utiliser dans le cadre d'une évaluation de la qualité des données.

AWS Glue Data Quality génère des règles basées sur les données de chaque colonne de la table d'entrée. Il utilise les règles pour identifier les limites potentielles dans lesquelles les données peuvent être filtrées afin de respecter les exigences de qualité. La liste suivante de règles générées inclut des exemples utiles pour comprendre la signification des règles et ce qu'elles peuvent faire lorsqu'elles sont appliquées à vos données.

Pour obtenir la liste complète des types de règles DQDL (Data Quality Definition Language) générés, veuillez consulter Référence des types de règles DQDL.

Recommandations sur les règles de surveillance

Lorsque les recommandations de règles de qualité des données sont en cours d'exécution, la page Ajouter des règles et surveiller la qualité des données affiche des informations et des actions supplémentaires que vous pouvez effectuer dans la barre supérieure.

Lorsque les recommandations de règles sont en cours, vous pouvez choisir Arrêter l'exécution avant que la tâche de recommandation ne soit terminée. Pendant que la tâche est en cours, vous pouvez voir le statut En cours, ainsi que la date et l'heure du début de l'exécution.

Lorsque les recommandations de règles sont terminées, la barre de recommandations de règles affiche le nombre de règles recommandées, le statut de la dernière recommandation exécutée, ainsi que la date et l'horodatage de fin.

Vous pouvez ajouter les règles recommandées en choisissant Insérer une recommandation de règle. Pour consulter les règles précédemment recommandées, sélectionnez une date précise. Pour exécuter une nouvelle recommandation, sélectionnez Plus d'actions, puis sélectionnez Règles recommandées.

Définissez les paramètres par défaut en choisissant Gérer les paramètres utilisateur. Vous pouvez définir le chemin par défaut sur Amazon S3 pour stocker les ensembles de règles ou pour configurer un rôle par défaut pour exécuter le catalogue de données.

Modification des ensembles de règles recommandés

Comme la qualité des données d' AWS Glue génère des règles basées sur les données existantes dont vous disposez, il est possible que certaines règles inattendues ou indésirables apparaissent dans les suggestions automatisées. Afin de tirer le meilleur parti des ensembles de règles recommandés, vous devez les évaluer et les modifier. Pour cette étape du didacticiel, vous reprenez les règles générées à l'étape précédente et les ajustez pour appliquer des qualités plus restrictives à certaines données. Vous assouplissez également d'autres règles afin de garantir que des données correctes et uniques puissent être ajoutées ultérieurement.

Création d'un ensemble de règles

Un jeu de règles est un groupe de règles de qualité des données que vous évaluez par rapport à vos données. Dans la console AWS Glue, vous pouvez créer des ensembles de règles personnalisés à l'aide du langage DQDL (Data Quality Definition Language).

Évaluation de la qualité des données sur plusieurs jeux de données

Vous pouvez définir des règles de qualité des données pour plusieurs ensembles de données à l'aide de jeux de DatasetMatch règles ReferentialIntegrity et. ReferentialIntegrityvérifie si les données de l'ensemble de données principal sont présentes dans d'autres ensembles de données.

Pour ajouter un jeu de données de référence, cliquez sur l'onglet Schéma, puis sur Mettre à jour les tables de référence. Vous serez invité à sélectionner une base de données et une table. Vous pouvez ajouter la table, puis définir des règles de qualité des données. Les types de règles tels que AggregateMatch RowCountMatch ReferentialIntegrity,, SchemaMatch, et DatasetMatch permettent d'effectuer des contrôles de qualité des données sur plusieurs ensembles de données.

Exécution d’un jeu de règles pour évaluer la qualité des données

Lorsque vous exécutez une tâche de qualité des données, AWS Glue Data Quality évalue un ensemble de règles par rapport à vos données et calcule un score de qualité des données. Ce score représente le pourcentage de règles de qualité des données qui ont été acceptées pour l'entrée.

Affichage du score de qualité des données et des résultats

Utilisation de requêtes de prétraitement

AWS Glue Data Quality prend en charge les requêtes de prétraitement qui vous permettent de transformer vos données avant d'effectuer des contrôles de qualité des données. Cette fonctionnalité vous permet de :

Utilisation de requêtes de prétraitement avec la CLI et le SDK

Exécution des recommandations

Les exemples suivants montrent comment utiliser des requêtes de prétraitement avec des exécutions de recommandations.

AWS CLI :

aws glue start-data-quality-rule-recommendation-run \
  --data-source '{"DataQualityGlueTable": { \
    "DatabaseName": "mydatabase", \
    "TableName": "mytable", \
    "PreProcessingQuery": "SELECT sepal_length, sepal_width, petal_length, petal_width, class, (sepal_length + sepal_width) as sepal_total FROM `mydatabase.mytable`" \
  }}' \
  --role "arn:aws:iam::123456789012:role/GlueDataQualityRole" \
  --created-ruleset-name "my-ruleset-with-preprocessing"

Kit de développement logiciel Java :

StartDataQualityRuleRecommendationRunRequest request = new StartDataQualityRuleRecommendationRunRequest()
    .withDataSource(new DataSource()
        .withDataQualityGlueTable(new DataQualityGlueTable()
            .withDatabaseName("mydatabase")
            .withTableName("mytable")
            .withPreProcessingQuery("SELECT sepal_length, sepal_width, " + 
                "(sepal_length + sepal_width) as sepal_total " +
                "FROM `mydatabase.mytable`")))
    .withRole("arn:aws:iam::123456789012:role/GlueDataQualityRole")
    .withCreatedRulesetName("my-ruleset-with-preprocessing");

glueClient.startDataQualityRuleRecommendationRun(request);

Exécutions d'évaluation de l'ensemble de règles

Les exemples suivants montrent comment utiliser des requêtes de prétraitement avec des exécutions d'évaluation d'ensembles de règles.

AWS CLI :

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{"DataQualityGlueTable": { \
    "DatabaseName": "mydatabase", \
    "TableName": "mytable", \
    "PreProcessingQuery": "SELECT order_id, amount, (tax + shipping) as total_fees FROM `mydatabase.mytable`" \
  }}' \
  --role "arn:aws:iam::123456789012:role/GlueDataQualityRole" \
  --ruleset-names '["my-ruleset"]'

Kit de développement logiciel Java :

StartDataQualityRulesetEvaluationRunRequest request = new StartDataQualityRulesetEvaluationRunRequest()
    .withDataSource(new DataSource()
        .withDataQualityGlueTable(new DataQualityGlueTable()
            .withDatabaseName("mydatabase")
            .withTableName("mytable")
            .withPreProcessingQuery("SELECT order_id, amount, " +
                "(tax + shipping) as total_fees " +
                "FROM `mydatabase.mytable`")))
    .withRole("arn:aws:iam::123456789012:role/GlueDataQualityRole")
    .withRulesetNames(Arrays.asList("my-ruleset"));

glueClient.startDataQualityRulesetEvaluationRun(request);

Considérations relatives à la création de requêtes de prétraitement

Lors de la rédaction d'une requête de prétraitement :

L'exemple suivant illustre une requête de prétraitement :

SELECT 
    sepal_length, 
    sepal_width, 
    petal_length, 
    petal_width, 
    class,
    (sepal_length + sepal_width) as sepal_total 
FROM `mydatabase.mytable`

Limitations

Types de sources pris en charge

* La prise en charge des tables Amazon S3 et de SageMaker Lakehouse dans AWS Glue Console n'est pas prise en charge. Actuellement, les exécutions de recommandations de tables Amazon S3 et SageMaker Lakehouse Data Catalog et les exécutions d'évaluation de la qualité des données du catalogue de données ne sont prises en charge que via l'interface de ligne de commande.

Amazon Athena voir le support

AWS Glue Data Quality prend en charge la recommandation de règles et les cycles d'évaluation pour les Amazon Athena vues créées à l'aide du catalogue de données CREATE VIEW et stockées dans celui-ci. Same-account, les vues multicomptes et les Amazon Athena vues imbriquées sont prises en charge.

AWS Glue Data Quality évalue une Amazon Athena vue à l'aide des autorisations du rôle IAM que vous fournissez pour l'exécution de la qualité des données. Accordez à ce rôle l'accès à la vue et à toutes les tables, partitions, emplacements de données et clés de chiffrement sous-jacents auxquels la vue fait référence. Pour les vues multicomptes, configurez les autorisations AWS Glue AWS Lake Formation, Amazon S3 et AWS KMS les autorisations requises dans chaque compte participant. Si vous utilisez des liens vers des ressources, configurez-les dans le compte qui exécute AWS Glue Data Quality.

Prenez en compte les restrictions suivantes :

Autres restrictions connues

Rubriques associées