Vues matérialisées sur des tables de lacs de données externes dans Amazon Redshift Spectrum - Amazon Redshift
Limitations

Amazon Redshift ne prendra plus en charge la création de nouveaux Python UDFs à compter du 1er novembre 2025. Si vous souhaitez utiliser Python UDFs, créez la version UDFs antérieure à cette date. Le Python existant UDFs continuera à fonctionner normalement. Pour plus d’informations, consultez le billet de blog .

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Vues matérialisées sur des tables de lacs de données externes dans Amazon Redshift Spectrum

Les vues matérialisées peuvent fournir une maintenance incrémentielle sur les tables de lacs de données externes. Avec l’actualisation incrémentielle, Amazon Redshift met à jour les données dans la vue matérialisée avec uniquement les changements apportés aux données des tables de base depuis la dernière actualisation. La maintenance incrémentielle est plus rentable que le recalcul complet de la vue matérialisée après chaque modification des données de la table de base.

Lorsque vous utilisez des vues matérialisées sur au moins une table externe, la création de vues matérialisées est incrémentielle sur :

  • Tableaux de lacs de données standards, partitionnés et non partitionnés, avec des fichiers de données dans tous les formats pris en charge (Parquet, Avro, CSV, etc.).

  • Tables Apache Iceberg, partitionnées et non partitionnées, avec et. copy-on-write merge-on-read

  • Les tables Amazon Redshift Spectrum sont jointes à n’importe quelle table Amazon Redshift de la même base de données.

L’actualisation de la vue matérialisée est incrémentielle sur  :

  • Tables de lac de données standards après le remplacement de S3 DELETE ou PUT (suppression de fichiers de données), si la vue matérialisée n’effectue pas d’agrégation.

  • Tables Apache Iceberg après INSERT, DELETE, UPDATE ou après compactage des tables.

Pour plus d’informations sur Amazon Redshift Spectrum, consultez Amazon Redshift Spectrum.

Limitations

Les limitations générales relatives aux vues matérialisées s’appliquent toujours aux vues matérialisées sur les tables des lacs de données. Pour plus d’informations, consultez Actualisation d’une vue matérialisée. En outre, tenez compte des limites suivantes lorsque vous utilisez des vues matérialisées sur des tables de lacs de données externes.

  • La création de vues matérialisées n’est pas incrémentielle dans les cas suivants :

    • Tables Hudi ou Delta Lake.

    • Accès aux données imbriqué dans le spectre.

    • Références aux colonnes VARBYTE.

  • L’actualisation de la vue matérialisée revient à un recalcul complet sur :

    • Tables Apache Iceberg lorsqu’un instantané requis a expiré, si la vue matérialisée effectue une agrégation.

    • Tables de lac de données standards après suppression ou mise à jour de fichiers de données sur Amazon S3, si la vue matérialisée effectue une agrégation.

    • Tables de lac de données standards actualisées plusieurs fois au sein d’un bloc de transactions.

    • Tables de lacs de données standards régies par un manifeste. Pour plus d’informations sur les manifestes, consultez Utilisation d’un manifeste pour spécifier des fichiers de données.

    • Amazon Redshift revient au recalcul complet s’il est censé être plus performant, en particulier pour les vues matérialisées contenant des jointures et si plusieurs tables de base ont été mises à jour depuis la dernière actualisation.

  • Sur les tables Apache Iceberg, l’actualisation des vues matérialisées ne peut gérer que 4 millions de positions supprimées dans un seul fichier de données. Une fois cette limite atteinte, la table de base Apache Iceberg doit être compactée pour continuer à actualiser la vue matérialisée.

  • Sur les tables Apache Iceberg, la mise à l’échelle de la simultanéité n’est pas prise en charge pour la création et l’actualisation de vues matérialisées.

  • Les fonctions autonomes ne sont pas prises en charge. Il s’agit notamment des vues matérialisées automatisées et de la réécriture automatique des requêtes.

  • Lorsqu’une vue matérialisée incrémentielle est actualisée, les autorisations IAM s’appliquent uniquement aux parties consultées des tables de base Amazon Redshift.

  • Les modifications des autorisations gérées par Lake Formation ne sont pas vérifiées lors de l’interrogation d’une vue matérialisée. Cela signifie que si une vue matérialisée est définie sur une table de lac de données et que les privilèges de sélection sont supprimés de la table avec Lake Formation, vous pouvez toujours interroger la vue matérialisée.