Viste materializzate per le tabelle di data lake esterne in Amazon Redshift Spectrum - Amazon Redshift
Limitazioni

Amazon Redshift non supporterà più la creazione di nuove UDF Python a partire dal 1º novembre 2025. Se desideri utilizzare le UDF Python, creale prima di tale data. Le UDF Python esistenti continueranno a funzionare normalmente. Per ulteriori informazioni, consulta il post del blog.

Viste materializzate per le tabelle di data lake esterne in Amazon Redshift Spectrum

Le viste materializzate possono fornire una manutenzione incrementale per le tabelle di data lake esterne. In un aggiornamento incrementale, Amazon Redshift aggiorna i dati nella vista materializzata solo con le modifiche ai dati nelle tabelle di base dall’ultimo aggiornamento. La manutenzione incrementale è più conveniente rispetto al ricalcolo completo della vista materializzata dopo ogni modifica dei dati per la tabella di base.

Quando utilizzi le viste materializzate per almeno una tabella esterna, la creazione di viste materializzate è incrementale per:

  • Tabelle di data lake standard, partizionate e non partizionate, con file di dati in qualsiasi formato supportato (Parquet, Avro, CSV, ecc.).

  • Tabelle di Apache Iceberg, partizionate e non partizionate, con copia in scrittura e unione in lettura.

  • Tabelle di Amazon Redshift Spectrum sottoposte a join con qualsiasi tabella Amazon Redshift nello stesso database.

L’aggiornamento della vista materializzata è incrementale per:

  • Tabelle di data lake standard dopo la sovrascrittura di S3 DELETE o PUT (eliminazione dei file di dati), se la vista materializzata non esegue l’aggregazione.

  • Tabelle di Apache Iceberg dopo INSERT, DELETE, UPDATE o la compattazione delle tabelle.

Per ulteriori informazioni su Amazon Redshift Spectrum, consulta Amazon Redshift Spectrum.

Limitazioni

Le limitazioni generali per le viste materializzate continuano ad applicarsi per le viste materializzate per le tabelle di data lake. Per ulteriori informazioni, consulta Aggiornamento di una vista materializzata. Inoltre considera le seguenti limitazioni quando utilizzi le viste materializzate per le tabelle di data lake esterne.

  • La creazione di viste materializzate non è incrementale per:

    • Tabelle Hudi o Delta Lake.

    • Accesso ai dati annidati di Spectrum.

    • Riferimenti alle colonne VARBYTE.

  • L’aggiornamento delle viste materializzate torna al ricalcolo completo per:

    • Tabelle di Apache Iceberg quando è scaduto uno snapshot richiesto, se la vista materializzata esegue l’aggregazione.

    • Tabelle di data lake standard dopo l’eliminazione o l’aggiornamento dei file di dati per Amazon S3, se la vista materializzata esegue l’aggregazione.

    • Le tabelle di data lake standard sono state aggiornate più di una volta all’interno di un blocco di transazioni.

    • Tabelle di data lake standard gestite da un manifesto. Per ulteriori informazioni sui manifesti, consulta Utilizzo di un manifesto per specificare i file di dati.

    • Amazon Redshift torna al ricalcolo completo se si prevede che questo sia più performante, in particolare per le viste materializzate che contengono join e più di una tabella di base è stata aggiornata dall’ultimo aggiornamento.

  • Nelle tabelle di Apache Iceberg, l’aggiornamento delle viste materializzate può gestire solo fino a quattro milioni di posizioni eliminate in un singolo file di dati. Una volta che questo limite è stato raggiunto, la tabella base di Apache Iceberg deve essere compattata per continuare ad aggiornare la vista materializzata.

  • Nelle tabelle di Apache Iceberg, il dimensionamento simultaneo non è supportata per la creazione e l’aggiornamento delle viste materializzate.

  • Le funzionalità di autonomia non sono supportate. Tra queste figurano le viste materializzate automatizzate e la riscrittura automatica delle query.

  • Quando una vista materializzata incrementale viene aggiornata, le autorizzazioni IAM si applicano solo alle parti a cui accedi dalle tabelle di base di Amazon Redshift.

  • Le modifiche alle autorizzazioni gestite da Lake Formation non vengono verificate eseguendo query su una vista materializzata. Ciò significa che, se per una tabella di data lake è definita una vista materializzata e i privilegi di selezione vengono rimossi dalla tabella con Lake Formation, puoi continuare a eseguire query sulla vista materializzata.