Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Considerazioni e limitazioni
Ambito generale
Esamina le seguenti limitazioni quando usi Lake Formation con EMR Serverless.
Nota
Quando abiliti Lake Formation per un job Spark su EMR Serverless, il job avvia un driver di sistema e un driver utente. Se hai specificato la capacità preinizializzata all'avvio, i driver forniti dalla capacità preinizializzata e il numero di driver di sistema è uguale al numero di driver utente specificato. Se si sceglie la capacità On Demand, EMR Serverless avvia un driver di sistema oltre a un driver utente. Per stimare i costi associati al tuo lavoro EMR Serverless with Lake Formation, utilizza il. Calcolatore dei prezzi AWS
-
Le applicazioni abilitate per Lake Formation non supportano l'utilizzo di immagini EMR Serverless personalizzate.
-
Non puoi smettere di lavorare
DynamicResourceAllocationper Lake Formation. -
Si può usare Lake Formation solo con i processi Spark.
-
EMR Serverless with Lake Formation supporta solo una singola sessione Spark durante un job.
-
EMR Serverless with Lake Formation supporta solo le query tabellari tra account condivise tramite link alle risorse.
-
I seguenti elementi non sono supportati:
-
Resilient Distributed Dataset (RDD)
-
Streaming di Spark
-
Controllo degli accessi per colonne annidate
-
-
EMR Serverless blocca le funzionalità che potrebbero compromettere il completo isolamento dei driver di sistema, tra cui:
-
UDTs, Hive e qualsiasi funzione UDFs definita dall'utente che coinvolga classi personalizzate
-
Origini dati personalizzate
-
Fornitura di jar aggiuntivi per l'estensione, il connettore o il metastore di Spark
-
Comando
ANALYZE TABLE
-
-
Se la tua applicazione EMR Serverless si trova in una sottorete privata con endpoint VPC per Amazon S3 e alleghi una policy di endpoint per controllare l'accesso, prima che i tuoi job possano inviare i dati di log a AWS Managed Amazon S3, includi le autorizzazioni dettagliate in Managed Storage nella tua policy VPC all'endpoint gateway S3. Per la risoluzione dei problemi relativi alle richieste, contatta l'assistenza. AWS
-
A partire da Amazon EMR 7.9.0, Spark FGAC supporta il AFile sistema S3 se utilizzato con lo schema s3a://.
-
Amazon EMR 7.11 supporta la creazione di tabelle gestite tramite CTAS.
-
Amazon EMR 7.12 supporta la creazione di tabelle gestite ed esterne utilizzando CTAS.
Permissions
-
Per applicare i controlli di accesso, le operazioni EXPLAIN PLAN e DDL come DESCRIBE TABLE non espongono informazioni riservate.
-
Quando registri una posizione in una tabella con Lake Formation, l'accesso ai dati utilizza le credenziali archiviate di Lake Formation anziché le autorizzazioni IAM del ruolo di job runtime EMR Serverless. I processi falliranno se il ruolo registrato per la posizione della tabella non è configurato correttamente, anche se il ruolo di runtime dispone delle autorizzazioni S3 IAM per quella posizione.
-
A partire da Amazon EMR 7.12, puoi scrivere su tabelle Hive e Iceberg esistenti utilizzando DataFrameWriter (V2) con credenziali Lake Formation in modalità di aggiunta. Per le operazioni di sovrascrittura o durante la creazione di nuove tabelle, EMR utilizza le credenziali del ruolo di runtime per modificare i dati della tabella.
-
Le seguenti limitazioni si applicano quando si utilizzano viste o tabelle memorizzate nella cache come dati di origine (queste limitazioni non si applicano alle viste del AWS Glue Data Catalog):
-
Per le operazioni MERGE, DELETE e UPDATE
-
Supportato: utilizzo di viste e tabelle memorizzate nella cache come tabelle di origine.
-
Non supportato: utilizzo di viste e tabelle memorizzate nella cache nelle clausole di assegnazione e condizione.
-
-
Per le operazioni CREATE OR REPLACE e REPLACE TABLE AS SELECT:
-
Non supportata: utilizzo di viste e tabelle memorizzate nella cache come tabelle di origine.
-
-
-
Le tabelle Delta Lake con UDFs dati di origine supportano le operazioni MERGE, DELETE e UPDATE solo quando il vettore di eliminazione è abilitato.
Registri e debug
-
EMR Serverless limita l'accesso ai registri Spark dei driver di sistema sulle applicazioni abilitate per Lake Formation. Poiché il driver di sistema viene eseguito con autorizzazioni elevate, gli eventi e i registri generati dal driver di sistema possono includere informazioni riservate. Per impedire a utenti o codici non autorizzati di accedere a questi dati sensibili, EMR Serverless disabilita l'accesso ai registri dei driver di sistema.
-
I log dei profili di sistema vengono sempre conservati nello storage gestito: si tratta di un'impostazione obbligatoria che non può essere disabilitata. Questi registri vengono archiviati in modo sicuro e crittografati utilizzando una chiave KMS gestita dal cliente o una chiave KMS gestita. AWS
Iceberg
Esamina le seguenti considerazioni quando usi Apache Iceberg:
-
È possibile utilizzare Apache Iceberg solo con il catalogo delle sessioni e non con i cataloghi con nomi arbitrari.
-
Le tabelle Iceberg registrate in Lake Formation supportano solo le tabelle di metadati
history,metadata_log_entries,,snapshotsfilesmanifests, e.refsAmazon EMR nasconde le colonne che potrebbero contenere dati sensibili, ad esempiopartitions,pathe.summariesQuesta limitazione non si applica alle tabelle Iceberg che non sono registrate in Lake Formation. -
Le tabelle non registrate in Lake Formation supportano tutte le stored procedure Iceberg. Le procedure di
register_tableemigratenon sono supportate per nessuna tabella. -
Ti suggeriamo di utilizzare Iceberg DataFrameWriter V2 anziché V1.
