Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo del framework Iceberg in AWS Aderenza

AWS Glue 3.0 e versioni successive supportano il framework Apache Iceberg per data lake. Iceberg fornisce un formato di tabella ad alte prestazioni che funziona proprio come una tabella SQL. Questo argomento illustra le funzionalità disponibili per l'utilizzo dei dati in AWS Glue durante il trasporto o l'archiviazione dei dati in una tabella Iceberg. Per ulteriori informazioni su Iceberg, consulta la documentazione ufficiale di Apache Iceberg.

Puoi usare AWS Glue per eseguire operazioni di lettura e scrittura su tabelle Iceberg in Amazon S3 o lavorare con le tabelle Iceberg utilizzando il AWS Glue Data Catalog. Sono supportate anche operazioni aggiuntive, tra cui inserimenti e tutte le query Spark e scritture Spark. L'aggiornamento non è supportato per le tabelle Iceberg.

La tabella seguente elenca la versione di Iceberg inclusa in ciascuna versione di Glue. AWS

Per saperne di più sui framework di data lake supportati da AWS Glue, consulta. Utilizzo di framework di data lake con AWS Glue processi ETL

Abilitazione del framework Iceberg

Per abilitare Iceberg for AWS Glue, completa le seguenti attività:

Utilizzo di una versione differente di Iceberg

Per utilizzare una versione di Iceberg non supportata da AWS Glue, specifica i tuoi file JAR Iceberg utilizzando il parametro job. --extra-jars Non includere iceberg come valore per il parametro --datalake-formats. Se usi AWS Glue 5.0 o versioni successive, devi impostare il parametro --user-jars-first true job.

Abilitazione della crittografia per le tabelle Iceberg

Per abilitare la crittografia lato server sulle tabelle Iceberg, consulta le indicazioni contenute nella documentazione di Iceberg.

Aggiungere la configurazione Spark per Iceberg su più Regioni

Per aggiungere un'ulteriore configurazione Spark per l'accesso alle tabelle interregionali di Iceberg con il AWS Glue Data Catalog AWS Lake Formation, segui i passaggi seguenti:

Specificare la versione del formato della tabella Iceberg

AWS Glue 6.0 supporta le versioni in formato Iceberg tabella 2 e 3. Per impostazione predefinita, AWS Glue crea tabelle Iceberg v2. Icebergv3 introduce funzionalità aggiuntive, come il tipo di dati VARIANT, i timestamp con precisione in nanosecondi e i tipi di dati geospaziali.

Per creare tabelle v3, puoi attivarle utilizzando uno dei seguenti metodi:

Per aggiornare una tabella v2 esistente alla v3, imposta la proprietà della tabella utilizzando ALTER TABLE. Si tratta di una modifica immediata dei metadati e non riscrive i file di dati.

ALTER TABLE glue_catalog.your_database.your_table
SET TBLPROPERTIES ('format-version'='3')

Esempio: scrivi una tabella Iceberg su Amazon S3 e registrala nel AWS Catalogo dati Glue

Questo script di esempio dimostra come scrivere una tabella Iceberg su Amazon S3. L'esempio utilizza Iceberg AWS Integrations per registrare la tabella nel Glue Data Catalog. AWS

Python

# Example: Create an Iceberg table from a DataFrame 
# and register the table to Glue Data Catalog

dataFrame.createOrReplaceTempView("tmp_<your_table_name>")

query = f"""
CREATE TABLE glue_catalog.<your_database_name>.<your_table_name>
USING iceberg
TBLPROPERTIES ("format-version"="2")
AS SELECT * FROM tmp_<your_table_name>
"""
spark.sql(query)

Scala

// Example: Example: Create an Iceberg table from a DataFrame
// and register the table to Glue Data Catalog

dataFrame.createOrReplaceTempView("tmp_<your_table_name>")

val query = """CREATE TABLE glue_catalog.<your_database_name>.<your_table_name>
USING iceberg
TBLPROPERTIES ("format-version"="2")
AS SELECT * FROM tmp_<your_table_name>
"""
spark.sql(query)

In alternativa, è possibile scrivere una tabella Iceberg su Amazon S3 e catalogo dati tramite metodi Spark.

Prerequisiti: è necessario fornire un catalogo per l'utilizzo della libreria Iceberg. Quando si utilizza il AWS Glue Data Catalog, AWS Glue lo rende semplice. Il AWS Glue Data Catalog è preconfigurato per essere utilizzato dalle librerie Spark come. glue_catalog Le tabelle del Data Catalog sono identificate da a databaseName e a. tableName Per ulteriori informazioni sul AWS Glue Data Catalog, vedereScoperta e catalogazione dei dati in AWS Glue.

Se non utilizzi il AWS Glue Data Catalog, dovrai fornire un catalogo tramite le API Spark. Per ulteriori informazioni, consulta la pagina Spark Configuration nella documentazione di Spark.

In questo esempio viene scritta una tabella Iceberg in Amazon S3 e il catalogo dati tramite Spark.

Python

# Example: Write an Iceberg table to S3 on the Glue Data Catalog

# Create (equivalent to CREATE TABLE AS SELECT)
dataFrame.writeTo("glue_catalog.databaseName.tableName") \
    .tableProperty("format-version", "2") \
    .create()

# Append (equivalent to INSERT INTO)
dataFrame.writeTo("glue_catalog.databaseName.tableName") \
    .tableProperty("format-version", "2") \
    .append()

Scala

// Example: Write an Iceberg table to S3 on the Glue Data Catalog

// Create (equivalent to CREATE TABLE AS SELECT)
dataFrame.writeTo("glue_catalog.databaseName.tableName")
    .tableProperty("format-version", "2")
    .create()

// Append (equivalent to INSERT INTO)
dataFrame.writeTo("glue_catalog.databaseName.tableName")
    .tableProperty("format-version", "2")
    .append()

Esempio: leggi una tabella Iceberg da Amazon S3 utilizzando AWS Catalogo dati Glue

Questo esempio legge la tabella Iceberg che creata in Esempio: scrivi una tabella Iceberg su Amazon S3 e registrala nel AWS Catalogo dati Glue.

Python

Per questo esempio, usa il metodo GlueContext.create_data_frame.from_catalog().

# Example: Read an Iceberg table from Glue Data Catalog

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)

df = glueContext.create_data_frame.from_catalog(
    database="<your_database_name>",
    table_name="<your_table_name>",
    additional_options=additional_options
)

Scala

Per questo esempio, usa il metodo get CatalogSource.

// Example: Read an Iceberg table from Glue Data Catalog

import com.amazonaws.services.glue.GlueContext
import org.apacke.spark.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)
    val df = glueContext.getCatalogSource("<your_database_name>", "<your_table_name>",
      additionalOptions = additionalOptions)
      .getDataFrame()
  }
}

Esempio: inserisci un DataFrame in una tabella Iceberg in Amazon S3 utilizzando AWS Catalogo dati Glue

Questo esempio inserisce i dati nella tabella Iceberg creata in Esempio: scrivi una tabella Iceberg su Amazon S3 e registrala nel AWS Catalogo dati Glue.

Python

Per questo esempio, usa il metodo GlueContext.write_data_frame.from_catalog().

# Example: Insert into an Iceberg table from Glue Data Catalog

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)

glueContext.write_data_frame.from_catalog(
    frame=dataFrame,
    database="<your_database_name>",
    table_name="<your_table_name>",
    additional_options=additional_options
)

Scala

Per questo esempio, usa il metodo get. CatalogSink

// Example: Insert into an Iceberg table from Glue Data Catalog

import com.amazonaws.services.glue.GlueContext
import org.apacke.spark.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)
    glueContext.getCatalogSink("<your_database_name>", "<your_table_name>",
      additionalOptions = additionalOptions)
      .writeDataFrame(dataFrame, glueContext)
  }
}

Esempio: lettura di una tabella Iceberg da Amazon S3 tramite Spark

Prerequisiti: è necessario fornire un catalogo per l'utilizzo della libreria Iceberg. Quando si utilizza il AWS Glue Data Catalog, AWS Glue lo rende semplice. Il AWS Glue Data Catalog è preconfigurato per essere utilizzato dalle librerie Spark come. glue_catalog Le tabelle del Data Catalog sono identificate da a databaseName e a. tableName Per ulteriori informazioni sul AWS Glue Data Catalog, vedereScoperta e catalogazione dei dati in AWS Glue.

Se non utilizzi il AWS Glue Data Catalog, dovrai fornire un catalogo tramite le API Spark. Per ulteriori informazioni, consulta la pagina Spark Configuration nella documentazione di Spark.

In questo esempio viene letta una tabella Iceberg in Amazon S3 da Catalogo dati tramite Spark.

Python

# Example: Read an Iceberg table on S3 as a DataFrame from the Glue Data Catalog

dataFrame = spark.read.format("iceberg").load("glue_catalog.databaseName.tableName")

Scala

// Example: Read an Iceberg table on S3 as a DataFrame from the Glue Data Catalog

val dataFrame = spark.read.format("iceberg").load("glue_catalog.databaseName.tableName")

Esempio: lettura e scrittura della tabella Iceberg con il controllo delle autorizzazioni di Lake Formation

Questo esempio legge da e scrive su una tabella Iceberg con il controllo delle autorizzazioni di Lake Formation.