Connettore Amazon Athena IBM Db2 AS/400 (Db2 iSeries) - Amazon Athena
PrerequisitiLimitazioniTerminiParametriSupporto dei tipi di datiPartizioni e suddivisioniPrestazioniQuery passthroughInformazioni sulla licenzaRisorse aggiuntive

Connettore Amazon Athena IBM Db2 AS/400 (Db2 iSeries)

Il connettore Amazon Athena per Db2 AS/400 consente ad Amazon Athena di eseguire query SQL sui database IBM Db2 AS/400 (Db2 iSeries) utilizzando JDBC.

Questo connettore può essere registrato con Catalogo Dati Glue come catalogo federato. Supporta i controlli di accesso ai dati definiti in Lake Formation a livello di catalogo, database, tabella, colonna, riga e tag. Questo connettore utilizza connessioni Glue per centralizzare le proprietà di configurazione in Glue.

Prerequisiti

Limitazioni

  • Le operazioni di scrittura DDL non sono supportate.

  • In una configurazione multiplex, il bucket di spill e il prefisso sono condivisi tra tutte le istanze del database.

  • Eventuali limiti Lambda pertinenti. Per ulteriori informazioni, consulta la sezione Quote Lambda nella Guida per gli sviluppatori di AWS Lambda.

  • Nelle condizioni di filtro, è necessario impostare i tipi di dati date e timestamp sul tipo di dati appropriato.

Termini

I seguenti termini si riferiscono al connettore Db2 AS/400.

  • Istanza del database: qualsiasi istanza del database distribuita on-premise, su Amazon EC2 o su Amazon RDS.

  • Gestore: un gestore Lambda che accede all'istanza del database. Un gestore può gestire i metadati o i record di dati.

  • Gestore dei metadati: un gestore Lambda che recupera i metadati dall'istanza del database.

  • Gestore dei record: un gestore Lambda che recupera i record di dati dall'istanza del database.

  • Gestore composito: un gestore Lambda che recupera sia i metadati sia i record di dati dall'istanza del database.

  • Proprietà o parametro: una proprietà del database utilizzata dai gestori per estrarre le informazioni del database. Queste proprietà vengono configurate come variabili di ambiente Lambda.

  • Stringa di connessione: una stringa di testo utilizzata per stabilire una connessione a un'istanza del database.

  • Catalogo: un catalogo non di AWS Glue registrato in Athena che costituisce un prefisso obbligatorio per la proprietà connection_string.

  • Gestore multiplex: un gestore Lambda in grado di accettare e utilizzare più connessioni al database.

Parametri

Utilizza i parametri illustrati in questa sezione per configurare il connettore Db2 AS/400.

Nota

I connettori di origine dati Athena creati il 3 dicembre 2024 e versioni successive utilizzano connessioni AWS Glue.

I nomi e le definizioni dei parametri elencati di seguito si riferiscono ai connettori di origine dati Athena creati prima del 3 dicembre 2024. Questi possono differire dalle proprietà di connessioneAWS Glue corrispondenti. Dal 3 dicembre 2024, utilizzare i parametri seguenti solo quando si implementa manualmente una versione precedente di un connettore di origine dati Athena.

Si consiglia di configurare un connettore Db2 AS/400 utilizzando un oggetto di connessioni Glue. Per fare ciò, impostare la variabile di ambiente glue_connection del connettore Db2 AS/400 Lambda sul nome della connessione Glue da utilizzare.

Proprietà delle connessioni Glue

Utilizzare il seguente comando per ottenere lo schema di un oggetto di una connessione Glue. Questo schema contiene tutti i parametri che si possono utilizzare per controllare una connessione.

aws glue describe-connection-type --connection-type DB2AS400

Proprietà dell'ambiente Lambda

  • glue_connection: specifica il nome della connessione Glue associata al connettore federato.

  • casing_mode: (Facoltativo) specifica come gestire il casing per i nomi di schemi e tabelle. Il parametro casing_mode utilizza i seguenti valori per specificare il comportamento di casing:

    • none: Non modifica il casing dello schema e dei nomi delle tabelle specificati. Questa è l'impostazione predefinita per i connettori a cui è associata una connessione glue.

    • upper: tutti i nomi di schemi e tabelle specificati in maiuscolo.

    • lower: tutti i nomi di schemi e tabelle specificati in minuscolo.

Nota

  • Tutti i connettori che utilizzano le connessioni Glue devono utilizzare Gestione dei segreti AWS per memorizzare le credenziali.

  • Il connettore Db2 AS/400 creato utilizzando le connessioni Glue non supporta l'uso di un gestore multiplexing.

  • Il connettore Db2 AS/400 creato utilizzando le connessioni Glue supporta solo 2 ConnectionSchemaVersion.

Stringa di connessione

Utilizza una stringa di connessione JDBC nel formato seguente per connetterti a un'istanza del database.

db2as400://${jdbc_connection_string}

Utilizzo di un gestore multiplex

Puoi utilizzare un gestore multiplex per connetterti a più istanze del database con una singola funzione Lambda. Le richieste vengono indirizzate in base al nome del catalogo. Utilizza le seguenti classi in Lambda.

Gestore Classe
Gestore composito Db2MuxCompositeHandler
Gestore dei metadati Db2MuxMetadataHandler
Gestore dei record Db2MuxRecordHandler
Parametri del gestore multiplex
Parametro Descrizione
$catalog_connection_string Obbligatorio. Una stringa di connessione di un'istanza del database. Appone alla variabile di ambiente un prefisso con il nome del catalogo utilizzato in Athena. Ad esempio, se il catalogo registrato presso Athena è mydb2as400catalog, il nome della variabile di ambiente è mydb2as400catalog_connection_string.
default Obbligatorio. La stringa di connessione predefinita. Questa stringa viene utilizzata quando il catalogo è lambda:${AWS_LAMBDA_FUNCTION_NAME}.

Le seguenti proprietà di esempio si riferiscono a una funzione Lambda Db2 MUX che supporta due istanze del database: db2as4001 (il valore predefinito) e db2as4002.

Proprietà Valore
default db2as400://jdbc:as400://<ip_address>;<properties>;:${<secret name>};
db2as400_catalog1_connection_string db2as400://jdbc:as400://db2as4001.hostname/:${secret1_name}
db2as400_catalog2_connection_string db2as400://jdbc:as400://db2as4002.hostname/:${secret2_name}
db2as400_catalog3_connection_string db2as400://jdbc:as400://<ip_address>;user=<username>;password=<password>;<properties>;
Specifica delle credenziali

Per fornire un nome utente e una password per il database nella stringa di connessione JDBC, puoi utilizzare le proprietà della stringa di connessione o Gestione dei segreti AWS.

  • Stringa di connessione: puoi specificare un nome utente e una password come proprietà nella stringa di connessione JDBC.

    Importante

    Come best practice di sicurezza, non utilizzare credenziali codificate nelle variabili di ambiente o nelle stringhe di connessione. Per informazioni su come trasferire i segreti codificati in Gestione dei segreti AWS, consulta Trasferimento dei segreti codificati in Gestione dei segreti AWS nella Guida per l'utente di Gestione dei segreti AWS.

  • Gestione dei segreti AWS: per utilizzare la funzione Athena Federated Query con Gestione dei segreti AWS, il VPC collegato alla funzione Lambda deve disporre dell'accesso a Internet o di un endpoint VPC per connettersi a Secrets Manager.

    Puoi inserire il nome di un segreto in Gestione dei segreti AWS nella stringa di connessione JDBC. Il connettore sostituisce il nome del segreto con i valori username e password di Secrets Manager.

    Per le istanze del database Amazon RDS, questo supporto è strettamente integrato. Se utilizzi Amazon RDS, ti consigliamo vivamente di utilizzare Gestione dei segreti AWS e la rotazione delle credenziali. Se il tuo database non utilizza Amazon RDS, archivia le credenziali come JSON nel seguente formato:

    {"username": "${username}", "password": "${password}"}
Esempio di stringa di connessione con nome del segreto

La stringa seguente ha il nome del segreto ${secret_name}.

db2as400://jdbc:as400://<ip_address>;<properties>;:${<secret_name>};

Il connettore utilizza il nome del segreto per recuperare i segreti e fornire il nome utente e la password, come nell'esempio seguente.

db2as400://jdbc:as400://<ip_address>;user=<username>;password=<password>;<properties>;

Utilizzo di un gestore a singola connessione

Puoi utilizzare i seguenti gestori di metadati e record a singola connessione per connetterti a una singola istanza Db2 AS/400.

Tipo di gestore Classe
Gestore composito Db2CompositeHandler
Gestore dei metadati Db2MetadataHandler
Gestore dei record Db2RecordHandler
Parametri del gestore a singola connessione
Parametro Descrizione
default Obbligatorio. La stringa di connessione predefinita.

I gestori a singola connessione supportano una sola istanza del database e devono fornire un parametro di stringa di connessione del tipo default. Tutte le altre stringhe di connessione vengono ignorate.

La seguente proprietà di esempio si riferisce a una singola istanza Db2 AS/400 supportata da una funzione Lambda.

Proprietà Valore
default db2as400://jdbc:as400://<ip_address>;<properties>;:${<secret_name>};

Parametri di spill

L'SDK Lambda può riversare i dati su Amazon S3. Tutte le istanze del database a cui accede la stessa funzione Lambda riversano i dati nella stessa posizione.

Parametro Descrizione
spill_bucket Obbligatorio. Nome del bucket di spill.
spill_prefix Obbligatorio. Prefisso della chiave del bucket di spill.
spill_put_request_headers (Facoltativo) Una mappa codificata in JSON delle intestazioni e dei valori della richiesta per la richiesta putObject di Amazon S3 utilizzata per lo spill (ad esempio, {"x-amz-server-side-encryption" : "AES256"}). Per altre possibili intestazioni, consulta l'argomento relativo a PutObject nella Documentazione di riferimento dell'API di Amazon Simple Storage Service.

Supporto dei tipi di dati

Nella tabella seguente vengono illustrati i tipi di dati corrispondenti per JDBC e Apache Arrow.

Db2 AS/400 Arrow
CHAR VARCHAR
VARCHAR VARCHAR
DATE DATEDAY
TIME VARCHAR
TIMESTAMP DATEMILLI
DATETIME DATEMILLI
BOOLEAN BOOL
SMALLINT SMALLINT
INTEGER INT
BIGINT BIGINT
DECIMAL DECIMAL
REAL FLOAT8
DOUBLE FLOAT8
DECFLOAT FLOAT8

Partizioni e suddivisioni

Una partizione è rappresentata da una o più colonne di partizione di tipo varchar. Il connettore Db2 AS/400 crea partizioni utilizzando i seguenti schemi organizzativi.

  • Distribuzione per hash

  • Partizione per intervallo

  • Organizzazione per dimensioni

Il connettore recupera i dettagli delle partizioni come il numero di partizioni e il nome della colonna da una o più tabelle di metadati Db2 AS/400. Le suddivisioni vengono create in base al numero di partizioni distinte ricevute.

Prestazioni

Per prestazioni migliorate, utilizzare il pushdown del predicato per eseguire query su Athena, come negli esempi seguenti.

SELECT * FROM "lambda:<LAMBDA_NAME>"."<SCHEMA_NAME>"."<TABLE_NAME>" 
 WHERE integercol = 2147483647
SELECT * FROM "lambda: <LAMBDA_NAME>"."<SCHEMA_NAME>"."<TABLE_NAME>" 
 WHERE timestampcol >= TIMESTAMP '2018-03-25 07:30:58.878'

Query passthrough

Il connettore Db2 AS/400 supporta le query passthrough. Le query passthrough utilizzano una funzione di tabella per inviare l'intera query all’origine dati per l'esecuzione.

Per utilizzare le query passthrough con Db2 AS/400, è possibile utilizzare la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

La seguente query di esempio invia una query a un’origine dati in Db2 AS/400. La query seleziona tutte le colonne della tabella customer, limitando i risultati a 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Informazioni sulla licenza

Utilizzando questo connettore, riconosci l'inclusione di componenti di terze parti, un elenco dei quali è disponibile nel file pom.xml di questo connettore, e accetti i termini delle rispettive licenze di terze parti fornite nel file LICENSE.txt su GitHub.com.

Risorse aggiuntive

Per informazioni sulla versione più recente del driver JDBC, consultare il file pom.xml del connettore Db2 AS/400 su GitHub.com.

Per ulteriori informazioni su questo connettore, visita il sito corrispondente su GitHub.com.