Connettore Amazon Athena OpenSearch

OpenSearch Service

Il connettore Amazon Athena OpenSearch consente ad Amazon Athena di comunicare con le istanze OpenSearch in modo da poter eseguire query sui dati OpenSearch con SQL.

Questo connettore può essere registrato con il Catalogo dati Glue come catalogo federato. Supporta controlli di accesso ai dati definiti in Lake Formation a livello di catalogo, database, tabella, colonna, riga e tag. Questo connettore utilizza Connessioni Glue per centralizzare le proprietà di configurazione in Glue.

Se hai abilitato Lake Formation nel tuo account, il ruolo IAM per il connettore Lambda federato Athena che hai implementato nel file AWS Serverless Application Repository deve avere accesso in lettura in Lake Formation per il AWS Glue Data Catalog.

Prerequisiti

Termini

I seguenti termini si riferiscono al connettore OpenSearch.

Parametri

Utilizza i parametri mostrati in questa sezione per configurare il connettore OpenSearch.

aws glue describe-connection-type --connection-type OPENSEARCH

Configurazione di database e tabelle in AWS Glue

Il connettore ottiene informazioni sui metadati utilizzando AWS Glue oppure OpenSearch. Puoi configurare una tabella AWS Glue come origine di definizione dei metadati supplementare. Per abilitare questa funzione, definisci un database e una tabella AWS Glue che corrispondano al dominio e all'indice dell'origine che stai integrando. Il connettore può anche sfruttare le definizioni dei metadati archiviate nell'istanza OpenSearch recuperando la mappatura per l'indice specificato.

Definizione dei metadati per le matrici in OpenSearch

OpenSearch non dispone di un tipo di dati di matrice dedicato. Qualsiasi campo può contenere zero o più valori purché siano dello stesso tipo di dati. Se desideri utilizzare OpenSearch come origine di definizione dei metadati, devi definire una proprietà _meta per tutti gli indici utilizzati con Athena per i campi che devono essere considerati un elenco o una matrice. Se non completi questo passaggio, le query restituiscono solo il primo elemento nel campo elenco. Quando specifichi la proprietà _meta, i nomi dei campi devono essere completamente qualificati per le strutture JSON nidificate (ad esempio, address.street, dove street è un campo nidificato all'interno di una struttura address).

L'esempio seguente definisce gli elenchi actor e genre nella tabella movies.

PUT movies/_mapping 
{ 
  "_meta": { 
    "actor": "list", 
    "genre": "list" 
  } 
}

Tipi di dati

Il connettore OpenSearch può estrarre le definizioni dei metadati da AWS Glue o dall'istanza OpenSearch. Il connettore utilizza la mappatura illustrata nella seguente tabella per convertire le definizioni in tipi di dati Apache Arrow, inclusi i punti indicati nella sezione seguente.

Note sui tipi di dati

Esecuzione di query SQL

Di seguito sono riportati alcuni esempi di query DDL che puoi utilizzare con questo connettore. Negli esempi, function_name corrisponde al nome della funzione Lambda, domain è il nome del dominio su cui desideri eseguire una query e index è il nome del tuo indice.

SHOW DATABASES in `lambda:function_name`

SHOW TABLES in `lambda:function_name`.domain

DESCRIBE `lambda:function_name`.domain.index

Prestazioni

Il connettore OpenSearch per Athena supporta le scansioni in parallelo basate su partizione. Il connettore utilizza le informazioni sullo stato del cluster recuperate dall'istanza OpenSearch per generare più richieste per una query di ricerca di documenti. Le richieste vengono suddivise per ogni partizione ed eseguite in simultanea.

Il connettore inoltre esegue il pushdown dei predicati come parte delle sue query di ricerca di documenti. I seguenti query e predicato di esempio mostrano come il connettore utilizza il pushdown del predicato.

Query

SELECT * FROM "lambda:elasticsearch".movies.movies 
WHERE year >= 1955 AND year <= 1962 OR year = 1996

Predicate

(_exists_:year) AND year:([1955 TO 1962] OR 1996)

Query passthrough

Il connettore OpenSearch supportale query passthrough e utilizza il linguaggio QueryDSL. Per ulteriori informazioni sull'esecuzione di query con Query DSL, consulta Query DSL nella documentazione di Elasticsearch o Query DSL nella documentazione di OpenSearch.

Per utilizzare le query passthrough con il connettore OpenSearch, utilizzare la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            schema => 'schema_name',
            index => 'index_name',
            query => "{query_string}"
        ))

Il seguente esempio di filtri di query passthrough di OpenSearch per i dipendenti con status occupazionale attivo nell'indice employee dello schema default.

SELECT * FROM TABLE(
        system.query(
            schema => 'default',
            index => 'employee',
            query => "{ ''bool'':{''filter'':{''term'':{''status'': ''active''}}}}"
        ))

Risorse aggiuntive