Consulta directa de datos de Amazon S3 en Service OpenSearch

Las consultas interactivas se utilizan para rellenar el selector de datos y realizar análisis de los datos en Amazon S3. Cuando ejecuta una nueva consulta desde Discover, OpenSearch Service inicia una nueva sesión que dura un mínimo de tres minutos. OpenSearch El servicio mantiene esta sesión activa para garantizar que las consultas posteriores se ejecuten rápidamente.

Las consultas de vistas indexadas utilizan el procesamiento para mantener las vistas indexadas en el OpenSearch Servicio. Estas consultas suelen tardar más porque ingieren una cantidad de datos variable en un índice con nombre. En el caso de los orígenes de datos de Amazon S3, los datos indexados se almacenan en un dominio en función del tipo de instancia adquirido.

La consulta directa para S3 solo está disponible en los dominios de OpenSearch servicio que ejecutan la OpenSearch versión 2.13 o posterior y requieren acceso a AWS Glue Data Catalog. AWS Glue Data Catalog Las tablas existentes se deben volver a crear con SQL en OpenSearch Query Workbench.

La consulta directa para S3 requiere que se especifique un bucket de puntos de control en Amazon S3. Este bucket mantiene el estado de las vistas indexadas, incluida la hora de la última actualización y los datos ingeridos más recientemente.

Su OpenSearch dominio y AWS Glue Data Catalog deben estar en el mismo dominio. Cuenta de AWS Su bucket de S3 puede estar en una cuenta diferente (es necesario añadir una condición a su política de IAM), pero debe estar en la Región de AWS misma cuenta que su dominio.

OpenSearch Las consultas directas de servicio con S3 solo admiten las tablas de Spark generadas desde Query Workbench. Las tablas generadas dentro de Athena AWS Glue Data Catalog o Athena no son compatibles con la transmisión de Spark, que es necesaria para mantener las vistas indexadas.

OpenSearch los tipos de instancias tienen limitaciones de carga útil de red de 10 MiB o 100 MiB, según el tipo de instancia específico que elijas.

Algunos tipos de datos no son compatibles. Los tipos de datos admitidos se limitan a Parquet, CSV y JSON.

Si la estructura de los datos cambia con el tiempo, tendrás que actualizar las vistas indexadas o las out-of-the-box integraciones para tener en cuenta los cambios en la estructura de datos.

AWS CloudFormation las plantillas aún no son compatibles.

OpenSearch Las sentencias SQL y OpenSearch PPL tienen limitaciones diferentes cuando se trabaja con OpenSearch índices en comparación con el uso de consultas directas. Direct Query admite comandos avanzados JOINs, como subconsultas y búsquedas, mientras que la compatibilidad con estos comandos en los OpenSearch índices es limitada o inexistente. Para obtener más información, consulte Comandos SQL y PPL compatibles.

Ingiera datos en Amazon S3 mediante formatos de partición de año, mes, día y hora para acelerar las consultas.

Cuando cree índices de omisión, utilice los filtros Bloom para los campos con una cardinalidad alta y los min/max índices para los campos con rangos de valores amplios. Para los campos de cardinalidad alta, considere la posibilidad de utilizar un enfoque basado en valores para mejorar la eficiencia de las consultas.

Utilice Administración de estados de índice para mantener el almacenamiento de las vistas materializadas y los índices de cobertura.

Utilice la función COALESCE SQL para administrar las columnas que faltan y garantizar que se devuelvan los resultados.

Aplica límites a tus consultas para asegurarte de no recuperar demasiados datos.

Asia-Pacífico (Hong Kong)

Asia-Pacífico (Mumbai)

Asia-Pacífico (Seúl)

Asia-Pacífico (Singapur)

Asia-Pacífico (Sídney)

Asia-Pacífico (Tokio)

Canadá (centro)

Europa (Fráncfort)

Europa (Irlanda)

Europa (Estocolmo)

Este de EE. UU. (Norte de Virginia)

Este de EE. UU. (Ohio)

Oeste de EE. UU. (Oregón)