Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Optimice automáticamente

La optimización automática es un servicio que automatiza las optimizaciones de los índices vectoriales, lo que permite a los usuarios equilibrar la calidad, la velocidad y el coste de la búsqueda sin necesidad de semanas de ajustes manuales por parte de un experto. Evalúa las configuraciones de los índices en función de los requisitos de latencia y recuperación definidos por el usuario y genera recomendaciones de optimización, por lo que se requiere una experiencia mínima. Por lo general, las recomendaciones se entregan en un plazo de 30 a 60 minutos.

La configuración tradicional de índices vectoriales requiere una gran experiencia y experimentación para lograr un rendimiento óptimo. Parámetros como ef_construction (que controla la calidad de creación del índice), m (que determina el número de conexiones gráficas), ef_search (que controla la búsqueda en HNSW) y los métodos de cuantificación (cuantificación binaria (32x, 16x, 8x) y cuantificación escalar (4x)) tienen un impacto significativo tanto en la precisión de la búsqueda como en la utilización de los recursos. La optimización automática utiliza algoritmos de optimización de hiperparámetros para descubrir las configuraciones de índice que son especialmente óptimas para su conjunto de datos, dentro de los requisitos de latencia y recuperación definidos.

Ventajas

La optimización automática para OpenSearch ofrece las siguientes ventajas:

La optimización automática funciona junto con otras OpenSearch funciones, como la optimización integral del rendimiento de Aceleración por GPU para la indexación vectorial las cargas de trabajo de búsqueda vectorial.

Funcionamiento

La optimización automática funciona mediante una arquitectura basada en tareas que analiza los datos vectoriales y proporciona recomendaciones de optimización. Puntos clave:

Requisitos previos

Casos de uso para la optimización automática

La optimización automática es particularmente valiosa en los siguientes escenarios:

Optimización de la configuración inicial

Al implementar por primera vez aplicaciones de búsqueda vectorial, determinar los parámetros óptimos de HNSW a menudo requiere pruebas exhaustivas y experiencia en el campo. La optimización automática elimina este trial-and-error proceso al analizar las características de los datos y la carga de trabajo para recomendar configuraciones listas para la producción.

Este caso de uso es ideal para los equipos que se inician en la búsqueda vectorial o para aquellos que migran desde otras plataformas de bases de datos vectoriales y necesitan establecer rápidamente las configuraciones de referencia.

Optimización del escalado

A medida que el conjunto de datos vectoriales pase de miles a millones de vectores, es posible que los parámetros que funcionaron bien inicialmente no sean óptimos. La optimización automática recomienda ajustes para mantener el rendimiento a escala.

Reducción de costos

Los índices vectoriales pueden consumir importantes recursos de cómputo y almacenamiento, especialmente en el caso de incrustaciones de alta dimensión. La optimización automática identifica las oportunidades de reducir los costos mediante la búsqueda de configuraciones de parámetros más eficientes que mantienen los niveles de rendimiento requeridos y, al mismo tiempo, utilizan menos recursos.

Por ejemplo, la optimización automática podría descubrir que su m valor actual (conectividad de gráficos) es superior al necesario para sus requisitos de precisión, lo que le permitirá reducir el tiempo de indexación y el almacenamiento sin afectar a la calidad de la búsqueda.

Soluciones de problemas de rendimiento

Cuando el rendimiento de las consultas es lento o se produce una latencia alta en las operaciones de búsqueda vectorial, la optimización automática puede analizar el conjunto de datos e identificar una configuración más óptima. El servicio proporciona recomendaciones específicas para abordar los cuellos de botella en el rendimiento, como ajustar la conectividad de los gráficos o los parámetros de búsqueda.

Limitaciones

Facturación y costos

La optimización automática utiliza un modelo de precios por trabajo en el que se paga por cada trabajo de optimización exitoso, independientemente del tamaño del conjunto de datos y de las configuraciones de optimización. No se le cobrará por los trabajos fallidos o cancelados. Además, la optimización automática se ejecuta en una infraestructura diferente a la de los OpenSearch clústeres administrados o sin servidor, por lo que no afecta a la utilización de los recursos de los clústeres preexistentes.

Modelo de precios

Los costes de optimización automática se facturan por separado de los costes de almacenamiento e informática estándar de dominios OpenSearch gestionados o OpenSearch sin servidor.

Para obtener información sobre precios, consulta Amazon OpenSearch Service Pricing.

Convierte JSONL a Parquet

Si sus datos están en formato JSONL, puede usar el siguiente script de Python para convertirlos al formato Parquet y usarlos con la optimización automática:

#!/usr/bin/env python3
import json
import pyarrow as pa
import pyarrow.parquet as pq
from pathlib import Path
from typing import Any, Dict, List


def load_json_any(path: Path) -> List[Dict[str, Any]]:
    """
    Load JSON that can be:
      - a list of objects
      - a single object
      - JSON Lines (one object per line)
    Returns list[dict].
    """
    text = path.read_text().strip()

    # Try full JSON file
    try:
        obj = json.loads(text)
        if isinstance(obj, list):
            return obj
        if isinstance(obj, dict):
            return [obj]
    except json.JSONDecodeError:
        pass

    # Fallback → JSON Lines
    records = []
    for i, line in enumerate(text.splitlines(), start=1):
        line = line.strip()
        if not line:
            continue
        try:
            rec = json.loads(line)
        except json.JSONDecodeError as e:
            raise ValueError(f"Invalid JSON on line {i}: {e}")
        if not isinstance(rec, dict):
            raise ValueError(f"Line {i} must contain a JSON object")
        records.append(rec)

    return records


def json_to_parquet(json_path: str, parquet_path: str, compression: str = "snappy"):
    """Convert ANY JSON to Parquet (schema inferred)."""
    records = load_json_any(Path(json_path))
    table = pa.Table.from_pylist(records)
    pq.write_table(table, parquet_path, compression=compression)
    print(f"✔ Wrote {len(records)} rows to {parquet_path}")


def print_parquet_rows(parquet_path: str, limit: int = 5):
    """Print first N rows from the parquet file."""
    table = pq.read_table(parquet_path)
    df = table.to_pandas()

    print(f"\n=== Showing first {min(limit, len(df))} rows from {parquet_path} ===")
    print(df.head(limit).to_string())
    print("===========================================================\n")


if __name__ == "__main__":
    INPUT_JSON = "movies_10k.json"
    OUTPUT_PARQUET = "movies.parquet"

    # Convert JSON → Parquet
    json_to_parquet(INPUT_JSON, OUTPUT_PARQUET)

    # Print some rows from Parquet
    print_parquet_rows(OUTPUT_PARQUET, limit=3)

Características relacionadas

La optimización automática funciona junto con otras funciones de Amazon OpenSearch Service para ayudarte a crear y optimizar aplicaciones de búsqueda vectorial: