Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Optimisé pour l'analyse des journaux
Amazon OpenSearch Service optimisé pour l'analyse des journaux est une nouvelle option de moteur qui combine le stockage analytique en colonnes avec la recherche en texte intégral dans un seul service géré. Grâce au moteur optimisé, vous bénéficiez d'un rapport prix/performances nettement supérieur pour les charges de travail d'analyse des journaux. Vous conservez également la recherche en texte intégral pour les enquêtes sur les incidents.
Présentation de
Le moteur optimisé est un nouveau mode moteur d'Amazon OpenSearch Service. Vous utilisez la même console, les mêmes API, le même modèle de sécurité et la même configuration réseau que ceux que vous utilisez déjà avec le moteur à usage général.
Avec le moteur optimisé, vous bénéficiez des améliorations suivantes pour les charges de travail d'analyse des journaux :
-
Rapport prix/performances amélioré : la compression en colonnes et l'utilisation efficace des instances réduisent le coût d'exécution de l'analyse des journaux à grande échelle.
-
Stockage réduit : le format en colonnes Apache Parquet compresse les données de journal de manière significative par rapport aux structures d'indexation traditionnelles.
-
Ingestion plus rapide — Un chemin d'écriture en colonnes vectorisé augmente le débit d'ingestion.
-
Requêtes analytiques plus rapides : l'exécution vectorisée sur des données en colonnes accélère les agrégations, les filtres et l'analyse des tendances.
-
Recherche et analyse unifiées : les prédicats de Full-text recherche sont exécutés dans des requêtes analytiques portant sur les mêmes données, dans un seul service.
Le tableau suivant compare les deux modes du moteur.
| Mode moteur | Idéal pour |
|---|---|
| Usage général | Search-heavy et des charges de travail mixtes avec des mises à jour fréquentes (commerce électronique, découverte de contenu, recherche d'applications) |
| Optimisé (recommandé pour l'analyse des journaux) | Append-only journaux et analyse des journaux à l'échelle de plusieurs téraoctets |
Quand utiliser chaque mode moteur
Utilisez le moteur optimisé lorsque votre charge de travail est dominée par les agrégations, les filtres et l'analyse des tendances sur les journaux, et que vous avez également besoin d'une recherche en texte intégral lors d'incidents. Les exemples incluent l'analyse des applications, de l'infrastructure et des journaux de sécurité à l'échelle de plusieurs téraoctets par jour.
Utilisez le moteur General Purpose lorsque votre charge de travail dépend du classement par pertinence, des requêtes d'objets imbriqués, des scripts Painless, des requêtes géographiques, des vector/semantic recherches ou des mises à jour fréquentes de documents sur place. Les exemples incluent la recherche dans le commerce électronique, la découverte de contenu et la recherche d'applications.
Comment ça marche
Le moteur optimisé utilise la meilleure structure de données pour chaque opération. Le moteur stocke les données du journal sous forme de colonnes à des fins d'analyse. Il conserve un index de recherche pour la recherche en texte intégral et achemine chaque requête vers le composant le mieux adapté.
Le tableau suivant décrit les composants du moteur optimisé.
| Composant | Role |
|---|---|
| Apache Parquet | Format de stockage en colonnes ouvert. Stockage principal pour les données du journal. Permet une réduction significative du stockage par rapport aux structures d'indexation traditionnelles. |
| Indice inversé Lucene | Conservé pour la recherche en texte intégral sur le contenu du journal (correspondance entre phrases, flous, caractères génériques). |
| Calcite Apache | Analyseur, planificateur et optimiseur SQL. S'exécute sur le nœud coordinateur en tant que interface unique pour tous les langages de requête. |
| DataFusion | Moteur d'exécution vectorisé ()Rust-based. Exécute des opérations analytiques (agrégations, filtres, analyses de plages) sur des données en colonnes. |
| Apache | In-memory format colonnaire. Permet le transfert de données sans copie et le traitement vectorisé. |
| Amazon S3 | Support durable pour les fichiers Parquet et les segments à index inversé. |
| OpenSearch UI | Interface de requête et de visualisation pour les domaines optimisés (barre de requête PPL, assistance aux requêtes en langage naturel). |
Les données sont saisies via les API REST et les bibliothèques clientes existantes (aucun nouvel agent ou pipeline n'est requis). Le moteur écrit les données dans le parquet en colonnes à des fins d'analyse. Pour les champs configurés comme consultables, il écrit également dans un index inversé Lucene. PPL et SQL s'exécutent de manière native via le moteur vectorisé. Full-text les prédicats de recherche s'exécutent sur l'index inversé et peuvent être combinés avec des analyses dans une seule instruction.
Les requêtes passent par un nœud coordinateur (planification et fusion) et des nœuds de données (exécution et stockage). Le coordinateur analyse et optimise la requête, puis planifie les fragments vers les nœuds de données. Sur chaque nœud de données, les opérations analytiques s'exécutent sur le DataFusion moteur tandis que les opérations de recherche s'exécutent sur le moteur Lucene. Les deux peuvent être transférés en cours de requête, de sorte qu'une requête qui recherche le contenu des journaux et agrège les résultats s'exécute sans allers-retours supplémentaires.
Disponibilité dans les Régions
Amazon OpenSearch Service optimisé pour l'analyse des journaux est disponible dans les versions suivantes Régions AWS :
USA Est (Virginie du Nord) –
us-east-1USA Est (Ohio) –
us-east-2USA Ouest (Oregon) –
us-west-2Canada (Centre) –
ca-central-1Asie-Pacifique (Mumbai)
Asie-Pacifique (Singapour)
Asie-Pacifique (Sydney)
Asie-Pacifique (Tokyo)
Europe (Francfort)
Europe (Irlande)
Europe (Londres)
Europe (Espagne)
