Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

# Plug-ins et options pris en charge pour les pipelines OpenSearch Amazon Ingestion
<a name="pipeline-config-reference"></a>

Amazon OpenSearch Ingestion prend en charge un sous-ensemble de sources, de processeurs et de récepteurs au sein de [OpenSearch Data Prepper](https://opensearch.org/docs/latest/data-prepper/) open source. En outre, OpenSearch Ingestion impose certaines contraintes aux options disponibles pour chaque plugin pris en charge. Les sections suivantes décrivent les plugins et les options associées pris en charge OpenSearch par Ingestion.

**Note**  
OpenSearch Ingestion ne prend en charge aucun plug-in de mémoire tampon car elle configure automatiquement une mémoire tampon par défaut. Vous recevez une erreur de validation si vous incluez une mémoire tampon dans la configuration de votre pipeline.

**Topics**
+ [Plugins pris en charge](#ingestion-plugins)
+ [Processeurs apatrides et processeurs dynamiques](#processor-stateful-stateless)
+ [Exigences et contraintes de configuration](#ingestion-parameters)

## Plugins pris en charge
<a name="ingestion-plugins"></a>

OpenSearch Ingestion prend en charge les plug-ins Data Prepper suivants :

**Les sources** :
+ [DocumentDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/documentdb/)
+ [DynamoDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/dynamo-db/)
+ [HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/)
+ [Kafka](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kafka/)
+ [Kinesis](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kinesis/)
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/opensearch/)
+ [OTel journaux](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)
+ [OTel métriques](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)
+ [OTel trace](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/)

**Processeurs** :
+ [Ajouter des entrées](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/add-entries/)
+ [Regrouper](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/)
+ [Détecteur d'anomalies](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/anomaly-detector/)
+ [AWS Lambda](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aws-lambda/)
+ [Convertir le type d'entrée](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/convert-entry-type/)
+ [Copier les valeurs](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/copy-values/)
+ [CSV](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/csv/)
+ [Date](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/date/)
+ [Retard](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delay/)
+ [Décompresser](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/decompress/)
+ [Supprimer des entrées](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delete-entries/)
+ [Disséquer](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/dissect/)
+ [Supprimer des événements](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/drop-events/)
+ [Aplatir](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/flatten/)
+ [Géo-IP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/geoip/)
+ [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/)
+ [Valeur clé](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/key-value/)
+ [Liste à cartographier](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/list-to-map/)
+ [Chaîne en minuscules](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/lowercase-string/)
+ [De la carte à la liste](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/map-to-list/)
+ [Événement de mutation](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-event/) (série de processeurs)
+ [Chaîne mutante](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-string/) (série de processeurs)
+ [Masquer](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/obfuscate/)
+ [OTel métriques](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-metrics/)
+ [OTel groupe de traces](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/)
+ [OTel trace](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Analyser l'ion](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-ion/)
+ [Analyser le JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-json/)
+ [Analyser le XML](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-xml/)
+ [Renommer les clés](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/rename-keys/)
+ [Sélectionnez les entrées](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/select-entries/)
+ [Cartographie des services](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Événement partagé](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-event/)
+ [Chaîne fendue](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-string/)
+ [Convertisseur de chaînes](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/string-converter/)
+ [Chaîne de substitution](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/substitute-string/)
+ [Redirecteur Trace Peer](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trace-peer-forwarder/)
+ [Translate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/translate/)
+ [Corde à découper](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trim-string/)
+ [Tronquer](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/truncate/)
+ [Chaîne en majuscules](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/uppercase-string/)
+ [Agent utilisateur](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/user-agent/)
+ [Écrire du JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/write-json/)

**Éviers** :
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/)(prend en charge OpenSearch Service, OpenSearch Serverless et Elasticsearch 6.8 ou version ultérieure)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/)

**Codecs Sink** :
+ [Avro](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#avro-codec)
+ [NDISSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#ndjson-codec)
+ [JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#json-codec)
+ [Parquet](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#parquet-codec)

## Processeurs apatrides et processeurs dynamiques
<a name="processor-stateful-stateless"></a>

Les processeurs *sans état* exécutent des opérations telles que les transformations et le filtrage, tandis que les *processeurs statiques* exécutent des opérations telles que des agrégations, qui mémorisent le résultat de l'exécution précédente. OpenSearch L'ingestion prend en charge les processeurs dynamiques [Aggregate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/) et [Service-MAP](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/). Tous les autres processeurs pris en charge sont apatrides.

Pour les pipelines contenant uniquement des processeurs apatrides, la limite de capacité maximale est de 96 ingestions. OCUs Si un pipeline contient des processeurs dynamiques, la limite de capacité maximale est de 48 OCUs ingestions. Toutefois, si la mise en [mémoire tampon persistante](osis-features-overview.md#persistent-buffering) est activée sur un pipeline, il peut avoir un maximum de 384 ingestions OCUs avec uniquement des processeurs sans état, ou de 192 ingestions OCUs s'il contient des processeurs statiques. Pour de plus amples informations, veuillez consulter [Dimensionnement des pipelines dans Amazon OpenSearch Ingestion](ingestion-scaling.md).

End-to-end l'accusé de réception n'est pris en charge que pour les processeurs apatrides. Pour de plus amples informations, veuillez consulter [End-to-end accusé de réception](osis-features-overview.md#osis-features-e2e).

## Exigences et contraintes de configuration
<a name="ingestion-parameters"></a>

Sauf indication contraire ci-dessous, toutes les options décrites dans la référence de configuration de Data Prepper pour les plug-ins pris en charge répertoriés ci-dessus sont autorisées dans les pipelines OpenSearch d'ingestion. Les sections suivantes expliquent les contraintes imposées OpenSearch par Ingestion à certaines options du plugin.

**Note**  
OpenSearch Ingestion ne prend en charge aucun plug-in de mémoire tampon car elle configure automatiquement une mémoire tampon par défaut. Vous recevez une erreur de validation si vous incluez une mémoire tampon dans la configuration de votre pipeline.

De nombreuses options sont configurées et gérées en interne par OpenSearch Ingestion, telles que `authentication` et`acm_certificate_arn`. D'autres options, telles que `thread_count` et`request_timeout`, ont un impact sur les performances si elles sont modifiées manuellement. Par conséquent, ces valeurs sont définies en interne afin de garantir des performances optimales de vos pipelines.

Enfin, certaines options ne peuvent pas être transmises à OpenSearch Ingestion, comme `ism_policy_file` et`sink_template`, car il s'agit de fichiers locaux lorsqu'ils sont exécutés dans Data Prepper open source. Ces valeurs ne sont pas prises en charge.

**Topics**
+ [Options générales en matière de pipeline](#ingestion-params-general)
+ [Processeur Grok](#ingestion-params-grok)
+ [Source HTTP](#ingestion-params-http)
+ [OpenSearch évier](#ingestion-params-opensearch)
+ [OTel source des métriques, source de OTel trace et source OTel des journaux](#ingestion-params-otel-source)
+ [OTel processeur de groupe de traces](#ingestion-params-otel-trace)
+ [OTel processeur de traçage](#ingestion-params-otel-raw)
+ [Processeur Service-Map](#ingestion-params-servicemap)
+ [Source S3](#ingestion-params-s3)

### Options générales en matière de pipeline
<a name="ingestion-params-general"></a>

Les [options générales de pipeline](https://docs.opensearch.org/latest/data-prepper/pipelines/pipelines/) suivantes sont définies par OpenSearch Ingestion et ne sont pas prises en charge dans les configurations de pipeline :
+ `workers`
+ `delay`

### Processeur Grok
<a name="ingestion-params-grok"></a>

Les options de processeur [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/) suivantes ne sont pas prises en charge :
+ `patterns_directories`
+ `patterns_files_glob`

### Source HTTP
<a name="ingestion-params-http"></a>

Le plugin source [HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/) présente les exigences et contraintes suivantes :
+ L'`path`option est *obligatoire*. Le chemin est une chaîne telle que`/log/ingest`, qui représente le chemin de l'URI pour l'ingestion du journal. Ce chemin définit l'URI que vous utilisez pour envoyer des données au pipeline. Par exemple, `https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}`. Le chemin doit commencer par une barre oblique (/) et peut contenir les caractères spéciaux « - », « \_ », « » . ', et'/', ainsi que l'`${pipelineName}`espace réservé.
+ Les options de source HTTP suivantes sont définies par OpenSearch Ingestion et ne sont pas prises en charge dans les configurations de pipeline :
  + `port`
  + `ssl`
  + `ssl_key_file`
  + `ssl_certificate_file`
  + `aws_region`
  + `authentication`
  + `unauthenticated_health_check`
  + `use_acm_certificate_for_ssl`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `max_pending_requests`
  + `health_check_service`
  + `acm_private_key_password`
  + `acm_certificate_timeout_millis`
  + `acm_certificate_arn`

### OpenSearch évier
<a name="ingestion-params-opensearch"></a>

Le plugin [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/)sink présente les exigences et limites suivantes.
+ L'`aws`option est *obligatoire* et doit contenir les options suivantes :
  + `sts_role_arn`
  + `region`
  + `hosts`
  + `serverless`(si le récepteur est une collection OpenSearch sans serveur)
+ L'`sts_role_arn`option doit pointer vers le même rôle pour chaque récepteur dans un fichier de définition YAML.
+ L'`hosts`option doit spécifier un point de terminaison OpenSearch de domaine de service ou un point de terminaison de collecte OpenSearch sans serveur. Vous ne pouvez pas spécifier de point de [terminaison personnalisé](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/customendpoint.html) pour un domaine ; il doit s'agir du point de terminaison standard.
+ Si l'`hosts`option est un point de terminaison de collecte sans serveur, vous devez définir l'`serverless`option sur`true`. De plus, si votre fichier de définition YAML contient l'`index_type`option, elle doit être définie sur`management_disabled`, sinon la validation échoue.
+ Les options suivantes ne sont pas prises en charge :
  + `username`
  + `password`
  + `cert`
  + `proxy`
  + `dlq_file`- Si vous souhaitez transférer les événements ayant échoué vers une file d'attente morte (DLQ), vous devez utiliser l'`dlq`option et spécifier un compartiment S3.
  + `ism_policy_file`
  + `socket_timeout`
  + `template_file`
  + `insecure`

### OTel source des métriques, source de OTel trace et source OTel des journaux
<a name="ingestion-params-otel-source"></a>

Les plug-ins source de [OTel métriques](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/), source de [OTel trace](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/) et source de [OTel journaux](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/) présentent les exigences et limites suivantes :
+ L'`path`option est *obligatoire*. Le chemin est une chaîne telle que`/log/ingest`, qui représente le chemin de l'URI pour l'ingestion du journal. Ce chemin définit l'URI que vous utilisez pour envoyer des données au pipeline. Par exemple, `https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}`. Le chemin doit commencer par une barre oblique (/) et peut contenir les caractères spéciaux « - », « \_ », « » . ', et'/', ainsi que l'`${pipelineName}`espace réservé.
+ Les options suivantes sont définies par OpenSearch Ingestion et ne sont pas prises en charge dans les configurations de pipeline :
  + `port`
  + `ssl`
  + `sslKeyFile`
  + `sslKeyCertChainFile`
  + `authentication`
  + `unauthenticated_health_check`
  + `useAcmCertForSSL`
  + `unframed_requests`
  + `proto_reflection_service`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `acmPrivateKeyPassword`
  + `acmCertIssueTimeOutMillis`
  + `health_check_service`
  + `acmCertificateArn`
  + `awsRegion`

### OTel processeur de groupe de traces
<a name="ingestion-params-otel-trace"></a>

Le processeur de [groupe de OTel traces](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/) présente les exigences et limites suivantes :
+ L'`aws`option est *obligatoire* et doit contenir les options suivantes :
  + `sts_role_arn`
  + `region`
  + `hosts`
+ L'`sts_role_arn`option spécifie le même rôle que le rôle de pipeline que vous spécifiez dans la configuration du OpenSearch récepteur.
+ Les `insecure` options`username`, `password``cert`, et ne sont pas prises en charge.
+ L'`aws_sigv4`option est obligatoire et doit être définie sur true.
+ L'`serverless`option du plugin OpenSearch sink n'est pas prise en charge. Le processeur de groupe de traces Otel ne fonctionne pas actuellement avec les collections OpenSearch sans serveur.
+ Le nombre de `otel_trace_group` processeurs dans le corps de configuration du pipeline ne peut pas dépasser 8.

### OTel processeur de traçage
<a name="ingestion-params-otel-raw"></a>

Le processeur de [OTel suivi](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/otel-traces/) présente les exigences et limites suivantes :
+ La valeur de l'`trace_flush_interval`option ne peut pas dépasser 300 secondes.

### Processeur Service-Map
<a name="ingestion-params-servicemap"></a>

Le processeur [Service-Map](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/) présente les exigences et limites suivantes :
+ La valeur de l'`window_duration`option ne peut pas dépasser 300 secondes.

### Source S3
<a name="ingestion-params-s3"></a>

Le plugin source [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/) présente les exigences et limites suivantes :
+ L'`aws`option est *obligatoire* et doit contenir `region` des `sts_role_arn` options.
+ La valeur de l'`records_to_accumulate`option ne peut pas dépasser 200.
+ La valeur de l'`maximum_messages`option ne peut pas dépasser 10.
+ Si elle est spécifiée, l'`disable_bucket_ownership_validation`option doit être définie sur false.
+ Si elle est spécifiée, l'`input_serialization`option doit être définie sur`parquet`.