View a markdown version of this page

Unterstützte Inhaltstypen: JSON, Avro, Protobuf und Raw Bytes - Amazon EventBridge

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Unterstützte Inhaltstypen: JSON, Avro, Protobuf und Raw Bytes

PutRawEventsakzeptiert alle Bytes. Jeder Eintrag SystemMetadata.ContentType gibt an, EventBridge was die Byte sind. Dieser Wert entscheidet, ob die Nutzdaten EventBridge deserialisiert werden, bevor sie das Ereignis filtert und ausgibt. EventBridge Deserialisiert bei Avro und Protobuf die Payload anhand einer Schemaregistry, die Sie in der Anfrage benennen. Abonnenten filtern und transformieren dann das Ereignis und empfangen es als JSON. Bei undurchsichtigen Bytes wird die EventBridge Nutzlast unverändert übertragen.

ContentType Was EventBridge macht das mit der Payload Schema Registry
application/json Filtert und transformiert den JSON-Inhalt Nicht verwendet
application/avro Deserialisiert die Avro-Binärdatei in JSON und filtert und transformiert dann diese JSON-Datei Erforderlich
application/protobuf Deserialisiert die Protobuf-Binärdatei in JSON und filtert und transformiert dann diese JSON-Datei Erforderlich
application/octet-stream Deserialisiert oder überprüft die Payload nicht. Liefert die Bytes so, wie sie gesendet wurden Nicht verwendet

Wie EventBridge deserialisiert eine Nutzlast

Wenn ein Eintrag application/avro oder ContentType istapplication/protobuf, werden die folgenden Schritte EventBridge für diesen Eintrag ausgeführt.

  1. EventBridge liest den Schema-Identifier, den der Serializer der Registrierung in die Payload-Bytes geschrieben hat.

  2. EventBridge ruft das passende Schema aus der Registry ab, in der Sie einen Namen angebenSchemaRegistryConfiguration.RegistryUri, und deserialisiert die Payload nach JSON. Wenn das Schema EventBridge nicht gefunden oder gelesen werden kann oder die Payload nicht anhand des Schemas deserialisiert werden kann, schlägt der Eintrag fehl und es wird ein Fehler pro Eintrag angezeigt. Die anderen Einträge in der Anfrage sind davon nicht betroffen.

  3. Wenn ein Abonnent Filter definiert, werden diese anhand des deserialisierten JSON-Codes EventBridge ausgewertet.

  4. EventBridge wendet die Transformation des Abonnenten auf das deserialisierte JSON an und übermittelt JSON an das Ziel.

Sie geben der Registrierung bei jeder PutRawEvents Anfrage einen Namen, in. SchemaRegistryConfiguration.RegistryUri Die Einstellung gehört zur Anfrage, nicht zum Bus, und EventBridge ignoriert sie für JSON-Einträge in derselben Anfrage. EventBridge liest die Registrierung mit den Anmeldeinformationen des Aufrufers, sodass die Identität, die veröffentlicht, Lesezugriff auf die Registrierung benötigt.

Nach der Deserialisierung verhält sich das Ereignis wie jedes JSON-Ereignis, das mit veröffentlicht wurde. PutRawEvents Ein Filter mit einem Gültigkeitsbereich von DATA gleicht Felder des deserialisierten Datensatzes anhand ihrer Schemanamen ab. Ein JSONata-Transformator adressiert sie unter$events.Data, und ein Ziel empfängt JSON. EventBridge setzt außerdem drei Schlüssel in den gelieferten. SystemMetadata

  • aws:SchemaId: der Bezeichner des Schemas, mit dem EventBridge deserialisiert wurde; eine UUID für AWS Glue, eine Ganzzahl für Confluent.

  • aws:RegistryType: die Registry, die das Ereignis dekodiert hat, oder. Glue Confluent Ereignisse, die mit veröffentlicht wurden, tragen es PutEvents nie.

  • ContentType: Der Inhaltstyp des veröffentlichten Eintrags, zum Beispielapplication/avro.

Wählen Sie aus, wie EventBridge Ihre Payload geliefert wird

ContentTypewählt einen von zwei Lieferwegen aus.

  • Zu JSON deserialisieren. Auf oder setzenContentType. application/avro application/protobuf EventBridge deserialisiert die Payload anhand Ihrer Schemaregistry, und Abonnenten filtern nachDATA, transformieren sie mit JSONata und empfangen JSON. Verwenden Sie diesen Pfad, wenn Sie ein inhaltsbasiertes Routing und eine Umformung schemacodierter Ereignisse wünschen.

  • Liefert unangetastete Bytes. Eingestellt ContentType auf. application/octet-stream EventBridge deserialisiert oder überprüft die Nutzlast nicht, es ist keine Schemaregistrierung beteiligt, und der Abonnent erhält genau die Byte, die Sie gesendet haben. Verwenden Sie diesen Pfad, wenn Sie die Payload selbst am Ziel deserialisieren oder wenn der Inhalt ein Format hat, das nicht deserialisiert wird. EventBridge

Deserialisieren mit dem AWS Glue-Schemaregistrierung

Auf RegistryUri den Registrierungs-ARN des Formulars gesetztarn:aws:glue:region:account-id:registry/name. Kodieren Sie die Payload vor der Veröffentlichung mit dem AWS Glue Schema Registry Serializer für Ihre Sprache. Der Serializer bettet die Schemareferenz ein, die zur Auflösung und Deserialisierung des Ereignisses EventBridge verwendet wird.

EventBridge liest das Schema als Aufrufer für die Veröffentlichung, also gewähren Sie der Veröffentlichungsidentität Lesezugriff auf die Registrierung und ihre Schemas. Die folgende Richtlinie gewährt die Mindestberechtigung, die auf eine Registrierung beschränkt ist.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "glue:GetSchemaVersion", "Resource": [ "arn:aws:glue:us-east-1:111122223333:registry/orders", "arn:aws:glue:us-east-1:111122223333:schema/orders/*" ] } ] }

Veröffentlichen Sie die schemakodierten Bytes mit dem Glue-Registry ARN in. RegistryUri

aws eventsv2 put-raw-events \ --event-bus-arn arn:aws:events:us-east-1:111122223333:event-busv2/orders/EXAMPLE1234567890abcdef \ --schema-registry-configuration RegistryUri=arn:aws:glue:us-east-1:111122223333:registry/orders \ --entries '[ { "Data": "base64-encoded-avro-bytes", "SystemMetadata": { "ContentType": "application/avro", "EventGroupId": "order-1001" } } ]'

Ein Abonnent filtert dann nach dem deserialisierten Datensatz. Wenn das Avro-Schema ein Feld mit dem Namen hatorderId, entspricht der folgende Filter einer Reihenfolge.

{ "Scope": "DATA", "Pattern": "{\"orderId\":[\"1001\"]}" }

Deserialisierung mit einer Confluent Schema Registry

Auf die RegistryUri HTTPS-URL der Registrierung eingestellt. Eine HTTPS-Registrierung benötigt auch den ARN einer EventBridge VerbindungSchemaRegistryConfiguration.ConfluentPublicRegistryConfiguration.ConnectionArn, die den API-Schlüssel oder die OAuth-Anmeldeinformationen der Registrierung enthält. Die Verbindung muss zum anrufenden Konto gehören. Eine kontoübergreifende Verbindung wird abgelehnt. Stellen Sie die Verbindung vor der ersten Veröffentlichung her. Kodieren Sie die Payload vor der Veröffentlichung mit dem Confluent-Serializer für Ihre Sprache. Der Serializer bettet die Schemareferenz ein, die zur Auflösung und Deserialisierung des Ereignisses verwendet wird. EventBridge

EventBridge liest die Anmeldeinformationen für die Registrierung über die Verbindung, die Sie angeben. Erteilen Sie der Veröffentlichungsidentität die Erlaubnis, die Anmeldeinformationen dieser Verbindung zu lesen.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "events:RetrieveConnectionCredentials", "Resource": "arn:aws:events:us-east-1:111122223333:connection/confluent-registry/*" }, { "Effect": "Allow", "Action": ["secretsmanager:GetSecretValue", "secretsmanager:DescribeSecret"], "Resource": "arn:aws:secretsmanager:us-east-1:111122223333:secret:events!connection/confluent-registry/*", "Condition": { "Bool": { "aws:ViaAWSService": "true" } } } ] }

Wenn das Verbindungsgeheimnis mit einem vom Kunden verwalteten AWS KMS Schlüssel verschlüsselt ist, erteilen kms:Decrypt Sie es auch für diesen Schlüssel.

Veröffentlichen Sie die schemakodierten Bytes mit der Confluent-URL und dem Verbindungs-ARN.

aws eventsv2 put-raw-events \ --event-bus-arn arn:aws:events:us-east-1:111122223333:event-busv2/orders/EXAMPLE1234567890abcdef \ --schema-registry-configuration '{ "RegistryUri": "https://psrc-example.us-east-1.aws.confluent.cloud", "ConfluentPublicRegistryConfiguration": { "ConnectionArn": "arn:aws:events:us-east-1:111122223333:connection/confluent-registry/EXAMPLE-1234-5678-abcd" } }' \ --entries '[ { "Data": "base64-encoded-protobuf-bytes", "SystemMetadata": { "ContentType": "application/protobuf" } } ]'

Optionen für die Verbindungsauthentifizierung

Konfigurieren Sie die Verbindung mit dem Authentifizierungstyp, den die Confluent-Registry erwartet. EventBridge liest nur die Authentifizierungsheader, die von der Verbindung erzeugt werden. Das unformatierte Geheimnis wird nicht erkannt und die OAuth-Token werden automatisch aktualisiert.

API-Schlüssel. Confluent Schema Registry verwendet in der Regel die HTTP Basic-Authentifizierung mit dem API-Schlüssel der Schemaregistrierung als Benutzername und dem API-Secret als Passwort.

aws events create-connection \ --name confluent-registry \ --authorization-type API_KEY \ --auth-parameters '{ "ApiKeyAuthParameters": { "ApiKeyName": "Authorization", "ApiKeyValue": "Basic base64(srApiKey:srApiSecret)" } }'

OAuth-Client-Anmeldeinformationen. EventBridge ruft das Token ab und aktualisiert es. Sie müssen den Parameter grant_type=client_credentials als Hauptparameter angeben; EventBridge fügt ihn nicht für Sie hinzu.

aws events create-connection \ --name confluent-registry-oauth \ --authorization-type OAUTH_CLIENT_CREDENTIALS \ --auth-parameters '{ "OAuthParameters": { "AuthorizationEndpoint": "https://idp-domain/oauth/token", "HttpMethod": "POST", "ClientParameters": { "ClientID": "oauth-client-id", "ClientSecret": "oauth-client-secret" }, "OAuthHttpParameters": { "BodyParameters": [ { "Key": "grant_type", "Value": "client_credentials", "IsValueSecret": false } ] } } }'

EventBridge speichert beide Anmeldeinformationen in einem verwalteten Secrets Manager Manager-Geheimnis (events!connection/...), das die Verbindung in Ihrem Namen liest.

Bereitstellung von Bytes ohne Deserialisierung

Um eine Nutzlast exakt so zu EventBridge liefern, wie sie gesendet wurde, setzen Sie die Einträge auf. SystemMetadata.ContentType application/octet-stream Dies ist ein Feld in jedem Eintrag, kein HTTP-Header. EventBridge deserialisiert oder untersucht die Bytes nicht, und es ist keine Schemaregistrierung beteiligt. Jedes Format funktioniert, einschließlich Avro oder Protobuf, die Sie selbst am Ziel deserialisieren.

Da der Inhalt undurchsichtig ist, kann ein Filter ihm nicht entsprechen. DATA Leiten Sie solche Ereignisse mit aktivierten Filtern weiterMETADATA, verwenden Sie Tasten, die Sie in der Metadata Map des Eintrags festgelegt haben, oder aktivieren Sie sie. SYSTEM_METADATA Content-based Die Deduplizierung funktioniert immer noch und hasht die Bytes genau so, wie Sie sie gesendet haben. In einem Transformer erscheint die Nutzlast als Base64-Zeichenfolge; siehe. Transformieren von Ereignissen mit JSonata

Deserialisierte Ereignisse filtern und transformieren

Sobald ein Ereignis in JSON EventBridge deserialisiert wurde, fließt die Nutzlast durch die normale Pipeline. Ein Filter mit einem Gültigkeitsbereich von DATA gleicht die deserialisierten Felder anhand ihrer Schemanamen ab, und ein JSONata-Transformator adressiert sie unter. $events.Data Ein als Avro oder Protobuf veröffentlichtes Ereignis erhält dasselbe inhaltsbasierte Routing und die gleiche Umgestaltung pro Abonnent wie ein Ereignis, das als einfaches JSON veröffentlicht wurde. Schreiben Sie Filtermuster für das deserialisierte JSON und beachten Sie dabei zwei Konvertierungsregeln.

  • Avro deserialisiert zu Standard-JSON. Die Konvertierung ist unidirektional: Die JSON-Datei kann nicht zurück in ein Avro-Objekt konvertiert werden.

  • Protobuf deserialisiert mit den in Ihrem Schema definierten Feldnamen nach JSON, anstatt sie in Camelcase zu konvertieren, wie es bei Protobuf-Tools normalerweise der Fall ist. Entspricht den Schemafeldnamen.

Deduplizieren von Ereignissen in verschiedenen Formaten

EventBridge unterstützt zwei Deduplizierungsmodi: ID-based, bei dem Sie einen DeduplicationId Wert für den Eintrag angeben, und inhaltsbasiert, bei dem ein SHA-256 Hash des EventBridge Ereignisinhalts berechnet wird. Bei deserialisierten Ereignissen werden bei der inhaltsbasierten Deduplizierung die ursprünglichen Avro- oder Protobuf-Wire-Bytes gehasht, nicht das deserialisierte JSON. Zwei Ereignisse sind nur dann Duplikate, wenn ihre ursprünglichen Payloads byteidentisch sind. EventBridge dedupliziert daher nicht dasselbe logische Ereignis, das in verschiedenen Formaten veröffentlicht wurde. Avro-Bytes, Protobuf-Bytes und unformatiertes JSON unterscheiden sich auf der Leitung, auch wenn sie zu denselben Daten deserialisiert werden. Siehe Sortieren und Deduplizieren von Ereignissen auf einem benutzerdefinierten Event Bus.

Fehler

  • Ein Avro- oder Protobuf-Eintrag, der ohne veröffentlicht wurde, SchemaRegistryConfiguration schlägt als Fehler pro Eintrag fehl, und es wird eine Meldung angezeigt, die besagt. ErrorCode VALIDATION_ERROR SchemaRegistryConfiguration is required Die anderen Einträge in der Anfrage sind davon nicht betroffen.

  • Bei einer VerbindungConnectionArn, die keinen Namen hat oder die zu einem anderen Konto gehört, schlägt der Eintrag fehl VALIDATION_ERROR und es wird eine Meldung angezeigt, in der die Registrierung benannt wird.

  • Bei einem Schema, das nicht gefunden oder gelesen werden kann, oder einer Payload, die nicht anhand dieses Schemas deserialisiert werden kann, schlägt der Eintrag mit fehl. VALIDATION_ERROR Dieser Fehler kann nicht erneut versucht werden. Korrigieren Sie die Anfrage oder den Registrierungszugriff des Aufrufers, bevor Sie ihn erneut veröffentlichen.

  • Bei einer Registrierung, die nicht erreicht werden kann, schlägt die Anfrage mit fehl. SchemaRegistryUnavailableException Auf dem Confluent OAuth-Pfad kann dies passieren, während das Zugriffstoken für die Registrierung aktualisiert wird. Dieser Fehler ist vorübergehend. Versuchen Sie die Anfrage erneut mit Backoff.

Ergebnisse pro Eintrag und allgemeine Hinweise zur Wiederholung finden Sie unter. Ereignisse auf einem benutzerdefinierten Event-Bus veröffentlichen