Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Unterstützte Inhaltstypen: JSON, Avro, Protobuf und Raw Bytes
PutRawEventsakzeptiert alle Bytes. Jeder Eintrag SystemMetadata.ContentType gibt an, EventBridge was die Byte sind. Dieser Wert entscheidet, ob die Nutzdaten EventBridge deserialisiert werden, bevor sie das Ereignis filtert und ausgibt. EventBridge Deserialisiert bei Avro und Protobuf die Payload anhand einer Schemaregistry, die Sie in der Anfrage benennen. Abonnenten filtern und transformieren dann das Ereignis und empfangen es als JSON. Bei undurchsichtigen Bytes wird die EventBridge Nutzlast unverändert übertragen.
ContentType |
Was EventBridge macht das mit der Payload | Schema Registry |
|---|---|---|
application/json |
Filtert und transformiert den JSON-Inhalt | Nicht verwendet |
application/avro |
Deserialisiert die Avro-Binärdatei in JSON und filtert und transformiert dann diese JSON-Datei | Erforderlich |
application/protobuf |
Deserialisiert die Protobuf-Binärdatei in JSON und filtert und transformiert dann diese JSON-Datei | Erforderlich |
application/octet-stream |
Deserialisiert oder überprüft die Payload nicht. Liefert die Bytes so, wie sie gesendet wurden | Nicht verwendet |
Wie EventBridge deserialisiert eine Nutzlast
Wenn ein Eintrag application/avro oder ContentType istapplication/protobuf, werden die folgenden Schritte EventBridge für diesen Eintrag ausgeführt.
-
EventBridge liest den Schema-Identifier, den der Serializer der Registrierung in die Payload-Bytes geschrieben hat.
-
EventBridge ruft das passende Schema aus der Registry ab, in der Sie einen Namen angeben
SchemaRegistryConfiguration.RegistryUri, und deserialisiert die Payload nach JSON. Wenn das Schema EventBridge nicht gefunden oder gelesen werden kann oder die Payload nicht anhand des Schemas deserialisiert werden kann, schlägt der Eintrag fehl und es wird ein Fehler pro Eintrag angezeigt. Die anderen Einträge in der Anfrage sind davon nicht betroffen. -
Wenn ein Abonnent Filter definiert, werden diese anhand des deserialisierten JSON-Codes EventBridge ausgewertet.
-
EventBridge wendet die Transformation des Abonnenten auf das deserialisierte JSON an und übermittelt JSON an das Ziel.
Sie geben der Registrierung bei jeder PutRawEvents Anfrage einen Namen, in. SchemaRegistryConfiguration.RegistryUri Die Einstellung gehört zur Anfrage, nicht zum Bus, und EventBridge ignoriert sie für JSON-Einträge in derselben Anfrage. EventBridge liest die Registrierung mit den Anmeldeinformationen des Aufrufers, sodass die Identität, die veröffentlicht, Lesezugriff auf die Registrierung benötigt.
Nach der Deserialisierung verhält sich das Ereignis wie jedes JSON-Ereignis, das mit veröffentlicht wurde. PutRawEvents Ein Filter mit einem Gültigkeitsbereich von DATA gleicht Felder des deserialisierten Datensatzes anhand ihrer Schemanamen ab. Ein JSONata-Transformator adressiert sie unter$events.Data, und ein Ziel empfängt JSON. EventBridge setzt außerdem drei Schlüssel in den gelieferten. SystemMetadata
-
aws:SchemaId: der Bezeichner des Schemas, mit dem EventBridge deserialisiert wurde; eine UUID für AWS Glue, eine Ganzzahl für Confluent. -
aws:RegistryType: die Registry, die das Ereignis dekodiert hat, oder.GlueConfluentEreignisse, die mit veröffentlicht wurden, tragen esPutEventsnie. -
ContentType: Der Inhaltstyp des veröffentlichten Eintrags, zum Beispielapplication/avro.
Wählen Sie aus, wie EventBridge Ihre Payload geliefert wird
ContentTypewählt einen von zwei Lieferwegen aus.
-
Zu JSON deserialisieren. Auf oder setzen
ContentType.application/avroapplication/protobufEventBridge deserialisiert die Payload anhand Ihrer Schemaregistry, und Abonnenten filtern nachDATA, transformieren sie mit JSONata und empfangen JSON. Verwenden Sie diesen Pfad, wenn Sie ein inhaltsbasiertes Routing und eine Umformung schemacodierter Ereignisse wünschen. -
Liefert unangetastete Bytes. Eingestellt
ContentTypeauf.application/octet-streamEventBridge deserialisiert oder überprüft die Nutzlast nicht, es ist keine Schemaregistrierung beteiligt, und der Abonnent erhält genau die Byte, die Sie gesendet haben. Verwenden Sie diesen Pfad, wenn Sie die Payload selbst am Ziel deserialisieren oder wenn der Inhalt ein Format hat, das nicht deserialisiert wird. EventBridge
Deserialisieren mit dem AWS Glue-Schemaregistrierung
Auf RegistryUri den Registrierungs-ARN des Formulars gesetztarn:aws:glue:. Kodieren Sie die Payload vor der Veröffentlichung mit dem AWS Glue Schema Registry Serializer für Ihre Sprache. Der Serializer bettet die Schemareferenz ein, die zur Auflösung und Deserialisierung des Ereignisses EventBridge verwendet wird.region:account-id:registry/name
EventBridge liest das Schema als Aufrufer für die Veröffentlichung, also gewähren Sie der Veröffentlichungsidentität Lesezugriff auf die Registrierung und ihre Schemas. Die folgende Richtlinie gewährt die Mindestberechtigung, die auf eine Registrierung beschränkt ist.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "glue:GetSchemaVersion", "Resource": [ "arn:aws:glue:us-east-1:111122223333:registry/orders", "arn:aws:glue:us-east-1:111122223333:schema/orders/*" ] } ] }
Veröffentlichen Sie die schemakodierten Bytes mit dem Glue-Registry ARN in. RegistryUri
aws eventsv2 put-raw-events \ --event-bus-arn arn:aws:events:us-east-1:111122223333:event-busv2/orders/EXAMPLE1234567890abcdef \ --schema-registry-configuration RegistryUri=arn:aws:glue:us-east-1:111122223333:registry/orders \ --entries '[ { "Data": "base64-encoded-avro-bytes", "SystemMetadata": { "ContentType": "application/avro", "EventGroupId": "order-1001" } } ]'
Ein Abonnent filtert dann nach dem deserialisierten Datensatz. Wenn das Avro-Schema ein Feld mit dem Namen hatorderId, entspricht der folgende Filter einer Reihenfolge.
{ "Scope": "DATA", "Pattern": "{\"orderId\":[\"1001\"]}" }
Deserialisierung mit einer Confluent Schema Registry
Auf die RegistryUri HTTPS-URL der Registrierung eingestellt. Eine HTTPS-Registrierung benötigt auch den ARN einer EventBridge VerbindungSchemaRegistryConfiguration.ConfluentPublicRegistryConfiguration.ConnectionArn, die den API-Schlüssel oder die OAuth-Anmeldeinformationen der Registrierung enthält. Die Verbindung muss zum anrufenden Konto gehören. Eine kontoübergreifende Verbindung wird abgelehnt. Stellen Sie die Verbindung vor der ersten Veröffentlichung her. Kodieren Sie die Payload vor der Veröffentlichung mit dem Confluent-Serializer für Ihre Sprache. Der Serializer bettet die Schemareferenz ein, die zur Auflösung und Deserialisierung des Ereignisses verwendet wird. EventBridge
EventBridge liest die Anmeldeinformationen für die Registrierung über die Verbindung, die Sie angeben. Erteilen Sie der Veröffentlichungsidentität die Erlaubnis, die Anmeldeinformationen dieser Verbindung zu lesen.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "events:RetrieveConnectionCredentials", "Resource": "arn:aws:events:us-east-1:111122223333:connection/confluent-registry/*" }, { "Effect": "Allow", "Action": ["secretsmanager:GetSecretValue", "secretsmanager:DescribeSecret"], "Resource": "arn:aws:secretsmanager:us-east-1:111122223333:secret:events!connection/confluent-registry/*", "Condition": { "Bool": { "aws:ViaAWSService": "true" } } } ] }
Wenn das Verbindungsgeheimnis mit einem vom Kunden verwalteten AWS KMS Schlüssel verschlüsselt ist, erteilen kms:Decrypt Sie es auch für diesen Schlüssel.
Veröffentlichen Sie die schemakodierten Bytes mit der Confluent-URL und dem Verbindungs-ARN.
aws eventsv2 put-raw-events \ --event-bus-arn arn:aws:events:us-east-1:111122223333:event-busv2/orders/EXAMPLE1234567890abcdef \ --schema-registry-configuration '{ "RegistryUri": "https://psrc-example.us-east-1.aws.confluent.cloud", "ConfluentPublicRegistryConfiguration": { "ConnectionArn": "arn:aws:events:us-east-1:111122223333:connection/confluent-registry/EXAMPLE-1234-5678-abcd" } }' \ --entries '[ { "Data": "base64-encoded-protobuf-bytes", "SystemMetadata": { "ContentType": "application/protobuf" } } ]'
Optionen für die Verbindungsauthentifizierung
Konfigurieren Sie die Verbindung mit dem Authentifizierungstyp, den die Confluent-Registry erwartet. EventBridge liest nur die Authentifizierungsheader, die von der Verbindung erzeugt werden. Das unformatierte Geheimnis wird nicht erkannt und die OAuth-Token werden automatisch aktualisiert.
API-Schlüssel. Confluent Schema Registry verwendet in der Regel die HTTP Basic-Authentifizierung mit dem API-Schlüssel der Schemaregistrierung als Benutzername und dem API-Secret als Passwort.
aws events create-connection \ --name confluent-registry \ --authorization-type API_KEY \ --auth-parameters '{ "ApiKeyAuthParameters": { "ApiKeyName": "Authorization", "ApiKeyValue": "Basicbase64(srApiKey:srApiSecret)" } }'
OAuth-Client-Anmeldeinformationen. EventBridge ruft das Token ab und aktualisiert es. Sie müssen den Parameter grant_type=client_credentials als Hauptparameter angeben; EventBridge fügt ihn nicht für Sie hinzu.
aws events create-connection \ --name confluent-registry-oauth \ --authorization-type OAUTH_CLIENT_CREDENTIALS \ --auth-parameters '{ "OAuthParameters": { "AuthorizationEndpoint": "https://idp-domain/oauth/token", "HttpMethod": "POST", "ClientParameters": { "ClientID": "oauth-client-id", "ClientSecret": "oauth-client-secret" }, "OAuthHttpParameters": { "BodyParameters": [ { "Key": "grant_type", "Value": "client_credentials", "IsValueSecret": false } ] } } }'
EventBridge speichert beide Anmeldeinformationen in einem verwalteten Secrets Manager Manager-Geheimnis (events!connection/...), das die Verbindung in Ihrem Namen liest.
Bereitstellung von Bytes ohne Deserialisierung
Um eine Nutzlast exakt so zu EventBridge liefern, wie sie gesendet wurde, setzen Sie die Einträge auf. SystemMetadata.ContentType application/octet-stream Dies ist ein Feld in jedem Eintrag, kein HTTP-Header. EventBridge deserialisiert oder untersucht die Bytes nicht, und es ist keine Schemaregistrierung beteiligt. Jedes Format funktioniert, einschließlich Avro oder Protobuf, die Sie selbst am Ziel deserialisieren.
Da der Inhalt undurchsichtig ist, kann ein Filter ihm nicht entsprechen. DATA Leiten Sie solche Ereignisse mit aktivierten Filtern weiterMETADATA, verwenden Sie Tasten, die Sie in der Metadata Map des Eintrags festgelegt haben, oder aktivieren Sie sie. SYSTEM_METADATA Content-based Die Deduplizierung funktioniert immer noch und hasht die Bytes genau so, wie Sie sie gesendet haben. In einem Transformer erscheint die Nutzlast als Base64-Zeichenfolge; siehe. Transformieren von Ereignissen mit JSonata
Deserialisierte Ereignisse filtern und transformieren
Sobald ein Ereignis in JSON EventBridge deserialisiert wurde, fließt die Nutzlast durch die normale Pipeline. Ein Filter mit einem Gültigkeitsbereich von DATA gleicht die deserialisierten Felder anhand ihrer Schemanamen ab, und ein JSONata-Transformator adressiert sie unter. $events.Data Ein als Avro oder Protobuf veröffentlichtes Ereignis erhält dasselbe inhaltsbasierte Routing und die gleiche Umgestaltung pro Abonnent wie ein Ereignis, das als einfaches JSON veröffentlicht wurde. Schreiben Sie Filtermuster für das deserialisierte JSON und beachten Sie dabei zwei Konvertierungsregeln.
-
Avro deserialisiert zu Standard-JSON. Die Konvertierung ist unidirektional: Die JSON-Datei kann nicht zurück in ein Avro-Objekt konvertiert werden.
-
Protobuf deserialisiert mit den in Ihrem Schema definierten Feldnamen nach JSON, anstatt sie in Camelcase zu konvertieren, wie es bei Protobuf-Tools normalerweise der Fall ist. Entspricht den Schemafeldnamen.
Deduplizieren von Ereignissen in verschiedenen Formaten
EventBridge unterstützt zwei Deduplizierungsmodi: ID-based, bei dem Sie einen DeduplicationId Wert für den Eintrag angeben, und inhaltsbasiert, bei dem ein SHA-256 Hash des EventBridge Ereignisinhalts berechnet wird. Bei deserialisierten Ereignissen werden bei der inhaltsbasierten Deduplizierung die ursprünglichen Avro- oder Protobuf-Wire-Bytes gehasht, nicht das deserialisierte JSON. Zwei Ereignisse sind nur dann Duplikate, wenn ihre ursprünglichen Payloads byteidentisch sind. EventBridge dedupliziert daher nicht dasselbe logische Ereignis, das in verschiedenen Formaten veröffentlicht wurde. Avro-Bytes, Protobuf-Bytes und unformatiertes JSON unterscheiden sich auf der Leitung, auch wenn sie zu denselben Daten deserialisiert werden. Siehe Sortieren und Deduplizieren von Ereignissen auf einem benutzerdefinierten Event Bus.
Fehler
-
Ein Avro- oder Protobuf-Eintrag, der ohne veröffentlicht wurde,
SchemaRegistryConfigurationschlägt als Fehler pro Eintrag fehl, und es wird eine Meldung angezeigt, die besagt.ErrorCodeVALIDATION_ERRORSchemaRegistryConfiguration is requiredDie anderen Einträge in der Anfrage sind davon nicht betroffen. -
Bei einer Verbindung
ConnectionArn, die keinen Namen hat oder die zu einem anderen Konto gehört, schlägt der Eintrag fehlVALIDATION_ERRORund es wird eine Meldung angezeigt, in der die Registrierung benannt wird. -
Bei einem Schema, das nicht gefunden oder gelesen werden kann, oder einer Payload, die nicht anhand dieses Schemas deserialisiert werden kann, schlägt der Eintrag mit fehl.
VALIDATION_ERRORDieser Fehler kann nicht erneut versucht werden. Korrigieren Sie die Anfrage oder den Registrierungszugriff des Aufrufers, bevor Sie ihn erneut veröffentlichen. -
Bei einer Registrierung, die nicht erreicht werden kann, schlägt die Anfrage mit fehl.
SchemaRegistryUnavailableExceptionAuf dem Confluent OAuth-Pfad kann dies passieren, während das Zugriffstoken für die Registrierung aktualisiert wird. Dieser Fehler ist vorübergehend. Versuchen Sie die Anfrage erneut mit Backoff.
Ergebnisse pro Eintrag und allgemeine Hinweise zur Wiederholung finden Sie unter. Ereignisse auf einem benutzerdefinierten Event-Bus veröffentlichen