Erstellen einer Lambda-Zuordnung von Ereignisquellen für eine Amazon-MSK-Ereignisquelle - AWS Lambda

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen einer Lambda-Zuordnung von Ereignisquellen für eine Amazon-MSK-Ereignisquelle

Zum Erstellen einer Zuordnung von Ereignisquellen können Sie die Lambda-Konsole, die AWS Command Line Interface (CLI) oder ein AWS SDK verwenden.

Anmerkung

Wenn Sie die Zuordnung von Ereignisquellen erstellen, erstellt Lambda eine Hyperplane-ENI im privaten Subnetz, das Ihren MSK-Cluster enthält, sodass Lambda eine sichere Verbindung herstellen kann. Diese Hyperplane-ENI ermöglicht die Verwendung der Subnetz- und Sicherheitsgruppenkonfiguration Ihres MSK-Clusters, nicht Ihrer Lambda-Funktion.

Mit den folgenden Schritten in der Konsole fügen Sie einen Amazon-MSK-Cluster als Auslöser für Ihre Lambda-Funktion hinzu. Im Hintergrund wird dadurch eine Zuordnung von Ereignisquellen erstellt.

So fügen Sie Ihrer Lambda-Funktion (Konsole) einen Amazon MSK-Trigger hinzu

  1. Öffnen Sie die Seite Funktion der Lambda-Konsole.

  2. Wählen Sie den Namen der Lambda-Funktion aus, der Sie einen Amazon-MSK-Auslöser hinzufügen möchten.

  3. Wählen Sie unter Function overview (Funktionsübersicht) die Option Add trigger (Trigger hinzufügen).

  4. Wählen Sie unter Auslöser-Konfiguration die Option MSK aus.

  5. Führen Sie die folgenden Schritte aus, um Ihre Kafka-Cluster-Details anzugeben:

    1. Wählen Sie für MSK-Cluster Ihren Cluster aus.

    2. Geben Sie für Themenname den Namen des Kafka-Themas ein, von dem Nachrichten verbraucht werden sollen.

    3. Geben Sie für Verbrauchergruppen-ID ggf. die ID einer Kafka-Verbrauchergruppe ein, der Sie beitreten möchten. Weitere Informationen finden Sie unter Anpassbare Verbrauchergruppen-ID in Lambda.

  6. Nehmen Sie für die Cluster-Authentifizierung die erforderlichen Konfigurationen vor. Weitere Informationen über Cluster-Authentifizierung finden Sie unter Konfiguration von Amazon MSK-Cluster-Authentifizierungsmethoden in Lambda.

    • Aktivieren Sie Authentifizierung verwenden, wenn Lambda beim Verbindungsaufbau die Authentifizierung bei Ihrem MSK-Cluster durchführen soll. Die Authentifizierung wird empfohlen.

    • Wenn Sie Authentifizierung verwenden, wählen Sie für Authentifizierungsmethode die zu verwendende Authentifizierungsmethode aus.

    • Wenn Sie Authentifizierung verwenden, wählen Sie für Secrets-Manager-Schlüssel den Secrets-Manager-Schlüssel aus, der die für den Zugriff auf Ihren Cluster erforderlichen Authentifizierungsanmeldeinformationen enthält.

  7. Nehmen Sie unter Konfiguration des Ereignis-Pollers die erforderlichen Konfigurationen vor.

    • Wählen Sie Auslöser aktivieren, um den Auslöser unmittelbar nach der Erstellung zu aktivieren.

    • Wählen Sie aus, ob Sie den Bereitstellungsmodus für Ihre Zuordnung von Ereignisquellen konfigurieren möchten. Weitere Informationen finden Sie unter Skalierungsmodi des Ereignis-Pollers von Apache Kafka in Lambda.

      • Wenn Sie den Bereitstellungsmodus konfigurieren, geben Sie einen Wert für Minimale Anzahl von Ereignisabfragen, einen Wert für Maximale Anzahl von Ereignisabfragen und einen optionalen Wert ein, PollerGroupName um die Gruppierung mehrerer ESMs innerhalb derselben Ereignisquellen-VPC anzugeben.

    • Wählen Sie unter Startposition aus, wie Lambda mit dem Lesen aus Ihrem Stream beginnen soll. Weitere Informationen finden Sie unter Apache-Kafka-Abfrage und Stream-Startpositionen in Lambda.

  8. Nehmen Sie unter Batching die erforderlichen Konfigurationen vor. Weitere Informationen zu Batching finden Sie unter Batching-Verhalten.

    1. Geben Sie für Batchgröße die maximale Anzahl von Nachrichten ein, die in einem einzelnen Batch empfangen werden sollen.

    2. Geben Sie für Batch-Fenster die maximale Zeit in Sekunden ein, die Lambda mit dem Sammeln von Datensätzen verbringt, bevor die Funktion aufgerufen wird.

  9. Nehmen Sie unter Filterung die erforderlichen Konfigurationen vor. Weitere Informationen zur Filterung erhalten Sie unter Filtern von Ereignissen aus Amazon MSK und selbstverwalteten Apache-Kafka-Ereignisquellen.

    • Fügen Sie unter Filterkriterien Definitionen für Filterkriterien hinzu, um zu bestimmen, ob ein Ereignis verarbeitet werden soll oder nicht.

  10. Nehmen Sie unter Fehlerbehandlung die erforderlichen Konfigurationen vor. Weitere Informationen zur Fehlerbehandlung finden Sie unter Erfassen verworfener Batches für Amazon MSK und selbstverwaltete Apache-Kafka-Ereignisquellen.

    • Geben Sie für Fehlerziel den ARN Ihres Fehlerziels an.

  11. Geben Sie unter Tags die Tags ein, die dieser Zuordnung von Ereignisquellen zugeordnet werden sollen.

  12. Wählen Sie hinzufügen aus, um den Auslöser zu erstellen.

Sie können die Ereignisquellenzuordnung auch mithilfe der AWS CLI mit dem create-event-source-mappingBefehl erstellen. Im folgenden Beispiel wird eine Zuordnung von Ereignisquellen erstellt, um die Lambda-Funktion my-msk-function ab der LATEST-Nachricht dem AWSKafkaTopic-Thema zuzuordnen. Dieser Befehl verwendet das SourceAccessConfigurationObjekt auch, um Lambda anzuweisen, bei der Verbindung mit dem Cluster die SASL/SCRAM-Authentifizierung zu verwenden.

aws lambda create-event-source-mapping \
  --event-source-arn arn:aws:kafka:us-east-1:111122223333:cluster/my-cluster/fc2f5bdf-fd1b-45ad-85dd-15b4a5a6247e-2 \
  --topics AWSKafkaTopic \
  --starting-position LATEST \
  --function-name my-kafka-function
  --source-access-configurations '[{"Type": "SASL_SCRAM_512_AUTH","URI": "arn:aws:secretsmanager:us-east-1:111122223333:secret:my-secret"}]'

Wenn der Cluster mTLS-Authentifizierung verwendet, fügen Sie ein SourceAccessConfigurationObjekt hinzu, das einen Secrets Manager Manager-Schlüssel-ARN spezifiziertCLIENT_CERTIFICATE_TLS_AUTH. Das wird im folgenden Befehl veranschaulicht:

aws lambda create-event-source-mapping \
  --event-source-arn arn:aws:kafka:us-east-1:111122223333:cluster/my-cluster/fc2f5bdf-fd1b-45ad-85dd-15b4a5a6247e-2 \
  --topics AWSKafkaTopic \
  --starting-position LATEST \
  --function-name my-kafka-function
  --source-access-configurations '[{"Type": "CLIENT_CERTIFICATE_TLS_AUTH","URI": "arn:aws:secretsmanager:us-east-1:111122223333:secret:my-secret"}]'

Wenn der Cluster die IAM-Authentifizierung verwendet, benötigen Sie kein SourceAccessConfigurationObjekt. Das wird im folgenden Befehl veranschaulicht:

aws lambda create-event-source-mapping \
  --event-source-arn arn:aws:kafka:us-east-1:111122223333:cluster/my-cluster/fc2f5bdf-fd1b-45ad-85dd-15b4a5a6247e-2 \
  --topics AWSKafkaTopic \
  --starting-position LATEST \
  --function-name my-kafka-function