Erste Schritte mit der Streaming-Aufnahme aus Apache-Kafka-Quellen - Amazon Redshift
Einrichten der Streaming-Aufnahme von Kafka aus

Amazon Redshift wird UDFs ab dem 1. November 2025 die Erstellung von neuem Python nicht mehr unterstützen. Wenn Sie Python verwenden möchten UDFs, erstellen Sie das UDFs vor diesem Datum liegende. Bestehendes Python UDFs wird weiterhin wie gewohnt funktionieren. Weitere Informationen finden Sie im Blog-Posting.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erste Schritte mit der Streaming-Aufnahme aus Apache-Kafka-Quellen

In diesem Thema wird beschrieben, wie Streaming-Daten aus Amazon MSK, Apache Kafka oder Confluent Cloud mithilfe einer materialisierten Ansicht genutzt werden.

Die Streaming-Erfassung von Amazon Redshift soll den Prozess der direkten Erfassung von Stream-Daten von einem Streaming-Dienst in Amazon Redshift oder Amazon Redshift Serverless vereinfachen. Dies funktioniert mit Amazon MSK Provisioned und Amazon MSK Serverless, mit Open-Source-Apache Kafka und mit Confluent-Cloud. Dank der Streaming-Aufnahme von Amazon Redshift ist es nicht mehr erforderlich, Daten in Amazon S3 bereitzustellen, bevor sie in Amazon Redshift aufgenommen werden.

Die Streaming-Aufnahme von Amazon Redshift ermöglicht die Aufnahme von Stream- oder Thema-Daten mit geringer Latenz und hoher Geschwindigkeit in einer materialisierten Ansicht von Amazon Redshift. Nach der Einrichtung können Sie mithilfe einer Aktualisierung der materialisierten Ansicht große Datenmengen erfassen.

Sie müssen über eine Apache-Kafka-Quelle verfügen, bevor Sie die Streaming-Aufnahme von Amazon Redshift konfigurieren können. Wenn Sie keine Quelle haben, erstellen Sie eine Quelle mit den folgenden Anweisungen:

Einrichten der Streaming-Aufnahme von Kafka aus

Gehen Sie wie folgt vor, um die Streaming-Aufnahme von Amazon MSK- oder Apache Kafka-Quellen, die nicht AWS verwaltet werden (Apache Kafka und Confluent Cloud), zu Amazon Redshift einzurichten.

Einrichten der Authentifizierung

In diesem Abschnitt wird die Einrichtung der Authentifizierung beschrieben, damit Ihre Amazon-Redshift-Anwendung auf eine Amazon-MSK-Quelle zugreifen kann.

Nachdem Sie die Rolle Ihrer Anwendung erstellt haben, fügen Sie eine der folgenden Richtlinien hinzu, um den Zugriff auf Ihren Amazon-MSK-, Apache-Kafka- oder Confluent-Cloud-Cluster zu ermöglichen. Für die mTLS-Authentifizierung können Sie die Zertifikate, die Amazon Redshift verwendet, in ACM oder Secrets Manager speichern. Sie müssen also die Richtlinie auswählen, die dem Speicherort des Zertifikats entspricht.

Beachten Sie, dass selbstsignierte Zertifikate für die Authentifizierung oder Daten während der Übertragung nicht unterstützt werden, wenn Sie die direkte Streaming-Erfassung in Amazon Redshift mit einer unterstützten Streaming-Quelle für Apache Kafka verwenden. Dazu gehören Amazon MSK, Apache Kafka und Confluent Cloud. Erwägen Sie die Verwendung von Zertifikaten, die von oder einer anderen öffentlich vertrauenswürdigen Zertifizierungsstelle generiert wurden. AWS Certificate Manager

Die IAM-Authentifizierung von Amazon Redshift mit MSK wird nur für Kafka-Version 2.7.1 oder höher unterstützt.

AUTHENTICATION IAM (nur Amazon MSK):

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "MSKIAMpolicy",
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic",
                "kafka-cluster:Connect"
            ],
            "Resource": [
                "arn:aws:kafka:*:111122223333:cluster/MyTestCluster/*",
                "arn:aws:kafka:*:111122223333:topic/MyTestCluster/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:*:111122223333:group/MyTestCluster/*"
            ]
        }
    ]
}

AUTHENTIFIZIERUNG MTLS: Verwendung eines Zertifikats, das in gespeichert ist AWS Certificate Manager

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "MSKmTLSACMpolicy",
            "Effect": "Allow",
            "Action": [
                "acm:ExportCertificate" 
            ],
            "Resource": [
                "arn:aws:acm:us-east-1:444455556666:certificate/certificate_ID"
            ]
        }
    ]
}

AUTHENTIFIZIERUNG MTLS: Verwendung eines Zertifikats, das gespeichert ist in AWS Secrets Manager

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "MSKmTLSSecretsManagerpolicy",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue" 
            ],
            "Resource": [
                "arn:aws:secretsmanager:us-east-1:444455556666:secret:secret_ID"
            ]
        }
    ]
}
Amazon MSK

Wenn Sie AUTHENTICATION NONE verwenden, um eine Verbindung zu einer Amazon-MSK-Quelle herzustellen, ist keine IAM-Rolle erforderlich. Wenn Sie jedoch AUTHENTICATION IAM oder MTLS verwenden, um sich bei Ihrem Amazon-MSK-Cluster zu authentifizieren, muss Ihrem Amazon-Redshift-Cluster oder Namespace in Amazon Redshift Serverless eine IAM-Rolle mit entsprechenden Berechtigungen angefügt sein. Erstellen Sie eine IAM-Rolle mit einer Vertrauensrichtlinie, die es Ihrem Amazon-Redshift-Cluster oder Namespace von Amazon Redshift Serverless ermöglicht, die Rolle anzunehmen. Nachdem Sie die Rolle erstellt haben, fügen Sie eine der folgenden Berechtigungen hinzu, um IAM oder MTLS zu unterstützen. Für die mTLS-Authentifizierung können die von Amazon Redshift verwendeten Zertifikate in AWS Certificate Manager oder gespeichert werden. Sie müssen also die Richtlinie auswählenAWS Secrets Manager, die dem Speicherort des Zertifikats entspricht. Sie können einen von Amazon Redshift bereitgestellten Cluster oder einen Redshift-Serverless-Namespace als Ziel auswählen. Informationen zur Konfiguration der Vertrauensrichtlinie für die IAM-Rolle finden Sie unter Autorisieren von Amazon Redshift für den Zugriff auf andere AWS Dienste in Ihrem Namen.

Die folgende Tabelle enthält kostenlose Konfigurationsoptionen, die für die Streaming-Erfassung von Amazon MSK festgelegt werden können:

Amazon-Redshift-Konfiguration Amazon-MSK-Konfiguration Port zum Öffnen zwischen Redshift und Amazon MSK
AUTHENTICATION NONE TLS-Transport deaktiviert 9092
AUTHENTICATION NONE TLS-Transport aktiviert 9094
AUTHENTICATION IAM IAM 9098/9198
AUTHENTICATION MTLS TLS-Transport aktiviert 9094

Die Amazon-Redshift-Authentifizierung wird in der Anweisung CREATE EXTERNAL SCHEMA festgelegt.

Anmerkung

Im Fall, dass der Amazon-MSK-Cluster über aktivierte Mutual Transport Layer Security (mTLS)-Authentifizierung verfügt, wird Amazon Redshift durch die Konfiguration von AUTHENTICATION NONE angewiesen, Port 9094 für nicht authentifizierten Zugriff zu verwenden. Da der Port jedoch für die mTLS-Authentifizierung verwendet wird, schlägt dies fehl. Daher empfehlen wir, bei Verwendung von mTLS zu AUTHENTICATION MTLS zu wechseln.

Apache Kafka or Confluent Cloud

Für Apache Kafka und Confluent Cloud unterstützt Amazon Redshift die folgenden Verbindungsprotokolle:

  • Sie können mTLS oder Klartext mit TLS-Transport für die Authentifizierung verwenden, wenn Sie eine Verbindung zu Apache Kafka herstellen.

  • Sie können mTLS nur für die Authentifizierung verwenden, wenn Sie eine Verbindung zu Confluent Cloud herstellen.

Amazon Redshift unterstützt die folgenden Verschlüsselungsprotokolle für die Verbindung mit Apache Kafka oder Confluent Cloud:

Unterstützte Authentifizierungsmethoden für Apache Kafka und Confluent Cloud

Amazon Redshift Kafka-Sicherheitsprotokoll Unterstützung für Apache Kafka Unterstützung für Confluent Cloud
AUTHENTICATION NONE PLAINTEXT Nein Nein
AUTHENTICATION NONE SSL Ja Nein
AUTHENTICATION IAM SASL_SSL Nein Nein
AUTHENTICATION MTLS SSL Ja (mit Zertifikat) Ja (mit Zertifikat)

Beachten Sie, dass Amazon Redshift SASL/PLAINTEXT nicht unterstützt SASL/SCRAM .

Einrichten Ihrer VPC

Überprüfen Sie nach der Erstellung Ihrer Authentifizierungsressourcen Ihre VPC und stellen Sie sicher, dass Ihr Amazon-Redshift-Cluster oder Ihre Arbeitsgruppe von Amazon Redshift Serverless über eine Route zu Ihrer Apache-Kafka-Quelle verfügt.

Anmerkung

Die Sicherheitsgruppenregeln für eingehenden Datenverkehr Ihres Amazon-MSK-Clusters sollten die Sicherheitsgruppe Ihres Amazon-Redshift-Clusters oder Ihrer Arbeitsgruppe in Redshift Serverless zulassen. Welche Ports Sie angeben, hängt von der Authentifizierungsmethode ab, die auf Ihrem Amazon-MSK-Cluster konfiguriert ist. Weitere Informationen finden Sie unter Portinformationen und Zugriff von innerhalb und AWS außerhalb der VPC.

Aktivieren Sie erweitertes VPC Routing für Ihren Amazon-Redshift-Cluster oder Ihre Arbeitsgruppe von Amazon Redshift Serverless. Weitere Informationen finden Sie unter Aktivieren von Enhanced VPC Routing.

Erstellen einer materialisierten Ansicht

In diesem Abschnitt richten Sie die materialisierte Ansicht ein, die Amazon Redshift für den Zugriff auf Ihre Apache Kafka-Streaming-Daten verwendet.

Wenn Sie einen Apache-Cluster zur Verfügung haben, besteht der erste Schritt darin, mit CREATE EXTERNAL SCHEMA ein Schema in Redshift zu definieren und auf das Kafka-Thema als Datenquelle zu verweisen. Um auf Daten in dem Thema zuzugreifen, definieren Sie anschließend den STREAM in einer materialisierten Ansicht. Sie können Datensätze aus Ihrem Thema mit dem Standard-Datentyp VARBYTE von Amazon Redshift speichern oder ein Schema definieren, das die Daten in das halbstrukturierte SUPER-Format konvertiert. Wenn Sie die materialisierte Ansicht abfragen, sind die zurückgegebenen Datensätze eine point-in-time Ansicht des Themas.

  1. Erstellen Sie ein externes Schema in Amazon Redshift, das dem Amazon-MSK-Cluster zugeordnet werden soll. Die Syntax ist die folgende:

    CREATE EXTERNAL SCHEMA MySchema
FROM KAFKA
[ IAM_ROLE [ default | 'iam-role-arn' ] ]
AUTHENTICATION [ none | iam | mtls ]
{AUTHENTICATION_ARN 'acm-certificate-arn' |  SECRET_ARN 'asm-secret-arn'};

    In der FROM-Klausel gibt KAFKA an, dass das Schema Daten aus einer Apache Kafka-Quelle zuordnet.

    AUTHENTICATION bezeichnet den für die Streaming-Aufnahme definierten Authentifizierungstyp. Es sind drei Typen verfügbar:

    • none: Gibt an, dass keine Authentifizierung erforderlich ist. Dies entspricht einem nicht authentifizierten Zugriff auf MSK. Dies entspricht der SSL-Authentifizierung in Apache Kafka. Diese Authentifizierungsmethode wird für Confluent Cloud nicht unterstützt.

    • iam: Gibt an, dass eine IAM-Authentifizierung erfolgt. Sie können die IAM-Authentifizierung nur mit Amazon MSK verwenden. Stellen Sie bei Auswahl dieser Option sicher, dass die IAM-Rolle über Berechtigungen für die IAM-Authentifizierung verfügt. Weitere Informationen über die Einrichtung der erforderlichen IAM-Richtlinien finden Sie unter Einrichten der Streaming-Aufnahme von Kafka aus.

    • mtls – Gibt an, dass Mutual Transport Layer Security die sichere Kommunikation durch Authentifizierung zwischen einem Client und einem Server ermöglicht. In diesem Fall ist der Client Redshift und der Server ist Apache Kafka. Weitere Informationen zum Konfigurieren der Streaming-Erfassung mit mTLS finden Sie unter Authentifizierung mit mTLS für Redshift-Streaming-Aufnahme aus Apache Kafka-Quellen.

    Beachten Sie, dass die Amazon-MSK-Authentifizierung mit Benutzername und Passwort nicht für die Streaming-Erfassung unterstützt wird.

    Der Parameter AUTHENTICATION_ARN gibt den ARN des ACM-Zertifikats für Mutual Transport Layer Security (mTLS) an, mit dem Sie eine verschlüsselte Verbindung herstellen.

    Der SECRET_ARN Parameter gibt den ARN des AWS Secrets Manager Geheimnisses an, das das Zertifikat enthält, das von Amazon Redshift für mTLS verwendet werden soll.

    In den folgenden Beispielen wird gezeigt, wie Sie die Broker-URI für den Amazon-MSK-Cluster festlegen, wenn Sie das externe Schema erstellen:

    Verwendung der IAM-Authentifizierung:

    CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION IAM
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098'

    Ohne Authentifizierung:

    CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA 
AUTHENTICATION none
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092'

    Verwenden von mTLS:

    CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION MTLS
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094,b- 2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094'
{AUTHENTICATION_ARN 'acm-certificate-arn' |  SECRET_ARN 'asm-secret-arn'}

    Weitere Informationen zum Erstellen eines externen Schemas finden Sie unter CREATE EXTERNAL SCHEMA.

  2. Erstellen Sie eine materialisierte Ansicht, um die Daten aus dem Thema zu konsumieren. Verwenden Sie einen SQL-Befehl wie im folgenden Beispiel.

    CREATE MATERIALIZED VIEW MyView AUTO REFRESH YES AS
SELECT *
FROM MySchema."mytopic";

    Bei den Namen von Kafka-Themen wird die Groß- und Kleinschreibung beachtet. Die Namen können sowohl Groß- als auch Kleinbuchstaben enthalten. Wenn Sie die Aufnahme aus Themen mit Namen in Großbuchstaben durchführen möchten, können Sie die Konfiguration enable_case_sensitive_identifier auf Sitzungs- oder Datenbankebene auf true setzen. Weitere Informationen finden Sie unter Namen und Kennungen und enable_case_sensitive_identifier.

    Um die automatische Aktualisierung zu aktivieren, verwenden Sie AUTO REFRESH YES. Standardmäßig wird die manuelle Aktualisierung verwendet.

  3. Die Metadatenspalten umfassen folgende Spalten:

    Metadatenspalte Datentyp Description
    kafka_partition bigint Partitions-ID des Datensatzes aus dem Kafka-Thema
    kafka_offset bigint Offset des Datensatzes im Kafka-Thema für eine bestimmte Partition
    kafka_timestamp_type char(1)

    Art des im Kafka-Datensatz verwendeten Zeitstempels:

    • C – Erstellungszeit des Datensatzes (CREATE_TIME) auf der Client-Seite

    • L – Anfügezeit des Datensatzes (LOG_APPEND_TIME) auf der Kafka-Serverseite

    • U – Die Erstellungszeit des Datensatzes ist nicht verfügbar (NO_TIMESTAMP_TYPE)
    kafka_timestamp Timestamp ohne Zeitzone Der timestamp-Wert für den Datensatz
    kafka_key varbyte Der Schlüssel des Kafka-Datensatzes
    kafka_value varbyte Der von Kafka erhaltene Datensatz
    kafka_headers super Der Header des von Kafka erhaltenen Datensatzes
    refresh_time Timestamp ohne Zeitzone Der Zeitpunkt, zu dem die Aktualisierung gestartet wurde

    Wichtig: Wenn die Definition Ihrer materialisierten Ansicht Geschäftslogik enthält, die zu Geschäftslogikfehlern führt, kann dies in einigen Fällen zum Fehlschlag der Streaming-Aufnahme führen. Dies kann dazu führen, dass Sie die materialisierte Ansicht entfernen und neu erstellen müssen. Um dies zu vermeiden, empfehlen wir Ihnen, Ihre Geschäftslogik einfach zu halten und zusätzliche Logik für die Daten erst auszuführen, nachdem diese aufgenommen wurden.

  4. Aktualisieren Sie die Ansicht. Dadurch wird Amazon Redshift aufgerufen, um Daten aus dem Thema zu lesen und Daten in die materialisierte Ansicht zu laden.

    REFRESH MATERIALIZED VIEW MyView;

  5. Fragen Sie Daten in der materialisierten Ansicht ab.

    select * from MyView;

    Die materialisierte Ansicht wird direkt vom Thema aus aktualisiert, wenn REFRESH ausgeführt wird. Sie erstellen eine materialisierte Ansicht, die der Kafka-Themendatenquelle zugeordnet ist. Sie können für die Daten als Teil der Definition der materialisierten Ansicht Filter anwenden und Aggregationen durchführen. Ihre materialisierte Ansicht der Streaming-Erfassung (die materialisierte Basisansicht) kann nur auf ein Kafka-Thema verweisen, Sie können jedoch zusätzliche materialisierte Ansichten erstellen, die mit der materialisierten Basisansicht und anderen materialisierten Ansichten oder Tabellen verknüpft werden.

Weitere Informationen zu Einschränkungen bei der Streaming-Erfassung finden Sie unter Verhalten und Datentypen bei der Streaming-Aufnahme.