Mise en route de l’ingestion en streaming à partir de sources Apache Kafka - Amazon Redshift
Configuration de l’ingestion en streaming depuis Kafka

Amazon Redshift ne prendra plus en charge la création de nouveaux Python UDFs à compter du 1er novembre 2025. Si vous souhaitez utiliser Python UDFs, créez la version UDFs antérieure à cette date. Le Python existant UDFs continuera à fonctionner normalement. Pour plus d’informations, consultez le billet de blog .

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Mise en route de l’ingestion en streaming à partir de sources Apache Kafka

Cette rubrique explique comment utiliser des données de streaming depuis Amazon MSK, Apache Kafka ou Confluent Cloud à l’aide d’une vue matérialisée.

L’objectif de l’ingestion en streaming Amazon Redshift est de simplifier le processus afin d’ingérer directement des données de flux depuis un service de streaming vers Amazon Redshift ou Amazon Redshift sans serveur. Cela fonctionne avec des clusters alloués Amazon MSK et Amazon MSK sans serveur, avec Apache Kafka open source et avec Confluent Cloud. L’ingestion en flux continu Amazon Redshift élimine la nécessité de stocker temporairement une rubrique Apache Kafka dans Amazon S3 avant d’ingérer les données de flux dans Redshift.

Sur le plan technique, l’ingestion en streaming fournit une ingestion à faible latence et à haute vitesse des données de flux ou de rubrique dans une vue matérialisée Amazon Redshift. Après la configuration, l’actualisation de la vue matérialisée vous permet d’intégrer de gros volumes de données.

Vous devez disposer d’une source Apache Kafka avant de configurer l’ingestion en streaming Amazon Redshift. Si vous n’avez pas de source, créez-en une en suivant les instructions suivantes :

Configuration de l’ingestion en streaming depuis Kafka

Utilisez les procédures suivantes pour configurer l'ingestion de flux vers Amazon Redshift à partir d'Amazon MSK ou de sources Apache Kafka non AWS gérées (Apache Kafka et Confluent Cloud).

Configurer l’authentification

Cette section décrit la configuration de l’authentification pour permettre à votre application Amazon Redshift d’accéder à une source Amazon MSK.

Après avoir créé le rôle de votre application, attachez l’une des politiques suivantes pour autoriser l’accès à votre cluster Amazon MSK, Apache Kafka ou Confluent Cloud. Pour l’authentification mTLS, vous pouvez stocker les certificats utilisés par Amazon Redshift dans ACM ou Secrets Manager. Vous devez donc choisir la politique correspondant à l’endroit où le certificat est stocké.

Notez que les certificats autosignés ne sont pas pris en charge pour l’authentification ou les données en transit lorsque vous utilisez l’ingestion en streaming directe dans Amazon Redshift avec l’une des sources de streaming Apache Kafka prises en charge. Il s’agit notamment d’Amazon MSK, d’Apache Kafka et de Confluent Cloud. Envisagez d'utiliser des certificats générés par AWS Certificate Manager ou toute autre autorité de certification approuvée publiquement.

L’authentification IAM Amazon Redshift avec MSK n’est prise en charge que sur Kafka version 2.7.1 ou supérieure.

AUTHENTIFICATION IAM (Amazon MSK uniquement) :

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "MSKIAMpolicy",
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic",
                "kafka-cluster:Connect"
            ],
            "Resource": [
                "arn:aws:kafka:*:111122223333:cluster/MyTestCluster/*",
                "arn:aws:kafka:*:111122223333:topic/MyTestCluster/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:*:111122223333:group/MyTestCluster/*"
            ]
        }
    ]
}

AUTHENTIFICATION MTLS : à l'aide d'un certificat stocké dans AWS Certificate Manager

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "MSKmTLSACMpolicy",
            "Effect": "Allow",
            "Action": [
                "acm:ExportCertificate" 
            ],
            "Resource": [
                "arn:aws:acm:us-east-1:444455556666:certificate/certificate_ID"
            ]
        }
    ]
}

AUTHENTIFICATION MTLS : à l'aide d'un certificat stocké dans AWS Secrets Manager

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "MSKmTLSSecretsManagerpolicy",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue" 
            ],
            "Resource": [
                "arn:aws:secretsmanager:us-east-1:444455556666:secret:secret_ID"
            ]
        }
    ]
}
Amazon MSK

Si vous utilisez AUTHENTICATION NONE pour vous connecter à une source Amazon MSK, aucun rôle IAM n’est requis. Toutefois, si vous utilisez AUTHENTICATION IAM ou MTLS pour vous authentifier auprès de votre cluster Amazon MSK, votre cluster Amazon Redshift ou votre espace de noms Amazon Redshift sans serveur, un rôle IAM avec les autorisations appropriées doit être attaché. Créez un rôle IAM avec une politique d’approbation permettant à votre cluster Amazon Redshift ou à votre espace de noms Amazon Redshift sans serveur d’endosser le rôle. Après avoir créé le rôle, ajoutez l’une des autorisations suivantes pour prendre en charge IAM ou MTLS. Pour l'authentification mTLS, les certificats utilisés par Amazon Redshift peuvent être stockés AWS Certificate Manager dans AWS Secrets Manager ou. Vous devez donc choisir la politique correspondant à l'endroit où le certificat est stocké. Attachez le rôle à votre cluster Amazon Redshift alloué ou votre espace de noms Redshift sans serveur. Pour plus d'informations sur la façon de configurer la politique de confiance pour le rôle IAM, consultez Autoriser Amazon Redshift à accéder à AWS d'autres services en votre nom.

Le tableau suivant montre les options de configuration complémentaires à définir pour l’ingestion en streaming depuis Amazon MSK :

Configuration Amazon Redshift Configuration d’Amazon MSK Port à ouvrir entre Redshift et Amazon MSK
AUTHENTICATION NONE Transport TLS désactivé 9092
AUTHENTICATION NONE Transport TLS activé 9094
AUTHENTICATION IAM IAM 9098/9198
AUTHENTICATION MTLS Transport TLS activé 9094

L’authentification Amazon Redshift est définie dans l’instruction CREATE EXTERNAL SCHEMA.

Note

Si l’authentification mTLS (Mutual Transport Layer Security) est activée sur le cluster Amazon MSK, la configuration d’Amazon Redshift pour utiliser AUTHENTICATION NONE lui indique d’utiliser le port 9094 pour un accès non authentifié. Toutefois, cela échouera, car le port est utilisé par l’authentification mTLS. De ce fait, nous vous recommandons de passer à la configuration AUTHENTICATION mtls quand vous utilisez mTLS.

Apache Kafka or Confluent Cloud

Pour Apache Kafka et Confluent Cloud, Amazon Redshift prend en charge les protocoles de connexion suivants :

  • Vous pouvez utiliser le protocole mTLS ou le texte brut avec le transport TLS pour l’authentification lorsque vous vous connectez à Apache Kafka.

  • Vous pouvez uniquement utiliser mTLS pour l’authentification lorsque vous vous connectez à Confluent Cloud.

Amazon Redshift prend en charge les protocoles de chiffrement suivants pour la connexion à Apache Kafka ou à Confluent Cloud :

Méthodes d’authentification prises en charge pour Apache Kafka et Confluent Cloud

Amazon Redshift Protocole de sécurité Kafka Prise en charge d’Apache Kafka Prise en charge de Confluent Cloud
AUTHENTICATION NONE PLAINTEXT Non Non
AUTHENTICATION NONE SSL Oui Non
AUTHENTICATION IAM SASL_SSL Non Non
AUTHENTICATION MTLS SSL Oui (avec certificat) Oui (avec certificat)

Notez qu'Amazon Redshift ne prend pas en charge SASL/SCRAM le protocole SASL/PLAINTEXT.

Configuration de votre VPC

Après avoir créé vos ressources d’authentification, consultez votre VPC et vérifiez que votre cluster Amazon Redshift ou groupe de travail Amazon Redshift sans serveur dispose d’une itinéraire pour accéder à votre source Apache Kafka.

Note

Pour Amazon MSK, les règles de groupe de sécurité entrant pour votre cluster Amazon MSK doivent autoriser le groupe de sécurité de votre cluster Amazon Redshift ou de votre groupe de travail Redshift sans serveur. Les ports que vous spécifiez dépendent des méthodes d’authentification configurées sur votre cluster Amazon MSK. Pour plus d'informations, consultez les sections Informations sur les ports et Accès depuis le VPC AWS mais depuis l'extérieur.

Ensuite, activez le routage VPC amélioré sur votre cluster Amazon Redshift ou dans votre groupe de travail Amazon Redshift sans serveur. Pour plus d’informations, consultez Activation du routage VPC amélioré.

Créer une vue matérialisée

Dans cette section, vous allez configurer la vue matérialisée qu’Amazon Redshift utilise pour accéder à vos données de streaming Apache Kafka.

En supposant que vous avez un cluster Apache Kafka disponible, la première étape consiste à définir un schéma dans Redshift avec CREATE EXTERNAL SCHEMA et de référencer le cluster en tant que source de données. Ensuite, pour accéder aux données dans la rubrique, définissez le STREAM dans une vue matérialisée. Vous pouvez stocker des enregistrements de votre rubrique en utilisant le type de données Amazon Redshift par défaut VARBYTE, ou définir un schéma qui convertit les données au format SUPER semi-structuré. Lorsque vous interrogez la vue matérialisée, les enregistrements renvoyés sont une point-in-time vue du sujet.

  1. Dans Amazon Redshift, créez un schéma externe à mapper au cluster Apache Kafka. La syntaxe est la suivante :

    CREATE EXTERNAL SCHEMA MySchema
FROM KAFKA
[ IAM_ROLE [ default | 'iam-role-arn' ] ]
AUTHENTICATION [ none | iam | mtls ]
{AUTHENTICATION_ARN 'acm-certificate-arn' |  SECRET_ARN 'asm-secret-arn'};

    Dans la clause FROM, KAFKA indique que le schéma mappe les données à partir d’une source Apache Kafka.

    AUTHENTICATION indique le type d’authentification pour l’ingestion en streaming. Trois types sont disponibles :

    • none : indique l’absence de toute authentification requise. Cela correspond à un accès non authentifié sur MSK. Cela correspond à l’authentification SSL dans Apache Kafka. Cette méthode d’authentification n’est pas prise en charge pour Confluent Cloud.

    • iam – Indique une authentification IAM. Vous pouvez uniquement utiliser l’authentification IAM avec Amazon MSK. Lorsque vous choisissez cette option, vérifiez que le rôle IAM dispose des autorisations nécessaires à l’authentification IAM. Pour plus d’informations sur la configuration des politiques IAM requises, consultez Configuration de l’ingestion en streaming depuis Kafka.

    • mtls : indique que le protocole mTLS (Mutual Transport Layer Security) assure une communication sécurisée en facilitant l’authentification entre un client et un serveur. Dans ce cas, le client est Redshift et le serveur est Apache Kafka. Pour de plus amples informations sur la configuration de l’ingestion en streaming avec mTLS, consultez Authentification avec mTLS pour l’ingestion en streaming Redshift à partir de sources Apache Kafka.

    Notez que l’authentification Amazon MSK avec nom d’utilisateur et mot de passe n’est pas prise en charge pour l’ingestion en streaming.

    Le paramètre AUTHENTICATION_ARN spécifie l’ARN du certificat mTLS (Mutual Transport Layer Security) ACM que vous utilisez pour établir une connexion cryptée.

    Le SECRET_ARN paramètre spécifie l'ARN du AWS Secrets Manager secret contenant le certificat à utiliser par Amazon Redshift pour les MTL.

    Les exemples suivants montrent comment définir l’URI de l’agent pour le cluster Amazon MSK lorsque vous créez le schéma externe :

    Avec l’authentification IAM :

    CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION IAM
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098'

    Sans authentification :

    CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA 
AUTHENTICATION none
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092'

    Avec mTLS :

    CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION MTLS
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094,b- 2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094'
{AUTHENTICATION_ARN 'acm-certificate-arn' |  SECRET_ARN 'asm-secret-arn'}

    Pour plus d’informations sur la façon de créer un schéma externe, consultez CREATE EXTERNAL SCHEMA.

  2. Créez une vue matérialisée pour consommer les données de la rubrique. Utilisez une commande SQL telle que l’exemple suivant.

    CREATE MATERIALIZED VIEW MyView AUTO REFRESH YES AS
SELECT *
FROM MySchema."mytopic";

    Les noms de rubrique Kafka sont sensibles à la casse et peuvent contenir des lettres majuscules et minuscules. Pour ingérer à partir de rubriques dont les noms sont en majuscules, vous pouvez définir la configuration enable_case_sensitive_identifier sur true au niveau de la session ou de la base de données. Pour plus d’informations, consultez Noms et identificateurs et enable_case_sensitive_identifier.

    Pour activer l’actualisation automatique, utilisez AUTO REFRESH YES. L’actualisation manuelle est le comportement par défaut.

  3. Les colonnes de métadonnées incluent ce qui suit :

    Colonne de métadonnées Type de données Description
    kafka_partition bigint ID de partition de l’enregistrement issu de la rubrique Kafka
    kafka_offset bigint Décalage de l’enregistrement dans la rubrique Kafka pour une partition donnée
    kafka_timestamp_type char(1)

    Type d’horodatage utilisé dans l’enregistrement Kafka :

    • C – Enregistrer l’heure de création (CREATE_TIME) côté client

    • L – Enregistrer l’heure d’ajout (LOG_APPEND_TIME) côté serveur Kafka

    • U – Enregistrer l’heure de création indisponible (NO_TIMESTAMP_TYPE)
    kafka_timestamp horodatage sans fuseau horaire Valeur timestamp de l’enregistrement
    kafka_key varbyte La clé de l’enregistrement de Kafka
    kafka_value varbyte L’enregistrement reçu de Kafka
    kafka_headers super L’en-tête de l’enregistrement reçu de Kafka
    refresh_time horodatage sans fuseau horaire L’heure de début de l’actualisation

    Il est important de noter que s’il existe une logique métier dans votre définition de vue matérialisée qui entraîne des erreurs de logique métier, cela peut entraîner des échecs d’ingestion en streaming dans certains cas. Cela peut vous amener à supprimer et recréer la vue matérialisée. Pour éviter cela, nous vous recommandons de simplifier votre logique métier et d’exécuter une logique supplémentaire sur les données après l’ingestion.

  4. Actualisez la vue, ce qui appelle Amazon Redshift à lire à partir de la rubrique et à charger des données dans la vue matérialisée.

    REFRESH MATERIALIZED VIEW MyView;

  5. Interrogez les données dans la vue matérialisée.

    select * from MyView;

    La vue matérialisée est mise à jour directement à partir de la rubrique lorsque REFRESH est exécuté. Vous créez une vue matérialisée qui se mappe à la source de données de la rubrique Kafka. Vous pouvez effectuer des filtrages et des agrégations sur les données dans le cadre de la définition de la vue matérialisée. Votre vue matérialisée de l’ingestion en streaming (la vue matérialisée de base) ne peut référencer qu’une seule rubrique Kafka. Toutefois, vous pouvez créer des vues matérialisées supplémentaires qui se joignent à la vue matérialisée de base et à d’autres vues ou tables matérialisées.

Pour plus d’informations sur les limites relatives à l’ingestion en streaming, consultez Comportement de l’ingestion en streaming et types de données.