Exemples d'Amazon MSK utilisant AWS CLI - AWS Command Line Interface
Actions

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exemples d'Amazon MSK utilisant AWS CLI

Les exemples de code suivants vous montrent comment effectuer des actions et implémenter des scénarios courants à l' AWS Command Line Interface aide d'Amazon MSK.

Les actions sont des extraits de code de programmes plus larges et doivent être exécutées dans leur contexte. Alors que les actions vous indiquent comment appeler des fonctions de service individuelles, vous pouvez les voir en contexte dans leurs scénarios associés.

Chaque exemple inclut un lien vers le code source complet, où vous trouverez des instructions sur la configuration et l’exécution du code en contexte.

Rubriques

Actions

L'exemple de code suivant montre comment utilisercreate-cluster.

AWS CLI

Pour créer un cluster Amazon MSK

L’exemple create-cluster suivant crée un cluster MSK nommé MessagingCluster avec trois nœuds d’agent. Un fichier JSON nommé brokernodegroupinfo.json indique les trois sous-réseaux sur lesquels vous souhaitez qu’Amazon MSK distribue les nœuds d’agent. Cet exemple ne spécifie pas le niveau de surveillance ; le cluster obtient donc le niveau DEFAULT.

aws kafka create-cluster \
    --cluster-name "MessagingCluster" \
    --broker-node-group-info file://brokernodegroupinfo.json \
    --kafka-version "2.2.1" \
    --number-of-broker-nodes 3

Contenu de brokernodegroupinfo.json :

{
    "InstanceType": "kafka.m5.xlarge",
    "BrokerAZDistribution": "DEFAULT",
    "ClientSubnets": [
        "subnet-0123456789111abcd",
        "subnet-0123456789222abcd",
        "subnet-0123456789333abcd"
    ]
}

Sortie :

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterName": "MessagingCluster",
    "State": "CREATING"
}

Pour plus d’informations, consultez Create an Amazon MSK Cluster dans le Guide du développeur Amazon Managed Streaming for Apache Kafka.

  • Pour plus de détails sur l'API, reportez-vous CreateClusterà la section Référence des AWS CLI commandes.

L'exemple de code suivant montre comment utilisercreate-configuration.

AWS CLI

Pour créer une configuration Amazon MSK personnalisée

L’exemple create-configuration suivant crée une configuration MSK personnalisée avec les propriétés du serveur spécifiées dans le fichier d’entrée.

aws kafka create-configuration \
    --name "CustomConfiguration" \
    --description "Topic autocreation enabled; Apache ZooKeeper timeout 2000 ms; Log rolling 604800000 ms." \
    --kafka-versions "2.2.1" \
    --server-properties file://configuration.txt

Contenu de configuration.txt :

auto.create.topics.enable = true
zookeeper.connection.timeout.ms = 2000
log.roll.ms = 604800000

Cette commande ne produit aucune sortie. Sortie :

{
    "Arn": "arn:aws:kafka:us-west-2:123456789012:configuration/CustomConfiguration/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "CreationTime": "2019-10-09T15:26:05.548Z",
    "LatestRevision":
        {
            "CreationTime": "2019-10-09T15:26:05.548Z",
            "Description": "Topic autocreation enabled; Apache ZooKeeper timeout 2000 ms; Log rolling 604800000 ms.",
            "Revision": 1
        },
    "Name": "CustomConfiguration"
}

Pour plus d’informations, consultez Opérations de configuration d’Amazon MSK dans le Guide du développeur Amazon Managed Streaming for Apache Kafka.

  • Pour plus de détails sur l'API, reportez-vous CreateConfigurationà la section Référence des AWS CLI commandes.

L'exemple de code suivant montre comment utiliserdescribe-cluster.

AWS CLI

Pour décrire un cluster

L’exemple describe-cluster suivant décrit un cluster Amazon MSK.

aws kafka describe-cluster \
    --cluster-arn arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5

Sortie :

{
    "ClusterInfo": {
        "BrokerNodeGroupInfo": {
            "BrokerAZDistribution": "DEFAULT",
            "ClientSubnets": [
                "subnet-cbfff283",
                "subnet-6746046b"
            ],
            "InstanceType": "kafka.m5.large",
            "SecurityGroups": [
                "sg-f839b688"
            ],
            "StorageInfo": {
                "EbsStorageInfo": {
                    "VolumeSize": 100
                }
            }
        },
        "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5",
        "ClusterName": "demo-cluster-1",
        "CreationTime": "2020-07-09T02:31:36.223000+00:00",
        "CurrentBrokerSoftwareInfo": {
            "KafkaVersion": "2.2.1"
        },
        "CurrentVersion": "K3AEGXETSR30VB",
        "EncryptionInfo": {
            "EncryptionAtRest": {
                "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:123456789012:key/a7ca56d5-0768-4b64-a670-339a9fbef81c"
            },
            "EncryptionInTransit": {
                "ClientBroker": "TLS_PLAINTEXT",
                "InCluster": true
            }
        },
        "EnhancedMonitoring": "DEFAULT",
        "OpenMonitoring": {
            "Prometheus": {
                "JmxExporter": {
                    "EnabledInBroker": false
                },
                "NodeExporter": {
                    "EnabledInBroker": false
                }
            }
        },
        "NumberOfBrokerNodes": 2,
        "State": "ACTIVE",
        "Tags": {},
        "ZookeeperConnectString": "z-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-3.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181"
    }
}

Pour plus d’informations, consultez Liste des clusters Amazon MSK dans le Guide du développeur Amazon Managed Streaming for Apache Kafka.

  • Pour plus de détails sur l'API, reportez-vous DescribeClusterà la section Référence des AWS CLI commandes.

L'exemple de code suivant montre comment utiliserget-bootstrap-brokers.

AWS CLI

Pour obtenir vos agents d’amorçage

L’exemple get-bootstrap-brokers suivant extrait les informations de l’agent d’amorçage pour un cluster Amazon MSK.

aws kafka get-bootstrap-brokers \
    --cluster-arn arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5

Sortie :

{
    "BootstrapBrokerString": "b-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9092,b-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9092",
    "BootstrapBrokerStringTls": "b-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9094,b-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9094"
}

Pour plus d’informations, consultez Obtention des agents d’amorçage dans le Guide du développeur Amazon Managed Streaming for Apache Kafka.

  • Pour plus de détails sur l'API, reportez-vous GetBootstrapBrokersà la section Référence des AWS CLI commandes.

L'exemple de code suivant montre comment utiliserlist-clusters.

AWS CLI

Pour répertorier les clusters disponibles

L'list-clustersexemple suivant répertorie les clusters Amazon MSK de votre AWS compte.

aws kafka list-clusters

Sortie :

{
    "ClusterInfoList": [
        {
            "BrokerNodeGroupInfo": {
                "BrokerAZDistribution": "DEFAULT",
                "ClientSubnets": [
                    "subnet-cbfff283",
                    "subnet-6746046b"
                ],
                "InstanceType": "kafka.m5.large",
                "SecurityGroups": [
                    "sg-f839b688"
                ],
                "StorageInfo": {
                    "EbsStorageInfo": {
                        "VolumeSize": 100
                    }
                }
            },
            "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5",
            "ClusterName": "demo-cluster-1",
            "CreationTime": "2020-07-09T02:31:36.223000+00:00",
            "CurrentBrokerSoftwareInfo": {
                "KafkaVersion": "2.2.1"
            },
            "CurrentVersion": "K3AEGXETSR30VB",
            "EncryptionInfo": {
                "EncryptionAtRest": {
                    "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:123456789012:key/a7ca56d5-0768-4b64-a670-339a9fbef81c"
                },
                "EncryptionInTransit": {
                    "ClientBroker": "TLS_PLAINTEXT",
                    "InCluster": true
                }
            },
            "EnhancedMonitoring": "DEFAULT",
            "OpenMonitoring": {
                "Prometheus": {
                    "JmxExporter": {
                        "EnabledInBroker": false
                    },
                    "NodeExporter": {
                        "EnabledInBroker": false
                    }
                }
            },
            "NumberOfBrokerNodes": 2,
            "State": "ACTIVE",
            "Tags": {},
            "ZookeeperConnectString": "z-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-3.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181"
        }
    ]
}

Pour plus d’informations, consultez Liste des clusters Amazon MSK dans le Guide du développeur Amazon Managed Streaming for Apache Kafka.

  • Pour plus de détails sur l'API, reportez-vous ListClustersà la section Référence des AWS CLI commandes.

L'exemple de code suivant montre comment utiliserupdate-broker-storage.

AWS CLI

Pour mettre à jour le stockage EBS pour les agents

L’exemple update-broker-storage suivant met à jour la quantité de stockage EBS pour tous les courtiers du cluster. Amazon MSK définit la quantité de stockage cible pour chaque agent selon le montant spécifié dans l’exemple. Vous pouvez obtenir la version actuelle du cluster en décrivant le cluster ou en répertoriant tous les clusters.

aws kafka update-broker-storage \
    --cluster-arn "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2" \
    --current-version "K21V3IB1VIZYYH" \
    --target-broker-ebs-volume-info "KafkaBrokerNodeId=ALL,VolumeSizeGB=1100"

La sortie renvoie un ARN pour cette opération update-broker-storage. Pour déterminer si cette opération est terminée, utilisez la commande describe-cluster-operation avec cet ARN comme entrée.

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterOperationArn": "arn:aws:kafka:us-west-2:123456789012:cluster-operation/V123450123/a1b2c3d4-1234-abcd-cdef-22222EXAMPLE-2/a1b2c3d4-abcd-1234-bcde-33333EXAMPLE"
}

Pour plus d’informations, consultez Update the EBS Storage for Brokers dans le Guide du développeur Amazon Managed Streaming for Apache Kafka.

  • Pour plus de détails sur l'API, reportez-vous UpdateBrokerStorageà la section Référence des AWS CLI commandes.

L'exemple de code suivant montre comment utiliserupdate-cluster-configuration.

AWS CLI

Pour mettre à jour de la configuration d’un cluster Amazon MSK

L’exemple update-cluster-configuration suivant met à jour la configuration du cluster MSK existant spécifié. Il utilise une configuration MSK personnalisée.

aws kafka update-cluster-configuration \
    --cluster-arn "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2" \
    --configuration-info file://configuration-info.json \
    --current-version "K21V3IB1VIZYYH"

Contenu de configuration-info.json :

{
    "Arn": "arn:aws:kafka:us-west-2:123456789012:configuration/CustomConfiguration/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "Revision": 1
}

La sortie renvoie un ARN pour cette opération update-cluster-configuration. Pour déterminer si cette opération est terminée, utilisez la commande describe-cluster-operation avec cet ARN comme entrée.

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterOperationArn": "arn:aws:kafka:us-west-2:123456789012:cluster-operation/V123450123/a1b2c3d4-1234-abcd-cdef-22222EXAMPLE-2/a1b2c3d4-abcd-1234-bcde-33333EXAMPLE"
}

Pour plus d’informations, consultez Update the Configuration of an Amazon MSK Cluster dans le Guide du développeur Amazon Managed Streaming for Apache Kafka.