View a markdown version of this page

Réplication entre clusters EMR WAL - Amazon EMR
Cross-cluster configuration de la réplicationCross-cluster confirmation de réplication

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Réplication entre clusters EMR WAL

À partir d'EMR 7.5, EMR WAL prend en charge la réplication inter-clusters HBase des journaux à écriture anticipée. Cette rubrique explique comment activer cette fonctionnalité et vérifier qu'elle fonctionne. Pour plus de détails sur la réplication de cluster, consultez la section Réplication de cluster dans la documentation Apache HBase.

Note

Les journaux d'écriture anticipée entraînent des coûts de lecture supplémentaires, car le processus de réplication lit les données depuis le WAL EMR local. Pour plus de détails sur les coûts, consultez la section À propos des versions d'Amazon EMR.

Cross-cluster configuration de la réplication

Afin d'offrir la même expérience utilisateur, l'activation de la fonctionnalité de réplication sur EMR WAL est la même que pour les journaux d'écriture anticipée natifs de HBase. La procédure qui suit montre un exemple simple. Pour plus d'informations, consultez la documentation HBase sur Cluster Replication.

  1. Démarrez un cluster principal, qui est la source de réplication, avec EMR WAL activé. Pour activer les journaux à écriture anticipée, consultez. Activation d'Amazon EMR WAL En outre, démarrez un cluster homologue. Pour ce cluster homologue, vous pouvez choisir d'activer ou non EMR WAL.

  2. Sur les deux clusters, créez un tableau :

    HBASE_CMD="sudo -u hbase hbase"
echo "create 'test_replication_table',{NAME => 'CF'}" | $HBASE_CMD shell

  3. Ajoutez une configuration homologue sur le cluster principal et activez la réplication des tables. Lors de l'ajout d'un pair, il a besoin du nom d'hôte du nœud maître du cluster homologue, qui est PEER_DNS.

    HBASE_CMD="sudo -u hbase hbase"
PEER_DNS="ip-10-1-1-0.ec2.com"
PEER_NAME="aws"
TABLE_NAME="test_replication_table"

## Create peering with the destination cluster
echo "add_peer '$PEER_NAME', CLUSTER_KEY => '$PEER_DNS:2181:/hbase'" | $HBASE_CMD shell

## List peers in the primary cluster to confirm peer setup
echo "list_peers" | $HBASE_CMD shell

## Enable table replication
echo "enable_table_replication '$TABLE_NAME'" | $HBASE_CMD shell

Confirmation de la réplication entre clusters

Après avoir effectué les étapes de configuration, la réplication est activée entre le cluster principal et le cluster homologue. Un test s'ensuit qui confirme le bon fonctionnement de la réplication.

  1. Ajoutez des données sur le cluster principal et vérifiez les données répliquées sur le cluster homologue.

    ## Write on primary cluster with HBase CLI

put 'test_replication_table', 'aaa', 'CF:a', 'aaa_a1'
put 'test_replication_table', 'bbb', 'CF:b', 'bbb_b1'
put 'test_replication_table', 'ccc', 'CF:c', 'ccc_c1'

  2. Confirmez la réussite de la réplication sur le cluster homologue. Dans ce cas, vous devriez voir des données répliquées écrites depuis le cluster principal vers le cluster homologue.

    ### Scan on peer cluster with HBase CLI

scan 'test_replication_table'