Considérations et régions pour Amazon EMR WAL

Amazon EMR WAL peut être utilisé avec les versions 6.15.0 et supérieures d'Amazon EMR.

Amazon EMR WAL est un service payant et optionnel. Vous payez pour ce que vous utilisez : lecture, écriture et stockage de données. Pour plus d'informations, consultez Comprendre la tarification et les statistiques d'Amazon EMR WAL la page de tarification d'Amazon EMR.

Amazon EMR WAL utilise le Write Ahead Log (Write Ahead Log) de HBase. Pour utiliser Amazon EMR WAL, vos clusters doivent utiliser HBase WAL.

Pour activer Amazon EMR WAL lorsque vous créez un cluster, vous devez disposer des autorisations de rôle requises. Pour plus d'informations, consultez la section Utilisation de rôles liés à un service pour la journalisation anticipée.

Vous devez activer Amazon EMR WAL lorsque vous créez le cluster avec l'API Console de gestion AWS AWS CLI, ou, et vous devez utiliser la configuration des groupes d'instances. Vous ne pouvez pas activer Amazon EMR WAL dans un cluster en cours d'exécution si vous n'avez pas créé le cluster avec Amazon EMR WAL. Vous ne pouvez pas non plus modifier les hbase-site configurations pour activer Amazon EMR WAL dans un cluster en cours d'exécution.

Vous ne pouvez activer Amazon EMR WAL que sur les clusters qui utilisent Amazon S3 pour le répertoire racine.

Avant la version 7.5.0 d'Amazon EMR, les enregistrements dans Amazon EMR WAL devaient être d'une taille inférieure ou égale à 4 Mo. Mais avec la version 7.5.0 et les versions ultérieures d'Amazon EMR, la taille d'enregistrement maximale dans EMR WAL est configurable à l'aide de la propriété. emr.wal.max.payload.size La valeur par défaut est de 1 Go. L'exemple suivant définit la taille d'enregistrement maximale à 2 Go :

[
  {
    "Classification":"hbase-site",
    "Properties": {
       "emr.wal.max.payload.size": "2147483648"
    }
  }
]

Vous ne pouvez pas avoir plusieurs clusters actifs dans le même répertoire racine HBase dans Amazon S3.

Vous ne pouvez pas activer Amazon EMR WAL sur les clusters de répliques en lecture.

Le WAL est répliqué dans toutes les zones de disponibilité au sein du service géré.

WAL survit au cluster et reste disponible pour le cluster suivant.

Vous ne pouvez pas désactiver Amazon EMR WAL lors du lancement ou lorsque votre cluster est opérationnel (en cours d'exécution).

Amazon EMR WAL ne prend pas en charge les tables HBase ni les mutations qui utilisent explicitement le paramètre de ASYNC_WAL durabilité.

Pour plus d'informations sur le WAL et les limites d'espace de travail, consultez la section Points de terminaison et quotas Amazon EMR.

ap-northeast-1 – Asie-Pacifique (Tokyo)

ap-northeast-2 – Asie-Pacifique (Séoul)

ap-southeast-1 – Asie-Pacifique (Singapour)

ap-south-1 – Asie-Pacifique (Mumbai)

ap-southeast-2 – Asie-Pacifique (Sydney)

eu-central-1 – Europe (Francfort)

eu-north-1 – Europe (Stockholm)

eu-west-1 – Europe (Irlande)

sa-east-1 – Amérique du Sud (São Paulo)

us-east-1 – USA Est (Virginie du Nord)

us-east-2 – USA Est (Ohio)

us-west-2 – USA Ouest (Oregon)

ap-east-1 – Asie-Pacifique (Hong Kong)

af-south-1 – Afrique (Le Cap)

ca-central-1 – Canada (Centre)

eu-west-2 – Europe (Londres)