Administración del rendimiento del almacenamiento para agentes Standard en un clúster de Amazon MSK

Para obtener información sobre cómo aprovisionar el rendimiento mediante la consola de Amazon MSK, la CLI y la API, consulte Aprovisionamiento del rendimiento de almacenamiento para agentes Standard en un clúster de Amazon MSK.

Cuellos de botella en el rendimiento del agente de Amazon MSK y configuración de rendimiento máximo

Hay varias causas de los atascos en el rendimiento de los agentes: el rendimiento del volumen, el rendimiento de la red de Amazon EC2 a Amazon EBS y el rendimiento de salida de Amazon EC2. Puede habilitar el rendimiento del almacenamiento aprovisionado para ajustar el rendimiento del volumen. Sin embargo, las limitaciones de rendimiento de los agentes pueden deberse al rendimiento de la red de Amazon EC2 a Amazon EBS y al rendimiento de salida de Amazon EC2.

El rendimiento de salida de Amazon EC2 se ve afectado por la cantidad de grupos de consumidores y de consumidores por grupos de consumidores. Además, tanto el rendimiento de la red de Amazon EC2 a Amazon EBS como el rendimiento de salida de Amazon EC2 son más altos para los tamaños del agente más grandes.

Para volúmenes de 10 GiB o más, puede aprovisionar un rendimiento de almacenamiento de 250 MiB por segundo o más. 250 MiB por segundo es el valor predeterminado. Para aprovisionar el rendimiento del almacenamiento, debe elegir el tamaño del agente kafka.m5.4xlarge o superior (o kafka.m7g.2xlarge o superior) y puede especificar el rendimiento máximo, como se muestra en la siguiente tabla.

Medición del rendimiento del almacenamiento de un clúster de Amazon MSK

Puede utilizar las métricas VolumeReadBytes y VolumeWriteBytes para medir el rendimiento medio de almacenamiento de un clúster. La suma de estas dos métricas proporciona el rendimiento de almacenamiento medio en bytes. Para obtener el rendimiento de almacenamiento medio de un clúster, establezca estas dos métricas en SUM y el periodo en 1 minuto y, luego, utilice la siguiente fórmula.

Average storage throughput in MiB/s = (Sum(VolumeReadBytes) + Sum(VolumeWriteBytes)) / (60 * 1024 * 1024)

Para obtener información sobre las métricas VolumeReadBytes y VolumeWriteBytes, consulte Supervisión de PER_BROKER.

Valores de actualización de configuración para el almacenamiento aprovisionado en un clúster de Amazon MSK

Puede actualizar la configuración de Amazon MSK antes o después de activar el rendimiento aprovisionado. Sin embargo, no verá el rendimiento deseado hasta que realice ambas acciones: actualice el parámetro de configuración num.replica.fetchers y active el rendimiento aprovisionado.

En la configuración predeterminada de Amazon MSK, num.replica.fetchers tiene un valor de 2. Para actualizar num.replica.fetchers, puede utilizar los valores sugeridos de la siguiente tabla. Estos valores son orientativos. Le recomendamos que ajuste estos valores en función del caso de uso.

Es posible que la configuración actualizada no surta efecto hasta dentro de 24 horas y que tarde más si el volumen de origen no se utiliza por completo. Sin embargo, el rendimiento del volumen transitorio es como mínimo igual al rendimiento de los volúmenes de almacenamiento de origen durante el periodo de migración. Un volumen de 1 TiB totalmente utilizado tarda normalmente unas seis horas en migrar a una configuración actualizada.