Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Conozca el número máximo de tareas de escalado automático
El maxAutoscalingTaskCount parámetro es un campo de capacidad opcional disponible para los conectores de escalado automático en Amazon MSK Connect. Este parámetro le permite establecer un límite máximo en el número máximo de tareas que se pueden crear durante las operaciones de escalado automático de los conectores, lo que proporciona un mayor control sobre la utilización y el rendimiento de los recursos.
Cuando utiliza el modo de capacidad con escalado automático, Amazon MSK Connect anula automáticamente la propiedad tasks.max del conector con un valor proporcional al número de trabajadores MCUs y por trabajador. El maxAutoscalingTaskCount parámetro proporciona una opción configurable adicional para limitar el número máximo de tareas creadas para el conector.
Esta capacidad resulta especialmente útil cuando se quiere controlar el nivel de paralelismo en relación con el número de particiones temáticas del clúster de Kafka. Al establecer este límite, puede optimizar el rendimiento y evitar una distribución ineficiente de las tareas que podría producirse cuando el recuento de tareas calculado automáticamente supere los requisitos de carga de trabajo.
Requisitos de configuración
El maxAutoscalingTaskCount parámetro debe cumplir los siguientes requisitos:
maxAutoscalingTaskCount ≥ maxWorkerCount
Este requisito garantiza una utilización eficiente de los recursos al mantener al menos una tarea por trabajador. El sistema aplica este mínimo para optimizar la funcionalidad del conector.
Si lo especificamaxAutoscalingTaskCount, el límite se aplica inmediatamente después de la creación del conector y durante todos los eventos de escalado posteriores. A medida que el número de trabajadores aumenta o disminuye durante las operaciones de escalado automático, el sistema sigue respetando este límite. El tasks.max valor se ajusta proporcionalmente al número de trabajadores y MCUs por trabajador, pero nunca supera el valor configurado. maxAutoscalingTaskCount
Si no especifica este parámetro, el conector utiliza el cálculo estándar sin ningún límite: tasks.max = workerCount × mcuCount × tasksPerMcu (donde tasksPerMcu es 2).
Cuándo usar maxAutoscalingTask Count
Considere la posibilidad de usarlo maxAutoscalingTaskCount en los siguientes escenarios:
-
Recuento de particiones limitado: si sus temas de Kafka tienen un número fijo de particiones inferior al recuento de tareas calculado automáticamente, establecer un límite impide la creación de tareas inactivas sin trabajo que realizar.
-
Optimización del rendimiento: cuando haya identificado que un recuento de tareas específico proporciona un rendimiento óptimo para su carga de trabajo, puede limitar el número máximo de tareas para mantener un rendimiento constante.
-
Administración de recursos: cuando desee controlar el paralelismo máximo y el consumo de recursos de su conector, independientemente del número de trabajadores que estén trabajando.
Ejemplo
Para un conector con la siguiente configuración:
minWorkerCount: 1 maxWorkerCount: 4 mcuCount: 8 maxAutoscalingTaskCount: 15
Sin maxAutoscalingTaskCount él, si se escalara a 4 trabajadores, el conector crearía 64 tareas (4 trabajadores × 8 MCUs × 2 tareas por MCU). Si maxAutoscalingTaskCount se establece en 15, el conector crea solo 15 tareas, lo que puede ser más adecuado si el tema de Kafka tiene 15 particiones o menos.
