Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Comprendi il numero massimo di attività con scalabilità automatica
Il maxAutoscalingTaskCount parametro è un campo di capacità opzionale disponibile per la scalabilità automatica dei connettori in Amazon MSK Connect. Questo parametro consente di impostare un limite massimo al numero massimo di attività che possono essere create durante le operazioni di scalabilità automatica dei connettori, garantendo un maggiore controllo sull'utilizzo delle risorse e sulle prestazioni.
Quando utilizzi la modalità di capacità con scalabilità automatica, Amazon MSK Connect sostituisce automaticamente la tasks.max proprietà del connettore con un valore proporzionale al numero di lavoratori e per lavoratore. MCUs Il maxAutoscalingTaskCount parametro fornisce un'opzione configurabile aggiuntiva per limitare il numero massimo di attività create per il connettore.
Questa funzionalità è particolarmente utile quando si desidera controllare il livello di parallelismo in relazione al numero di partizioni tematiche nel cluster Kafka. Impostando questo limite, è possibile ottimizzare le prestazioni e prevenire una distribuzione inefficiente delle attività che potrebbe verificarsi quando il numero di attività calcolato automaticamente supera i requisiti del carico di lavoro.
Requisiti di configurazione
Il maxAutoscalingTaskCount parametro deve soddisfare il seguente requisito:
maxAutoscalingTaskCount ≥ maxWorkerCount
Questo requisito garantisce un utilizzo efficiente delle risorse mantenendo almeno un'attività per lavoratore. Il sistema applica questo valore minimo per ottimizzare la funzionalità del connettore.
Quando si specificamaxAutoscalingTaskCount, il limite viene applicato immediatamente dopo la creazione del connettore e durante tutti gli eventi di ridimensionamento successivi. Man mano che il numero di lavoratori aumenta o diminuisce durante le operazioni di scalabilità automatica, il sistema continua a rispettare questo limite. Il tasks.max valore si adatta proporzionalmente al numero di lavoratori e MCUs per lavoratore, ma non supera mai il valore configurato. maxAutoscalingTaskCount
Se non si specifica questo parametro, il connettore utilizza il calcolo standard senza alcun limite: tasks.max = workerCount × mcuCount × tasksPerMcu (dove tasksPerMcu è 2).
Quando usare maxAutoscalingTask Count
Prendi maxAutoscalingTaskCount in considerazione l'utilizzo nei seguenti scenari:
-
Numero limitato di partizioni: quando gli argomenti di Kafka hanno un numero fisso di partizioni inferiore al numero di operazioni calcolato automaticamente, l'impostazione di un limite impedisce la creazione di attività inattive senza lavoro da eseguire.
-
Ottimizzazione delle prestazioni: dopo aver individuato che un numero di attività specifico fornisce un throughput ottimale per il carico di lavoro, è possibile limitare il numero massimo di attività per mantenere prestazioni costanti.
-
Gestione delle risorse: quando si desidera controllare il massimo parallelismo e il consumo di risorse del connettore indipendentemente dal numero di lavoratori in esecuzione.
Esempio
Per un connettore con la seguente configurazione:
minWorkerCount: 1 maxWorkerCount: 4 mcuCount: 8 maxAutoscalingTaskCount: 15
maxAutoscalingTaskCountIn caso contrario, se scalato a 4 operatori, il connettore creerebbe 64 attività (4 lavoratori × 8 MCUs × 2 attività per MCU). Se maxAutoscalingTaskCount impostato su 15, il connettore crea solo 15 attività, il che potrebbe essere più appropriato se l'argomento di Kafka ha 15 o meno partizioni.
