Machen Sie sich mit der maximalen Anzahl an Autoscaling-Aufgaben vertraut - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Machen Sie sich mit der maximalen Anzahl an Autoscaling-Aufgaben vertraut

Der maxAutoscalingTaskCount Parameter ist ein optionales Kapazitätsfeld, das für Autoscaling-Konnektoren in Amazon MSK Connect verfügbar ist. Mit diesem Parameter können Sie eine Obergrenze für die maximale Anzahl von Aufgaben festlegen, die während der automatischen Skalierung von Konnektoren erstellt werden können, wodurch eine bessere Kontrolle über die Ressourcennutzung und Leistung ermöglicht wird.

Wenn Sie den Modus für automatisch skalierte Kapazität verwenden, überschreibt Amazon MSK Connect automatisch die tasks.max Eigenschaft Ihres Connectors mit einem Wert, der proportional zur Anzahl der Mitarbeiter und pro Mitarbeiter ist. MCUs Der maxAutoscalingTaskCount Parameter bietet eine zusätzliche konfigurierbare Option, um die maximale Anzahl von Aufgaben zu begrenzen, die für Ihren Connector erstellt werden.

Diese Funktion ist besonders nützlich, wenn Sie den Grad der Parallelität in Bezug auf die Anzahl der Themenpartitionen in Ihrem Kafka-Cluster steuern möchten. Durch die Festlegung dieses Grenzwerts können Sie die Leistung optimieren und eine ineffiziente Aufgabenverteilung verhindern, die auftreten kann, wenn die automatisch berechnete Anzahl von Aufgaben Ihre Workload-Anforderungen übersteigt.

Konfigurationsanforderungen

Der maxAutoscalingTaskCount Parameter muss die folgende Anforderung erfüllen:

maxAutoscalingTaskCount ≥ maxWorkerCount

Diese Anforderung gewährleistet eine effiziente Nutzung der Ressourcen, indem mindestens eine Aufgabe pro Mitarbeiter verwaltet wird. Das System erzwingt dieses Minimum, um die Funktionalität der Konnektoren zu optimieren.

Wenn Sie dies angebenmaxAutoscalingTaskCount, wird das Limit sofort nach der Erstellung des Connectors und bei allen nachfolgenden Skalierungsereignissen angewendet. Wenn die Anzahl der Mitarbeiter bei Autoscaling-Vorgängen zu- oder abnimmt, hält sich das System weiterhin an diesen Grenzwert. Der tasks.max Wert passt sich proportional zur Anzahl der Mitarbeiter und MCUs pro Mitarbeiter an, überschreitet jedoch nie den konfigurierten Wert. maxAutoscalingTaskCount

Wenn Sie diesen Parameter nicht angeben, verwendet der Konnektor die Standardberechnung ohne Einschränkungen: tasks.max = workerCount × mcuCount × tasksPerMcu (wo 2 tasksPerMcu ist).

Wann sollte maxAutoscalingTask Count verwendet werden

Erwägen Sie die Verwendung maxAutoscalingTaskCount in den folgenden Szenarien:

  • Begrenzte Partitionsanzahl: Wenn Ihre Kafka-Themen eine feste Anzahl von Partitionen haben, die unter der automatisch berechneten Anzahl von Aufgaben liegt, verhindert die Festlegung eines Grenzwerts, dass Aufgaben im Leerlauf erstellt werden, ohne dass noch etwas erledigt werden muss.

  • Leistungsoptimierung: Wenn Sie festgestellt haben, dass eine bestimmte Anzahl von Aufgaben den optimalen Durchsatz für Ihre Arbeitslast bietet, können Sie die maximale Anzahl an Aufgaben begrenzen, um eine gleichbleibende Leistung zu gewährleisten.

  • Ressourcenmanagement: Wenn Sie die maximale Parallelität und den maximalen Ressourcenverbrauch Ihres Connectors kontrollieren möchten, unabhängig davon, wie viele Worker im Einsatz sind.

Beispiel

Für einen Connector mit der folgenden Konfiguration:

minWorkerCount: 1 maxWorkerCount: 4 mcuCount: 8 maxAutoscalingTaskCount: 15

Ohne maxAutoscalingTaskCount würde der Konnektor bei einer Skalierung auf 4 Worker 64 Aufgaben erstellen (4 Worker × 8 MCUs × 2 Aufgaben pro MCU). Wenn dieser maxAutoscalingTaskCount Wert auf 15 gesetzt ist, erstellt der Connector nur 15 Aufgaben. Dies ist möglicherweise besser geeignet, wenn Ihr Kafka-Thema 15 oder weniger Partitionen hat.