Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Machen Sie sich mit den Knotentypen in Amazon EMR vertraut: Primär-, Kern- und Taskknoten

In diesem Abschnitt erfahren Sie, wie Amazon EMR die einzelnen Knotentypen jeweils verwendet. Damit lernen Sie die Grundsätze der Kapazitätsplanung für Cluster kennen.

Primärknoten

Der Primärknoten verwaltet die Cluster und führt die Master-Komponenten von verteilten Anwendungen aus. Auf dem primären Knoten wird beispielsweise das YARN ausgeführt ResourceManager Dienst zur Verwaltung von Ressourcen für Anwendungen. Es führt auch das HDFS aus NameNode Service, verfolgt den Status der an den Cluster übermittelten Jobs und überwacht den Zustand der Instanzgruppen.

Um den Fortschritt eines Clusters zu überwachen und direkt mit Anwendungen zu interagieren, können Sie über SSH eine Verbindung mit dem Primärknoten als Hadoop-Benutzer herstellen. Weitere Informationen finden Sie unter Stellen Sie mithilfe von SSH eine Verbindung zum primären Knoten des Amazon EMR-Clusters her. Durch das Verbinden mit dem Primärknoten erhalten Sie direkten Zugriff auf Verzeichnisse und Dateien, wie z. B. Hadoop-Protokolldateien. Weitere Informationen finden Sie unter Amazon EMR-Protokolldateien anzeigen. Sie können auch Benutzeroberflächen anzeigen, die von den Anwendungen als auf dem Primärknoten ausgeführte Websites veröffentlicht werden. Weitere Informationen finden Sie unter Anzeigen von auf Amazon-EMR-Clustern gehosteten Webschnittstellen.

Core-Knoten

Core-Knoten werden vom Primärknoten verwaltet. Core-Knoten führen den DataNode-Daemon zum Koordinieren der Datenspeicherung im Rahmen des Hadoop Distributed File System (HDFS) aus. Außerdem führen sie den TaskTracker-Daemon und andere parallele Rechenaufgaben für Daten aus, die für installierte Anwendungen erforderlich sind. Auf einem Kernknoten wird beispielsweise YARN ausgeführt NodeManager Dämonen, Hadoop MapReduce Aufgaben und Spark-Executoren.

Es gibt nur eine Core-Instance-Gruppe oder Instance-Flotte pro Cluster, aber es können mehrere Knoten auf mehreren Amazon-EC2-Instances in der Instance-Gruppe oder Instance-Flotte laufen. Mit Instance-Gruppen können Sie Amazon-EC2-Instances hinzufügen und entfernen, während der Cluster ausgeführt wird. Sie können auch ein Auto Scaling einrichten, um Instances auf der Grundlage des Werts einer Metrik hinzuzufügen. Weitere Informationen zum Hinzufügen und Entfernen von Amazon-EC2 Instances mit der Instance-Gruppenkonfiguration finden Sie unter Verwenden Sie die Amazon EMR-Cluster-Skalierung, um sich an wechselnde Workloads anzupassen.

Mit Instance-Flotten können Sie Instances effektiv hinzufügen und entfernen, indem Sie die Einstellungen der Instance-Flotte ändern Zielkapazitäten zum On-Demand und Spot entsprechend. Weitere Informationen zu den Zielkapazitäten finden Sie unter Instance-Flotten-Optionen.

Aufgabenknoten

Sie können Task-Nodes verwenden, um die Leistung zu erhöhen und parallele Berechnungsaufgaben für Daten wie Hadoop auszuführen MapReduce Aufgaben und Spark-Executoren. Aufgabenknoten führen weder den DataNode-Daemon aus noch speichern sie Daten in HDFS. Wie Core-Knoten können Sie auch Aufgabenknoten zu einem Cluster hinzufügen, indem Sie Amazon-EC2-Instances in eine vorhandene einheitliche Instance-Gruppe integrieren oder die Zielkapazitäten für eine Aufgaben-Instance-Flotte ändern.

Mit der einheitlichen Instance-Gruppenkonfiguration können Sie über bis zu 48 Aufgaben-Instance-Gruppen verfügen. Die Möglichkeit, Instanzgruppen auf diese Weise hinzuzufügen, ermöglicht es Ihnen, Amazon EC2-Instance-Typen und Preisoptionen zu kombinieren, wie On-Demand Instances und Spot-Instances. Dadurch haben Sie die Flexibilität, kosteneffizient auf Workload-Anforderungen zu reagieren.

Mit der Instance-Flottenkonfiguration ist die Möglichkeit integriert, Instance-Typen und Kaufoptionen zu kombinieren, sodass nur eine Aufgaben-Instance-Flotte vorhanden ist.

Da Spot Instances häufig zum Ausführen von Aufgabenknoten verwendet werden, verfügt Amazon EMR über Standardfunktionen für die Planung von YARN-Aufträge, sodass laufende Aufträge nicht fehlschlagen, wenn Aufgabenknoten, die auf Spot Instances ausgeführt werden, beendet werden. Amazon EMR ermöglicht dies, indem Anwendungsmasterprozesse nur auf Core-Knoten ausgeführt werden können. Der Anwendungsmasterprozess steuert die Ausführung von Aufträgen und muss während der gesamten Laufzeit des Auftrags aktiv bleiben.

Amazon-EMR-Version 5.19.0 und höher verwendet zu diesem Zweck das integrierte YARN-Knotenbeschriftungsfeature. (Frühere Versionen verwendeten einen Code-Patch). Die Eigenschaften in den Klassifizierungen yarn-site und in der capacity-scheduler-Konfiguration sind standardmäßig so konfiguriert, dass der YARN-Kapazitätsplaner und der Fair-Scheduler die Vorteile von Knotenbezeichnungen nutzen. Amazon EMR kennzeichnet Core-Knoten automatisch mit dem CORE-Label und legt Eigenschaften fest, sodass Anwendungsmaster nur für Knoten mit dem CORE-Label geplant werden. Durch manuelles Ändern verwandter Eigenschaften in den Konfigurationsklassifizierungen von Yarn-Site und Kapazitätsplaner oder direkt in den zugehörigen XML-Dateien könnte diese Feature beeinträchtigt oder verändert werden.

Beginnend mit der Amazon-EMR-6.x-Release-Reihe ist das Feature YARN-Knotenbeschriftungen standardmäßig deaktiviert. Die Anwendungs-Primär-Prozesse können standardmäßig sowohl auf Core- als auch auf Aufgabenknoten ausgeführt werden. Sie können die Funktion für YARN-Knotenbeschriftungen aktivieren, indem Sie folgende Eigenschaften konfigurieren:

Ab der Amazon EMR 7.x-Release-Serie weist Amazon EMR Instances YARN-Knotenbezeichnungen nach ihrem Markttyp zu, z. B. On-Demand oder Spot. Sie können Knotenbezeichnungen aktivieren und Anwendungsprozesse auf ON_DEMAND beschränken, indem Sie die folgenden Eigenschaften konfigurieren:

yarn.node-labels.enabled: true
yarn.node-labels.am.default-node-label-expression: 'ON_DEMAND'

Wenn Sie Amazon EMR 7.0 oder höher verwenden, können Sie den Anwendungsprozess auf Knoten beschränken mit CORE mit der folgenden Konfiguration beschriften:

yarn.node-labels.enabled: true
yarn.node-labels.am.default-node-label-expression: 'CORE'

Wenn Ihr Cluster für Amazon EMR-Versionen 7.2 und höher verwaltete Skalierung mit Knotenbezeichnungen verwendet, versucht Amazon EMR, den Cluster unabhängig vom Anwendungsprozess und der Nachfrage des Ausführers zu skalieren.

Wenn Sie beispielsweise Amazon EMR Versionen 7.2 oder höher verwenden und den Bewerbungsprozess einschränken auf ON_DEMAND Knoten, verwaltete Skalierung, skaliert nach oben ON_DEMAND Knoten, wenn die Nachfrage nach Anwendungsprozessen steigt. Ähnlich verhält es sich, wenn Sie den Bewerbungsprozess einschränken auf CORE Knoten, verwaltete Skalierung wird nach oben skaliert CORE Knoten, wenn die Nachfrage nach Anwendungsprozessen steigt.

Informationen zu spezifischen Eigenschaften finden Sie unter Amazon-EMR-Einstellungen, die Aufgabenfehler aufgrund des Beendens von Aufgabenknoten-Spot Instances verhindern.