Spark-Eigenschaften verwenden um eine benutzerdefinierte Konfiguration anzugeben - Amazon Athena
Verwenden der Athena-KonsoleVerwenden der AWS CLI oder Athena-API

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Spark-Eigenschaften verwenden um eine benutzerdefinierte Konfiguration anzugeben

Wenn Sie eine Sitzung in Amazon Athena für Apache Spark erstellen oder bearbeiten, können Sie Spark-Eigenschaften verwenden, um .jar-Dateien, Pakete oder eine andere benutzerdefinierte Konfiguration für die Sitzung anzugeben. Um Ihre Spark-Eigenschaften anzugeben, können Sie die Athena-Konsole AWS CLI, die oder die Athena-API verwenden.

Verwenden der Athena-Konsole zur Angabe von Spark-Eigenschaften

In der Athena-Konsole können Sie Ihre Spark-Eigenschaften angeben, wenn Sie ein Notebook erstellen oder eine aktuelle Sitzung bearbeiten.

Um Eigenschaften im Dialogfeld Notebook erstellen oder Sitzungsdetails bearbeiten hinzuzufügen

  1. Erweitern Sie Spark-Eigenschaften.

  2. Um Ihre Eigenschaften hinzuzufügen, verwenden Sie die Option In Tabelle bearbeiten oder In JSON bearbeiten.

    • Wählen Sie für die Option In Tabelle bearbeiten die Option Eigenschaft hinzufügen aus, um eine Eigenschaft hinzuzufügen, oder wählen Sie Entfernen, um eine Eigenschaft zu entfernen. Verwenden Sie die Felder Schlüssel und Wert, um Eigenschaftsnamen und ihre Werte einzugeben.

      • Verwenden Sie die spark.jars-Eigenschaft, um eine benutzerdefinierte .jar-Datei hinzuzufügen.

      • Um eine Paketdatei anzugeben, verwenden Sie die spark.jars.packages-Eigenschaft.

    • Um Ihre Konfiguration direkt einzugeben und zu bearbeiten, wählen Sie die Option In JSON bearbeiten. Im JSON-Texteditor können Sie die folgenden Aufgaben durchführen:

      • Wählen Sie zum Kopieren der URL in die Zwischenablage Kopieren aus.

      • Wählen Sie Löschen, um den gesamten Text aus dem JSON-Editor zu entfernen.

      • Wählen Sie das Einstellungssymbol (Zahnrad), um den Zeilenumbruch zu konfigurieren, oder wählen Sie ein Farbdesign für den JSON-Editor.

Hinweise

  • Sie können in Athena für Spark Eigenschaften festlegen, was dem direkten Einstellen von Spark-Eigenschaften für ein SparkConfObjekt entspricht.

  • Starten Sie alle Spark-Eigenschaften mit dem spark.-Präfix. Eigenschaften mit anderen Präfixen werden ignoriert.

  • Nicht alle Spark-Eigenschaften sind für die benutzerdefinierte Konfiguration auf Athena verfügbar. Wenn Sie eine StartSession-Anfrage mit einer eingeschränkten Konfiguration einreichen, kann die Sitzung nicht gestartet werden.

    • Sie können das spark.athena.-Präfix nicht verwenden, da es reserviert ist.

Verwenden Sie die AWS CLI oder Athena-API, um eine benutzerdefinierte Konfiguration bereitzustellen

Verwenden Sie die API-Aktion AWS CLI oder den CLI-Befehl start-session, um Ihre Sitzungskonfiguration mithilfe der StartSessionAPI oder der Athena-API bereitzustellen. Verwenden Sie in Ihrer StartSession Anfrage das SparkProperties EngineConfigurationObjektfeld, um Ihre Konfigurationsinformationen im JSON-Format zu übergeben. Dadurch wird eine Sitzung mit der von Ihnen angegebenen Konfiguration gestartet.

Um benutzerdefinierte Spark-Eigenschaften aus dem anzugeben AWS CLI, verwenden Sie die engine-configuration Konfiguration, wenn Sie eine interaktive Sitzung starten.

aws athena start-session \ 
--region "REGION"
--work-group "WORKGROUP" \
--engine-configuration '{
    "Classifications": [{
      "Name": "spark-defaults",
      "Properties": {
        "spark.dynamicAllocation.minExecutors": "1",
        "spark.dynamicAllocation.initialExecutors": "2",
        "spark.dynamicAllocation.maxExecutors": "10",
        "spark.dynamicAllocation.executorIdleTimeout": "300"
      }
    }]
  }'

Sie können mithilfe der CreateWorkgroup API-Aktion oder der API-Aktion auch Konfigurationsstandardwerte auf Arbeitsgruppenebene angeben. UpdateWorkgroup Die in der Arbeitsgruppe definierten Konfigurationsstandardwerte gelten für alle Sitzungen, die für diese Arbeitsgruppe gestartet wurden.

Um die Standard-Spark-Eigenschaften AWS CLI für eine Arbeitsgruppe anzugeben, verwenden Sie die engine-configuration Konfiguration, wenn Sie eine neue Arbeitsgruppe erstellen:

aws athena create-work-group \
  --region "REGION" \
  --name "WORKGROUP_NAME" \
  --configuration '{
    "EngineVersion": {
      "SelectedEngineVersion": "Apache Spark version 3.5"
    },
    "ExecutionRole": "EXECUTION_ROLE",
    "EngineConfiguration": {
      "Classifications": [
        {
          "Name": "spark-defaults",
          "Properties": {
            "spark.dynamicAllocation.minExecutors": "1",
            "spark.dynamicAllocation.initialExecutors": "2",
            "spark.dynamicAllocation.maxExecutors": "10",
            "spark.dynamicAllocation.executorIdleTimeout": "300"
          }
        }
      ]
    }
  }'

Um die Spark-Standardeigenschaften AWS CLI für eine Arbeitsgruppe zu ändern, verwenden Sie die engine-configuration Konfiguration, wenn Sie eine Arbeitsgruppe aktualisieren. Die Änderungen gelten ab sofort für neue interaktive Sitzungen.

aws athena update-work-group \
  --region "REGION" \
  --work-group "WORKGROUP_NAME" \
  --configuration-updates '{
    "EngineVersion": {
      "SelectedEngineVersion": "Apache Spark version 3.5"
    },
    "ExecutionRole": "EXECUTION_ROLE",
    "EngineConfiguration": {
      "Classifications": [
        {
          "Name": "spark-defaults",
          "Properties": {
            "spark.dynamicAllocation.minExecutors": "1",
            "spark.dynamicAllocation.initialExecutors": "2",
            "spark.dynamicAllocation.maxExecutors": "12",
            "spark.dynamicAllocation.executorIdleTimeout": "300"
          }
        }
      ]
    }
  }'