View a markdown version of this page

AWSSupport-DiagnoseEMRLogsWithAthena - AWS Systems Manager Runbook-Referenz für Automation

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AWSSupport-DiagnoseEMRLogsWithAthena

Beschreibung

Das AWSSupport-DiagnoseEMRLogsWithAthena Runbook hilft bei der Diagnose von Amazon EMR-Protokollen mithilfe von Amazon Athena in Integration mit Data Catalog. AWS Glue Amazon Athena wird verwendet, um die Amazon EMR-Protokolldateien nach Containern, Knotenprotokollen oder beidem abzufragen, mit optionalen Parametern für bestimmte Datumsbereiche oder schlüsselwortbasierte Suchen.

Das Runbook kann automatisch den Amazon EMR-Protokollspeicherort für einen vorhandenen Cluster abrufen, oder Sie können den Amazon S3-Protokollspeicherort angeben. Um die Protokolle zu analysieren, geht das Runbook wie folgt vor:

  • Erstellt eine AWS Glue Datenbank und führt Amazon Athena Data Definition Language (DDL) -Abfragen am Amazon S3-Protokollspeicherort von Amazon EMR aus, um Tabellen für Cluster-Protokolle und eine Liste bekannter Probleme zu erstellen.

  • Führt DML-Abfragen (Data Manipulation Language) aus, um in den Amazon EMR-Protokollen nach bekannten Problemmustern zu suchen. Die Abfragen geben eine Liste der erkannten Probleme, deren Anzahl und die Anzahl der übereinstimmenden Schlüsselwörter nach Amazon S3-Dateipfad zurück.

  • Die Ergebnisse werden in einen Amazon S3-Bucket hochgeladen, den Sie unter dem Präfix angebensaw_diagnose_EMR_known_issues.

  • Das Runbook gibt die Amazon Athena-Abfrageergebnisse zurück und hebt Ergebnisse, Empfehlungen und Verweise auf Artikel des Amazon Knowledge Center (KC) hervor, die aus einer vordefinierten Teilmenge stammen.

  • Nach Abschluss oder Fehlschlag werden die AWS Glue Datenbank und die in den Amazon S3-Bucket hochgeladenen Dateien mit bekannten Problemen gelöscht.

Wie funktioniert das?

AWSSupport-DiagnoseEMRLogsWithAthenaSie analysieren Amazon EMR-Protokolle mithilfe von Amazon Athena, um Fehler zu erkennen und Ergebnisse, Empfehlungen und relevante Knowledge Center-Artikel hervorzuheben.

Das Runbook führt die folgenden Schritte aus:

  • Rufen Sie den Speicherort des Amazon EMR-Cluster-Protokolls mithilfe der Cluster-ID ab oder geben Sie den Amazon S3-Speicherort ein, um den Speicherort und die Größe des Protokolls abzurufen.

  • Geben Sie eine Schätzung der Athena-Kosten auf der Grundlage der Größe des Protokollspeicherorts an.

  • Holen Sie sich die Genehmigung zum Fortfahren, indem Sie die Genehmigung von bestimmten IAM-Prinzipalen einholen, bevor Sie Athena-Abfragen ausführen und mit den nächsten Schritten fortfahren.

  • Laden Sie bekannte Probleme in den angegebenen Amazon S3-Bucket hoch und erstellen Sie eine AWS Glue Datenbank und Tabellen.

  • Führen Sie Athena-Abfragen für die Amazon EMR-Protokolldaten aus. Abfragen können nach Datumsbereich, Schlüsselwörtern oder beiden Kriterien suchen oder auf der Grundlage der bereitgestellten Eingaben ohne Filter ausgeführt werden.

  • Analysieren Sie die Ergebnisse, um Ergebnisse, Empfehlungen und relevante KC-Artikel hervorzuheben.

  • Ausgabe-Links für Amazon Athena DML-Abfrageergebnisse.

  • Bereinigen Sie die Umgebung, indem Sie erstellte Datenbanken, Tabellen und bekannte Probleme beim Hochladen entfernen.

Art des Dokuments

Automatisierung

Eigentümer

Amazon

Plattformen

/

Der AutomationAssumeRole Parameter erfordert die folgenden Aktionen, um das Runbook erfolgreich zu verwenden:

  • Athene: GetQueryExecution

  • Athene: StartQueryExecution

  • Athene: GetPreparedStatement

  • Athene: CreatePreparedStatement

  • kleben: GetDatabase

  • kleben: CreateDatabase

  • kleben: DeleteDatabase

  • kleben: CreateTable

  • kleben: GetTable

  • kleben: DeleteTable

  • Elastische Karte reduzieren: DescribeCluster

  • s3: ListBucket

  • s3: GetBucketVersioning

  • s3: ListBucketVersions

  • s3: GetBucketPublicAccessBlock

  • s3: GetBucketPolicyStatus

  • s3: GetObject

  • s3: GetBucketLocation

  • Preisgestaltung: GetProducts

  • Preisgestaltung: GetAttributeValues

  • Preisgestaltung: DescribeServices

  • Preisgestaltung: ListPriceLists

Wichtig

Um den Zugriff nur auf die Ressourcen zu beschränken, die für diese Automatisierung benötigt werden, fügen Sie der IAM-Rolle, die dem SSM-Dienst vertraut, die folgende Richtlinie hinzu. Ersetzen Sie Partition, Region und Account durch die entsprechenden Werte für die Partition, Region und Kontonummer, auf der das Runbook ausgeführt wird.

JSON
{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:DescribeCluster",
                "glue:GetDatabase",
                "athena:GetQueryExecution",
                "athena:StartQueryExecution",
                "athena:GetPreparedStatement",
                "athena:CreatePreparedStatement",
                "s3:ListBucket",
                "s3:GetBucketVersioning",
                "s3:ListBucketVersions",
                "s3:GetBucketPublicAccessBlock",
                "s3:GetBucketPolicyStatus",
                "s3:GetObject",
                "s3:GetBucketLocation",
                "pricing:GetProducts",
                "pricing:GetAttributeValues",
                "pricing:DescribeServices",
                "pricing:ListPriceLists"
            ],
            "Resource": "*"
        },
        {
            "Sid": "RestrictPutObjects",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::*/*/results/*",
                "arn:aws:s3:::*/*/saw_diagnose_emr_known_issues/*"
            ]
        },
        {
            "Sid": "RestrictDeleteAccess",
            "Effect": "Allow",
            "Action": [
                "s3:DeleteObject",
                "s3:DeleteObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::*/*/saw_diagnose_emr_known_issues/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:GetDatabase",
                "glue:CreateDatabase",
                "glue:DeleteDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:database/saw_diagnose_emr_database_*",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/*",
                "arn:aws:glue:us-east-1:111122223333:userDefinedFunction/saw_diagnose_emr_database_*/*",
                "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:DeleteTable"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/saw_diagnose_emr_known_issues",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/saw_diagnose_emr_logs_table",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/j_*",
                "arn:aws:glue:us-east-1:111122223333:database/saw_diagnose_emr_database_*",
                "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        }
    ]
}

Anweisungen

Folgen Sie diesen Schritten, um die Automatisierung zu konfigurieren:

  1. Navigieren Sie AWSSupport-DiagnoseEMRLogsWithAthena im AWS Systems Manager Bereich Dokumente.

  2. Wählen Sie Execute automation (Automatisierung ausführen).

  3. Geben Sie für die Eingabeparameter Folgendes ein:

    • AutomationAssumeRole (Fakultativ):

      Der Amazon-Ressourcenname (ARN) der AWS Identity and Access Management (IAM) -Rolle, die es Systems Manager Automation ermöglicht, die Aktionen in Ihrem Namen durchzuführen. Wenn keine Rolle angegeben ist, verwendet Systems Manager Automation die Berechtigungen des Benutzers, der dieses Runbook startet.

    • ClusterID (erforderlich):

      Die Amazon EMR-Cluster-ID.

    • S3LogLocation (Fakultativ):

      Der Amazon S3 Amazon EMR-Protokollspeicherort. Geben Sie die Path-style URL des Amazon S3-Standorts ein, zum Beispiel:s3://amzn-s3-demo-bucket/myfolder/j-1K48XXXXXXHCB/. Geben Sie diesen Parameter an, wenn der Amazon EMR-Cluster seit mehr als 30 Tagen beendet wurde.

    • S3BucketName (Erforderlich):

      Der Amazon S3-Bucket-Name zum Hochladen einer Liste bekannter Probleme und die Ausgabe von Amazon Athena-Abfragen. Für den Bucket sollte Block Public Access aktiviert sein und er sollte sich in derselben AWS Region und demselben Konto wie der Amazon EMR-Cluster befinden.

    • Genehmigende Personen (erforderlich):

      Die Liste der AWS authentifizierten Principals, die die Aktion entweder genehmigen oder ablehnen können. Sie können Prinzipale mithilfe eines der folgenden Formate angeben: Benutzername, Benutzer-ARN, IAM-Rollen-ARN oder IAM-Übernahme-Rollen-ARN. Die maximale Anzahl an Genehmigern ist 10.

    • FetchNodeLogsOnly (Fakultativ):

      Wenn auf gesetzttrue, diagnostiziert die Automatisierung die Protokolle der Amazon EMR-Anwendungscontainer. Der Standardwert ist false.

    • FetchContainersLogsOnly(Optional):

      Wenn auf gesetzttrue, diagnostiziert die Automatisierung die Protokolle der Amazon EMR-Container. Der Standardwert ist false.

    • EndSearchDate (Fakultativ):

      Das Enddatum für Protokollsuchen. Falls angegeben, sucht die Automatisierung ausschließlich nach Protokollen, die bis zum angegebenen Datum im Format generiert wurden YYYY-MM-DD (zum Beispiel:2024-12-30).

    • DaysToCheck (Fakultativ):

      Wenn dieser Parameter angegeben EndSearchDate wird, ist er erforderlich, um die Anzahl der Tage zu bestimmen, an denen rückwirkend nach Protokollen aus dem angegebenen Verzeichnis gesucht werden soll. EndSearchDate Der Höchstwert beträgt 30 Tage. Der Standardwert ist 1.

    • SearchKeywords (Fakultativ):

      Die Liste der Schlüsselwörter, nach denen in den Protokollen gesucht werden soll, getrennt durch Kommas. Die Schlüsselwörter dürfen keine einfachen oder doppelten Anführungszeichen enthalten.

    Eingabeparameterformular mit Feldern für Automatisierungsrolle, S3-Standort, Genehmiger und Cluster Einstellungen.

  4. Wählen Sie Ausführen aus.

  5. Die Automatisierung wird initiiert.

  6. Das Dokument führt die folgenden Schritte aus:

    • erhaltenLogLocation:

      Ruft den Speicherort des Amazon S3-Protokolls ab, indem die angegebene Amazon EMR-Cluster-ID abgefragt wird. Wenn die Automatisierung den Protokollspeicherort nicht anhand der Amazon EMR-Cluster-ID abfragen kann, verwendet das Runbook den Eingabeparameter. S3LogLocation

    • Zweig: OnValidLog

      Überprüft den Speicherort der Amazon EMR-Protokolle. Wenn der Standort gültig ist, fahren Sie mit der Schätzung der potenziellen Kosten von Amazon Athena fort, wenn Sie Abfragen in den Amazon EMR-Protokollen ausführen.

    • Schätzung: AthenaCosts

      Ermittelt die Größe der Amazon EMR-Protokolle und erstellt eine Kostenschätzung für die Ausführung von Athena-Scans im Protokolldatensatz. Für nichtkommerzielle Regionen (keine AWS Partitionen) gibt dieser Schritt lediglich die Protokollgröße an, ohne die Kosten zu schätzen. Die Kosten können anhand der Athena-Preisdokumentation für die angegebene Region berechnet werden.

    • Automatisierung genehmigen:

      Wartet auf die Genehmigung der zuständigen IAM-Principals, um mit den nächsten Schritten der Automatisierung fortzufahren. Die Genehmigungsbenachrichtigung enthält die geschätzten Kosten für den Amazon Athena-Scan der Amazon EMR-Protokolle sowie Details zu den Ressourcen, die von der Automatisierung bereitgestellt werden.

    • hochladen: KnownIssuesExecuteAthenaQueries

      Lädt die vordefinierten bekannten Probleme in den Amazon S3-Bucket hoch, der im S3BucketName Parameter angegeben ist. Erstellt eine AWS Glue Datenbank und Tabellen. Führt Amazon Athena-Abfragen in der AWS Glue Datenbank auf der Grundlage der Eingabeparameter aus.

    • erhaltenQueryExecutionStatus:

      Wartet, bis die Amazon Athena-Abfrageausführung aktiviert ist. SUCCEEDED Die Amazon Athena-DML-Abfrage sucht in den Amazon EMR-Clusterprotokollen nach Fehlern und Ausnahmen.

    • analysieren: AthenaResults

      Analysiert die Amazon Athena-Ergebnisse, um Ergebnisse, Empfehlungen und Knowledge Center (KC) -Artikel bereitzustellen, die aus einem vordefinierten Satz von Zuordnungen stammen.

    • erhalten Sie: AnalyzeResultsQuery1ExecutionStatus

      Wartet, bis die Abfrageausführung den SUCCEEDED Status erreicht hat. Die Amazon Athena-DML-Abfrage analysiert die Ergebnisse der vorherigen DML-Abfrage. Diese Analyseabfrage gibt übereinstimmende Ausnahmen mit Lösungen und KC-Artikeln zurück

    • holen Sie sichAnalyzeResultsQuery2ExecutionStatus:

      Wartet, bis die Abfrageausführung den SUCCEEDED Status erreicht hat. Die Amazon Athena-DML-Abfrage analysiert die Ergebnisse der vorherigen DML-Abfrage. Diese Analyseabfrage gibt eine Liste der in jedem Amazon exceptions/errors S3-Protokollpfad erkannten Daten zurück.

    • druckenAthenaQueriesMessage:

      Druckt Links für die Amazon Athena-DML-Abfrageergebnisse.

    • Ressourcen bereinigen:

      Clean-ups Ressourcen, indem Sie die erstellte AWS Glue Datenbank löschen und Dateien mit bekannten Problemen löschen, die im Amazon EMR-Logs-Bucket erstellt wurden.

  7. Wenn Sie fertig sind, finden Sie im Abschnitt Ausgaben die detaillierten Ergebnisse der Ausführung:

    Output bietet drei Links für Athena-Abfrageergebnisse:

    • Liste aller Fehler und häufig aufgetretenen Ausnahmen, die in den Amazon EMR-Cluster-Protokollen gefunden wurden, zusammen mit den entsprechenden Protokollspeicherorten (Amazon S3-Präfix).

    • Zusammenfassung der eindeutigen bekannten Ausnahmen, die in den Amazon EMR-Protokollen gefunden wurden, zusammen mit empfohlenen Lösungen und KC-Artikeln, die bei der Fehlerbehebung helfen.

    • Details dazu, wo bestimmte Fehler und Ausnahmen in den Amazon S3-Protokollpfaden auftauchen, um weitere Diagnosen zu unterstützen.

    Der Abschnitt „Ausgaben“ enthält drei Abfrage-Links mit Beschreibungen für die Athena Protokollanalyse.

Referenzen

Systems Manager Automation

AWS Dokumentation zum Service