View a markdown version of this page

Protokollierung AWS EMR-API-Aufrufe mit AWS CloudTrail - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Protokollierung AWS EMR-API-Aufrufe mit AWS CloudTrail

AWS EMR ist integriert mit AWS CloudTrail, ein Dienst, der eine Aufzeichnung der von einem Benutzer, einer Rolle oder einem AWS-Service. CloudTrail erfasst alle API-Aufrufe für AWS EMR als Ereignisse. Zu den aufgezeichneten Anrufen gehören Anrufe von AWS EMR-Konsolen- und Codeanrufe an die AWS EMR-API-Operationen. Verwendung der gesammelten Informationen von CloudTrail, können Sie die Anfrage ermitteln, die gestellt wurde an AWS EMR, die IP-Adresse, von der aus die Anfrage gestellt wurde, wann sie gestellt wurde, und weitere Details.

Jeder Ereignis- oder Protokolleintrag enthält Informationen zu dem Benutzer, der die Anforderung generiert hat. Die Identitätsinformationen unterstützen Sie bei der Ermittlung der folgenden Punkte:

  • Ob die Anforderung mit Anmeldeinformationen des Root-Benutzers oder des Benutzers gestellt wurde.

  • Die Anforderung wurde im Namen eines IAM-Identity-Center-Benutzers erstellt.

  • Gibt an, ob die Anforderung mit temporären Sicherheitsanmeldeinformationen für eine Rolle oder einen Verbundbenutzer gesendet wurde.

  • Ob die Anforderung aus einem anderen AWS-Service gesendet wurde.

CloudTrail ist aktiv in Ihrem AWS-Konto wenn du das Konto erstellst und du automatisch Zugriff auf CloudTrail Verlauf der Ereignisse. Das CloudTrail Verlauf der Veranstaltung bietet eine sichtbare, durchsuchbare, herunterladbare und unveränderliche Aufzeichnung der aufgezeichneten Verwaltungsereignisse der letzten 90 Tage in einer AWS-Region. Weitere Informationen finden Sie unter Arbeiten mit CloudTrail Verlauf des Ereignisses in der AWS CloudTrail Benutzerleitfaden. Es gibt keine CloudTrail Gebühren für das Ansehen der Verlauf der Veranstaltung.

Für eine fortlaufende Aufzeichnung der Ereignisse in Ihrem AWS-Konto Erstellen Sie in den letzten 90 Tagen einen Trail oder einen CloudTrail See Datenspeicher für Ereignisse.

CloudTrail Wanderwege

EIN Wanderweg aktiviert CloudTrail um Protokolldateien an einen Amazon S3-Bucket zu liefern. Alle Trails, die mit dem erstellt wurden AWS-Managementkonsole sind multiregional. Sie können mithilfe von AWS CLI einen Einzel-Region- oder einen Multi-Region-Trail erstellen. Es wird empfohlen, einen Pfad mit mehreren Regionen zu erstellen, da Sie die Aktivitäten in allen Bereichen erfassen AWS-Regionen in deinem Konto. Wenn Sie einen Einzel-Region-Trail erstellen, können Sie nur die Ereignisse anzeigen, die im AWS-Region des Trails protokolliert wurden. Weitere Informationen zu Trails finden Sie unter Erstellen eines Trails für Ihr AWS-Konto und Erstellen eines Trails für eine Organisation im AWS CloudTrail -Benutzerhandbuch.

Sie können eine Kopie Ihrer laufenden Verwaltungsereignisse kostenlos an Ihren Amazon S3-Bucket senden von CloudTrail Wenn Sie einen Trail erstellen, fallen jedoch Amazon S3-Speichergebühren an. Für weitere Informationen über CloudTrail Preisgestaltung finden Sie unter AWS CloudTrail Preisgestaltung. Informationen zu Amazon-S3-Preisen finden Sie unter Amazon S3 – Preise.

CloudTrail Datenspeicher für See-Ereignisse

CloudTrail See lässt dich rennen SQL-based Abfragen zu Ihren Veranstaltungen. CloudTrail Lake konvertiert vorhandene Ereignisse im zeilenbasierten JSON-Format in Apache ORC formatieren. ORC ist ein spaltenförmiges Speicherformat, das für den schnellen Abruf von Daten optimiert ist. Die Ereignisse werden in Ereignisdatenspeichern zusammengefasst, bei denen es sich um unveränderliche Sammlungen von Ereignissen handelt, die auf Kriterien basieren, die Sie mit Hilfe von erweiterten Ereignisselektoren auswählen. Die Selektoren, die Sie auf einen Ereignisdatenspeicher anwenden, steuern, welche Ereignisse bestehen bleiben und für Sie zur Abfrage verfügbar sind. Für weitere Informationen über CloudTrail See, siehe Arbeitet mit AWS CloudTrail See in der AWS CloudTrail Benutzerleitfaden.

CloudTrail Das Speichern und Abfragen von Lake Event-Daten ist mit Kosten verbunden. Beim Erstellen eines Ereignisdatenspeichers wählen Sie die Preisoption aus, die für den Ereignisdatenspeicher genutzt werden soll. Die Preisoption bestimmt die Kosten für die Erfassung und Speicherung von Ereignissen sowie die standardmäßige und maximale Aufbewahrungsdauer für den Ereignisdatenspeicher. Für weitere Informationen über CloudTrail Preisgestaltung finden Sie unter AWS CloudTrail Preisgestaltung.

AWS EMR-Datenereignisse in CloudTrail

Datenereignisse liefern Informationen über die Ressourcenoperationen, die auf oder in einer Ressource ausgeführt werden (z. B. Lesen oder Schreiben in ein Amazon-S3-Objekt). Sie werden auch als Vorgänge auf Datenebene bezeichnet. Datenereignisse sind oft Aktivitäten mit hohem Volume. Standardmäßig CloudTrail protokolliert keine Datenereignisse. Das CloudTrail Verlauf der Veranstaltung zeichnet keine Datenereignisse auf.

Für Datenereignisse werden zusätzliche Gebühren fällig. Für weitere Informationen über CloudTrail Preisgestaltung finden Sie unter AWS CloudTrail Preisgestaltung.

Sie können Datenereignisse für die protokollieren AWS EMR-Ressourcentypen mithilfe der CloudTrail Konsole, AWS CLI, oder CloudTrail API-Operationen. Weitere Informationen zum Protokollieren von Datenereignissen finden Sie unter Protokollieren von Datenereignissen mit dem AWS-Managementkonsole und Protokollieren von Datenereignissen mit dem AWS Command Line Interface im AWS CloudTrail -Benutzerhandbuch.

In der folgenden Tabelle sind die aufgeführt AWS EMR-Ressourcentypen, für die Sie Datenereignisse protokollieren können. Das Typ des Datenereignisses (Konsole) Die Spalte zeigt den Wert, aus dem Sie wählen können Typ des Datenereignisses Liste auf der CloudTrail Konsole. Die Der Wert resources.type Die Spalte zeigt den resources.type Wert, den Sie bei der Konfiguration erweiterter Event-Selektoren mit dem AWS CLI oder CloudTrail APIs. Die Daten-APIs, bei denen protokolliert wurde CloudTrail Die Spalte zeigt die API-Aufrufe, bei denen protokolliert wurde CloudTrail für den Ressourcentyp.

Weitere Informationen zu diesen API-Vorgängen finden Sie unter CLI-Referenz für Amazon EMR WAL (EMRWAL). Amazon EMR protokolliert einige Daten-API-Operationen in CloudTrail das sind HBase-Systemoperationen, die Sie niemals direkt aufrufen. Diese Operationen sind nicht in der EMRWAL-CLI-Referenz enthalten.

Typ des Datenereignisses (Konsole) resources.type-Wert Daten-APIs, bei denen protokolliert wurde CloudTrail
Amazon EMR-Workspace mit Write-Ahead-Protokollen AWS::EMRWAL::Workspace
  • GetCurrentWALTime

  • ListTagsForResource

  • WALS auflisten

  • ListWorkspaces

  • TrimWal

  • Schließe Walflush ab

Sie können erweiterte Event-Selektoren so konfigurieren, dass sie nach den Feldern eventName, readOnly und resources.ARN filtern, sodass nur die Ereignisse protokolliert werden, die für Sie wichtig sind. Weitere Informationen zu diesen Kontingenten finden Sie unter AdvancedFieldSelector in derAWS CloudTrail -API-Referenz.

AWS EMR-Management-Ereignisse in CloudTrail

Veranstaltungen für das Management stellen Sie Informationen zu Verwaltungsvorgängen bereit, die an Ressourcen in Ihrem AWS-Konto. Sie werden auch als Vorgänge auf Steuerebene bezeichnet. In der Standardeinstellung CloudTrail protokolliert Verwaltungsereignisse.

AWS EMR protokolliert alles AWS EMR-Operationen auf der Steuerungsebene als Managementereignisse. Für eine Liste der AWS Operationen des EMR-Kontrollflugzeugs, das AWS EMR protokolliert sich bei CloudTrail, siehe AWS EMR-API-Referenz.

AWS Beispiele für EMR-Ereignisse

Ein Ereignis stellt eine einzelne Anfrage aus einer beliebigen Quelle dar und enthält Informationen über den angeforderten API-Vorgang, Datum und Uhrzeit des Vorgangs, Anforderungsparameter usw. CloudTrail Protokolldateien sind kein geordneter Stack-Trace der öffentlichen API-Aufrufe, sodass Ereignisse nicht in einer bestimmten Reihenfolge angezeigt werden.

Das folgende Beispiel zeigt eine CloudTrail Protokolleintrag, der das demonstriert RunJobFlow Aktion.

{ "Records": [ { "eventVersion":"1.01", "userIdentity":{ "type":"IAMUser", "principalId":"EX_PRINCIPAL_ID", "arn":"arn:aws:iam::123456789012:user/temporary-user-xx-7M", "accountId":"123456789012", "userName":"temporary-user-xx-7M" }, "eventTime":"2018-03-31T17:59:21Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"RunJobFlow", "awsRegion":"us-west-2", "sourceIPAddress":"192.0.2.1", "userAgent":"aws-sdk-java/unknown-version Linux/xx Java_HotSpot(TM)_64-Bit_Server_VM/xx", "requestParameters":{ "tags":[ { "value":"prod", "key":"domain" }, { "value":"us-west-2", "key":"realm" }, { "value":"VERIFICATION", "key":"executionType" } ], "instances":{ "slaveInstanceType":"m5.xlarge", "ec2KeyName":"emr-integtest", "instanceCount":1, "masterInstanceType":"m5.xlarge", "keepJobFlowAliveWhenNoSteps":true, "terminationProtected":false }, "visibleToAllUsers":false, "name":"MyCluster", "ReleaseLabel":"emr-5.16.0" }, "responseElements":{ "jobFlowId":"j-2WDJCGEG4E6AJ" }, "requestID":"2f482daf-b8fe-11e3-89e7-75a3d0e071c5", "eventID":"b348a38d-f744-4097-8b2a-e68c9b424698" }, ...additional entries ] }

Für Informationen über CloudTrail Inhalt aufzeichnen, siehe CloudTrail Inhalt aufzeichnen in der AWS CloudTrail Benutzerleitfaden.