Erstellen eines Zeitplans für die automatische Verarbeitung neuer Daten - Amazon SageMaker AI

Erstellen eines Zeitplans für die automatische Verarbeitung neuer Daten

Anmerkung

Der folgende Abschnitt gilt ausschließlich für SageMaker-Verarbeitungsaufträge. Wenn Sie die Standardeinstellungen von Canvas oder EMR Serverless verwendet haben, um einen Remote-Auftrag zu erstellen, um Transformationen auf Ihren gesamten Datensatz anzuwenden, ist dieser Abschnitt für Sie nicht relevant.

Wenn Sie regelmäßig Daten verarbeiten, können Sie einen Zeitplan für die automatische Ausführung des Processing-Jobs erstellen. Sie können z. B. einen Zeitplan erstellen, der einen Processing-Job automatisch ausführt, wenn Sie neue Daten erhalten. Weitere Informationen zu diesen Verarbeitungsaufträgen finden Sie unter Exportieren zu Amazon S3.

Wenn Sie einen Auftrag erstellen, müssen Sie eine IAM-Rolle angeben, die über die Berechtigungen zum Erstellen des Auftrag verfügt. Sie können die Richtlinie AmazonSageMakerCanvasDataPrepFullAccess verwenden, um Berechtigungen hinzuzufügen.

Fügen Sie zu der Rolle die folgende Vertrauensrichtlinie hinzu, damit EventBridge sie übernehmen kann.


{
    "Effect": "Allow",
    "Principal": {
        "Service": "events.amazonaws.com"
    },
    "Action": "sts:AssumeRole"
}
Wichtig

Wenn Sie einen Zeitplan erstellen, erstellt Data Wrangler einen eventRule in EventBridge. Es fallen Gebühren sowohl für die von Ihnen erstellten Ereignisregeln als auch für die Instances an, die zur Ausführung des Processing-Jobs verwendet werden.

Informationen zu den Preisen für EventBridge finden Sie unter Preise für Amazon EventBridge. Informationen zur Preisgestaltung für Processing-Jobs finden Sie unter Preise für Amazon SageMaker.

Sie können mithilfe einer der folgenden Methoden einen Zeitplan erstellen:

  • CRON-Ausdrücke

    Anmerkung

    Data Wrangler unterstützt die folgenden Ausdrücke nicht:

    • LW#

    • Abkürzungen für Tage

    • Abkürzungen für Monate

  • RATE-Ausdrücke

  • Wiederkehrende – Legen Sie ein stündliches oder tägliches Intervall für die Ausführung des Jobs fest.

  • Bestimmte Zeit – Legen Sie bestimmte Tage und Uhrzeiten für die Ausführung des Jobs fest.

Die folgenden Abschnitte enthalten Anweisungen zum Planen von Aufträgen beim Ausfüllen der Einstellungen für SageMaker-AI-Verarbeitungsaufträge während des Exports Ihrer Daten zu Amazon S3. Alle folgenden Anweisungen beginnen im Abschnitt Zeitpläne zuordnen der Einstellungen für SageMaker-Verarbeitungsaufträge.

CRON

Gehen Sie wie folgt vor, um einen Zeitplan mit einem CRON-Ausdruck zu erstellen.

  1. Stellen Sie sicher, dass Sie im Seitenbereich Nach Amazon S3 exportieren die Option Automatische Auftragskonfiguration deaktiviert und die Option SageMaker-Verarbeitung ausgewählt haben.

  2. Öffnen Sie in den Einstellungen für SageMaker-Verarbeitungsaufträge den Abschnitt Zeitpläne zuordnen aus und wählen Sie Neuen Zeitplan erstellen aus.

  3. Das Dialogfeld Einen neuen Zeitplan erstellen wird geöffnet. Geben Sie für Name des Zeitplans den Namen des Zeitplans an.

  4. Wählen Sie für Häufigkeit der Ausführung die Option CRON aus.

  5. Geben Sie für jedes der Felder Minuten, Stunden, Monatstage, Monat und Wochentag gültige CRON-Ausdruckswerte ein.

  6. Wählen Sie Erstellen aus.

  7. (Optional) Wählen Sie Anderen Zeitplan hinzufügen, um den Job nach einem zusätzlichen Zeitplan auszuführen.

    Anmerkung

    Sie können maximal zwei Zeitpläne zuordnen. Die Zeitpläne sind unabhängig voneinander und beeinflussen sich nicht gegenseitig, es sei denn, die Zeiten überschneiden sich.

  8. Wählen Sie eine der folgenden Optionen aus:

    • Planen und sofort ausführen – Der Auftrag wird sofort ausgeführt und wird dann nach den Zeitplänen ausgeführt.

    • Nur nach Zeitplan – Der Auftrag wird nur nach den von Ihnen angegebenen Zeitplänen ausgeführt.

  9. Wählen Sie Exportieren aus, nachdem Sie die restlichen Einstellungen für den Exportauftrag ausgefüllt haben.

RATE

Gehen Sie wie folgt vor, um einen Zeitplan mit einem RATE-Ausdruck zu erstellen.

  1. Stellen Sie sicher, dass Sie im Seitenbereich Nach Amazon S3 exportieren die Option Automatische Auftragskonfiguration deaktiviert und die Option SageMaker-Verarbeitung ausgewählt haben.

  2. Öffnen Sie in den Einstellungen für SageMaker-Verarbeitungsaufträge den Abschnitt Zeitpläne zuordnen aus und wählen Sie Neuen Zeitplan erstellen aus.

  3. Das Dialogfeld Einen neuen Zeitplan erstellen wird geöffnet. Geben Sie für Name des Zeitplans den Namen des Zeitplans an.

  4. Wählen Sie für Häufigkeit der Ausführung die Option Rate aus.

  5. Geben Sie für den Wert einen ganzzahligen Wert an.

  6. Wählen Sie für Einheit eine der folgenden Optionen aus:

    • Minuten

    • Stunden

    • Tage

  7. Wählen Sie Erstellen aus.

  8. (Optional) Wählen Sie Anderen Zeitplan hinzufügen, um den Job nach einem zusätzlichen Zeitplan auszuführen.

    Anmerkung

    Sie können maximal zwei Zeitpläne zuordnen. Die Zeitpläne sind unabhängig voneinander und beeinflussen sich nicht gegenseitig, es sei denn, die Zeiten überschneiden sich.

  9. Wählen Sie eine der folgenden Optionen aus:

    • Planen und sofort ausführen – Der Auftrag wird sofort ausgeführt und wird dann nach den Zeitplänen ausgeführt.

    • Nur nach Zeitplan – Der Auftrag wird nur nach den von Ihnen angegebenen Zeitplänen ausgeführt.

  10. Wählen Sie Exportieren aus, nachdem Sie die restlichen Einstellungen für den Exportauftrag ausgefüllt haben.

Recurring

Gehen Sie wie folgt vor, um einen Zeitplan zu erstellen, der einen Job regelmäßig ausführt.

  1. Stellen Sie sicher, dass Sie im Seitenbereich Nach Amazon S3 exportieren die Option Automatische Auftragskonfiguration deaktiviert und die Option SageMaker-Verarbeitung ausgewählt haben.

  2. Öffnen Sie in den Einstellungen für SageMaker-Verarbeitungsaufträge den Abschnitt Zeitpläne zuordnen aus und wählen Sie Neuen Zeitplan erstellen aus.

  3. Das Dialogfeld Einen neuen Zeitplan erstellen wird geöffnet. Geben Sie für Name des Zeitplans den Namen des Zeitplans an.

  4. Wählen Sie für Häufigkeit der Ausführung die Option Wiederkehrend aus.

  5. Geben Sie für Alle x Stunden die stündliche Häufigkeit an, mit der der Job während des Tages ausgeführt wird. Gültig sind ganzzahlige Werte im Bereich einschl. 1 und 23.

  6. Wählen Sie für An den Tagen eine der folgenden Optionen aus:

    • Täglich

    • An den Wochenenden

    • Wochentags

    • Tage auswählen

    1. (Optional) Wenn Sie Tage auswählen ausgewählt haben, wählen Sie die Wochentage aus, an denen der Job ausgeführt werden soll.

    Anmerkung

    Der Zeitplan wird jeden Tag zurückgesetzt. Wenn Sie einen Job so planen, dass er alle fünf Stunden ausgeführt wird, wird er während des Tages zu den folgenden Zeiten ausgeführt:

    • 00:00

    • 05:00

    • 10:00

    • 15:00

    • 20:00

  7. Wählen Sie Erstellen aus.

  8. (Optional) Wählen Sie Anderen Zeitplan hinzufügen, um den Job nach einem zusätzlichen Zeitplan auszuführen.

    Anmerkung

    Sie können maximal zwei Zeitpläne zuordnen. Die Zeitpläne sind unabhängig voneinander und beeinflussen sich nicht gegenseitig, es sei denn, die Zeiten überschneiden sich.

  9. Wählen Sie eine der folgenden Optionen aus:

    • Planen und sofort ausführen – Der Auftrag wird sofort ausgeführt und wird dann nach den Zeitplänen ausgeführt.

    • Nur nach Zeitplan – Der Auftrag wird nur nach den von Ihnen angegebenen Zeitplänen ausgeführt.

  10. Wählen Sie Exportieren aus, nachdem Sie die restlichen Einstellungen für den Exportauftrag ausgefüllt haben.

Specific time

Gehen Sie wie folgt vor, um einen Zeitplan zu erstellen, der einen Job zu bestimmten Zeiten ausführt.

  1. Stellen Sie sicher, dass Sie im Seitenbereich Nach Amazon S3 exportieren die Option Automatische Auftragskonfiguration deaktiviert und die Option SageMaker-Verarbeitung ausgewählt haben.

  2. Öffnen Sie in den Einstellungen für SageMaker-Verarbeitungsaufträge den Abschnitt Zeitpläne zuordnen aus und wählen Sie Neuen Zeitplan erstellen aus.

  3. Das Dialogfeld Einen neuen Zeitplan erstellen wird geöffnet. Geben Sie für Name des Zeitplans den Namen des Zeitplans an.

  4. Wählen Sie als Häufigkeit der Ausführung die Option Startzeit aus.

  5. Geben Sie für Startzeit eine Zeit im UTC-Format ein (z. B. 09:00). Die Startzeit entspricht standardmäßig der Zeitzone, in der Sie sich befinden.

  6. Wählen Sie für An den Tagen eine der folgenden Optionen aus:

    • Täglich

    • An den Wochenenden

    • Wochentags

    • Tage auswählen

    1. (Optional) Wenn Sie Tage auswählen ausgewählt haben, wählen Sie die Wochentage aus, an denen der Job ausgeführt werden soll.

  7. Wählen Sie Erstellen aus.

  8. (Optional) Wählen Sie Anderen Zeitplan hinzufügen, um den Job nach einem zusätzlichen Zeitplan auszuführen.

    Anmerkung

    Sie können maximal zwei Zeitpläne zuordnen. Die Zeitpläne sind unabhängig voneinander und beeinflussen sich nicht gegenseitig, es sei denn, die Zeiten überschneiden sich.

  9. Wählen Sie eine der folgenden Optionen aus:

    • Planen und sofort ausführen – Der Auftrag wird sofort ausgeführt und wird dann nach den Zeitplänen ausgeführt.

    • Nur nach Zeitplan – Der Auftrag wird nur nach den von Ihnen angegebenen Zeitplänen ausgeführt.

  10. Wählen Sie Exportieren aus, nachdem Sie die restlichen Einstellungen für den Exportauftrag ausgefüllt haben.

Mit der SageMaker AI können Sie die zur Ausführung geplanten Aufträge anzeigen. Ihre Verarbeitungsaufträge werden innerhalb von Pipelines ausgeführt. Jeder Processing-Job hat seine eigene Pipeline. Er wird als Verarbeitungsschritt innerhalb der Pipeline ausgeführt. Sie können sich die Zeitpläne anzeigen lassen, die Sie in einer Pipeline erstellt haben. Weitere Informationen zum Anzeigen einer Pipeline finden Sie unter Anzeige der Details einer Pipeline.

Gehen Sie wie folgt vor, um sich die von Ihnen geplanten Jobs anzeigen zu lassen.

Gehen Sie wie folgt vor, um sich die von Ihnen geplanten Jobs anzeigen zu lassen.

  1. Öffnen Sie Amazon SageMaker Studio Classic.

  2. Öffnen von Pipelines

  3. Sehen Sie sich die Pipelines für die Jobs an, die Sie erstellt haben.

    Die Pipeline, in der der Job ausgeführt wird, verwendet den Namen des Jobs als Präfix. Wenn Sie z. B. einen Job mit dem Namen housing-data-feature-enginnering erstellt haben, lautet der Name der Pipeline canvas-data-prep-housing-data-feature-engineering.

  4. Wählen Sie die Pipeline aus, die Ihren Job enthält.

  5. Status der Pipelines anzeigen. Pipelines mit dem Status Erfolgreich haben den Processing-Job erfolgreich ausgeführt.

Gehen Sie wie folgt vor, um die Ausführung des Processing-Jobs zu beenden:

Um die Ausführung eines Processing-Jobs zu beenden, löschen Sie die Ereignisregel, die den Zeitplan angibt. Indem eine Ereignisregel gelöscht wird, werden keine mit dem Zeitplan verknüpften Jobs mehr ausgeführt. Informationen zum Löschen einer Regel finden Sie unter Regel in Amazon EventBridge deaktivieren oder löschen.

Sie können die mit den Zeitplänen verknüpften Pipelines auch beenden und löschen. Hinweise zum Beenden einer Pipeline finden Sie unter StopPipelineExecution. Hinweise zum Löschen einer Pipeline finden Sie unter DeletePipeline.