View a markdown version of this page

Strategien zur Wiederholung von Serviceaufträgen in AWS Batch - AWS Batch
Konfiguration von Wiederholungsstrategien

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Strategien zur Wiederholung von Serviceaufträgen in AWS Batch

Strategien zur Wiederholung von Serviceaufträgen ermöglichen AWS Batch um fehlgeschlagene Serviceaufträge unter bestimmten Bedingungen automatisch zu wiederholen.

Serviceaufträge können aus verschiedenen Gründen mehrere Versuche erfordern:

  • Vorübergehende Serviceprobleme: Interne Servicefehler, Drosselung oder vorübergehende Ausfälle können dazu führen, dass Jobs bei der Übermittlung oder Ausführung fehlschlagen.

  • Fehler bei der Initialisierung des Trainings: Probleme beim Start des Jobs, z. B. Probleme beim Abrufen von Bildern oder Initialisierungsfehler, können beim erneuten Versuch behoben werden.

Durch die Konfiguration geeigneter Strategien für Wiederholungsversuche können Sie die Erfolgsraten bei der Arbeit erhöhen und den Bedarf an manuellen Eingriffen reduzieren, insbesondere bei lang andauernden Trainingsbelastungen.

Anmerkung

Wenn ein SageMaker Ein Trainingsjob scheitert an unzureichender Kapazität, AWS Batch wiederholt den Job automatisch, bis Kapazität verfügbar ist. Die neueste SageMaker Der Schulungsauftrag, der aufgrund unzureichender Kapazität fehlgeschlagen ist, wird beibehalten, und zwar auch früher SageMaker Schulungsaufträge, die aufgrund unzureichender Kapazitäten fehlgeschlagen sind, werden nach bestem Bemühen gelöscht.

Diese kapazitätsbasierten Wiederholungsversuche verbrauchen nicht Ihre konfigurierten Wiederholungsversuche. Ihre Wiederholungsstrategie behandelt in erster Linie andere Arten von Fehlern, wie Algorithmusfehler oder Serviceprobleme, die auftreten, nachdem ein Job in `STARTING` eingegeben wird.

Konfiguration von Wiederholungsstrategien

Strategien zur Wiederholung von Serviceaufträgen werden wie folgt konfiguriert ServiceJobRetryStrategy, das sowohl die Anzahl einfacher Wiederholungen als auch die Logik bedingter Wiederholungen unterstützt.

Wiederholungs-Konfiguration

Die einfachste Wiederholungsstrategie gibt die Anzahl der Wiederholungsversuche an, die unternommen werden sollten, wenn ein Serviceauftrag fehlschlägt:

{
  "retryStrategy": {
    "attempts": 3
  }
}

Mit dieser Konfiguration kann der Servicejob bis zu dreimal wiederholt werden, falls er fehlschlägt.

Wichtig

Der attempts Der Wert gibt an, wie oft der Job insgesamt platziert werden kann RUNNABLE Status, einschließlich des ersten Versuchs. Ein Wert von 3 bedeutet, dass der Job zunächst einmal versucht wird und dann, falls er fehlschlägt, bis zu 2 weitere Male wiederholt wird.

Versuchen Sie die Konfiguration mit evaluieren erneutOnExit

Sie können das verwenden evaluateOnExit Parameter zur Angabe von Bedingungen, unter denen Jobs wiederholt werden sollen oder unter denen sie fehlschlagen dürfen. Dies ist nützlich, wenn verschiedene Arten von Fehlern eine unterschiedliche Behandlung erfordern.

Das evaluateOnExit Array kann bis zu 5 Wiederholungsstrategien enthalten, von denen jede eine Aktion spezifiziert (RETRY oder EXIT) und Bedingungen, die auf Statusgründen beruhen:

{
  "retryStrategy": {
    "attempts": 5,
    "evaluateOnExit": [
      {
        "action": "RETRY",
        "onStatusReason": "Received status from SageMaker: InternalServerError*"
      },
      {
        "action": "EXIT",
        "onStatusReason": "Received status from SageMaker: ValidationException*"
      },
      {
        "action": "EXIT",
        "onStatusReason": "*"
      }
    ]
  }
}

Diese Konfiguration:

  • Wiederholt Aufträge, die aufgrund von SageMaker Interne AI-Serverfehler

  • Schlägt sofort bei Aufträgen fehl, bei denen Validierungsausnahmen auftreten (Client-Fehler, die durch einen erneuten Versuch nicht behoben werden können)

  • Beinhaltet eine Catch-All-Regel zum Beenden bei allen anderen Fehlertypen

Mustervergleich für Status, Grund und Grund

Der onStatusReason Der Parameter unterstützt den Mustervergleich mit bis zu 512 Zeichen. Muster können Platzhalter (*) verwenden und mit Statusgründen übereinstimmen, die von zurückgegeben werden SageMaker AI.

Für Servicejobs Statusmeldungen von SageMaker KI wird das Präfix „Status erhalten von“ vorangestellt SageMaker: "um sie zu unterscheiden von AWS Batch-generierte Nachrichten. Zu den gängigen Mustern gehören:

  • Received status from SageMaker: InternalServerError* - Interne Servicefehler abgleichen

  • Received status from SageMaker: ValidationException* - Ordnen Sie die Fehler bei der Client-Validierung zu

  • Received status from SageMaker: ResourceLimitExceeded* - Fehler bei der Ressourcenbeschränkung abgleichen

  • *CapacityError* - Fehler im Zusammenhang mit der Kapazität abgleichen

Tipp

Verwenden Sie einen spezifischen Mustervergleich, um verschiedene Fehlertypen angemessen zu behandeln. Versuchen Sie es beispielsweise erneut mit internen Serverfehlern, schlagen Sie bei Überprüfungsfehlern, die auf Probleme mit den Auftragsparametern hinweisen, sofort fehl.