Konfiguration und Überwachung von Auto-Rollback

Amazon CloudWatch-Alarme sind eine Voraussetzung für die Verwendung von Back-Perioden in Bereitstellungsleitplanken. Sie können die Auto-Rollback-Funktion in Bereitstellungsleitlinien nur verwenden, wenn Sie CloudWatch-Alarme einrichten, die einen Endpunkt überwachen können. Wenn einer Ihrer Alarme während des angegebenen Überwachungszeitraums ausgelöst wird, leitet SageMaker AI ein vollständiges Rollback zum alten Endpunkt ein, um Ihre Anwendung zu schützen. Wenn Sie keine CloudWatch-Alarme zur Überwachung Ihres Endpunkts eingerichtet haben, funktioniert die automatische Rollback-Funktion während Ihrer Bereitstellung nicht.

Weitere Informationen über CloudWatch finden Sie unter Was ist Amazon CloudWatch? im Amazon CloudWatch-Benutzerhandbuch.

Alarmbeispiele

Um Ihnen den Einstieg zu erleichtern, stellen wir Ihnen die folgenden Beispiele zur Verfügung, um die Funktionen von CloudWatch-Alarmen zu demonstrieren. Zusätzlich zur Verwendung oder Änderung der folgenden Beispiele können Sie Ihre eigenen Alarme erstellen und die Alarme so konfigurieren, dass verschiedene Messwerte für die angegebenen Flotten für einen bestimmten Zeitraum überwacht werden. Weitere SageMaker AI-Metriken und -Dimensionen, die Sie zu Ihren Alarmen hinzufügen können, finden Sie unter Metriken von Amazon SageMaker AI in Amazon CloudWatch.

Überwachen Sie Aufruffehler sowohl bei alten als auch bei neuen Flotten

Der folgende CloudWatch-Alarm überwacht die durchschnittliche Fehlerrate eines Endpunkts. Sie können diesen Alarm für jede Art von Einsatz, Leitplanken und Verkehrsverlagerung verwenden, um eine umfassende Überwachung sowohl der alten als auch der neuen Flotten zu gewährleisten. Wenn der Alarm ausgelöst wird, leitet SageMaker AI einen Rollback zur alten Flotte ein.

Aufruffehler, die sowohl von der alten als auch von der neuen Flotte stammen, tragen zur durchschnittlichen Fehlerquote bei. Wenn die durchschnittliche Fehlerrate den angegebenen Schwellenwert überschreitet, wird der Alarm ausgelöst. In diesem speziellen Beispiel werden die 4xx-Fehler (Client-Fehler) sowohl auf der alten als auch auf der neuen Flotte für die Dauer eines Einsatzes überwacht. Sie können die 5xx-Fehler (Serverfehler) auch überwachen, indem Sie die -Metrik Invocation5XXErrors verwenden.

#Applied deployment type: all types
{
    "AlarmName": "EndToEndDeploymentHighErrorRateAlarm",
    "AlarmDescription": "Monitors the error rate of 4xx errors",
    "MetricName": "Invocation4XXErrors",
    "Namespace": "AWS/SageMaker",
    "Statistic": "Average",
    "Dimensions": [
        {
            "Name": "EndpointName",
            "Value": <your-endpoint-name>
        },
        {
            "Name": "VariantName",
            "Value": "AllTraffic"
        }
    ],
    "Period": 600,
    "EvaluationPeriods": 2,
    "Threshold": 1,
    "ComparisonOperator": "GreaterThanThreshold",
    "TreatMissingData": "notBreaching"
}

Notieren Sie sich im vorherigen Beispiel die Werte für die folgenden Felder:

Überwachen Sie die Modelllatenz der neuen Flotte

Das folgende Beispiel für einen CloudWatch-Alarm überwacht die Latenz des Modells der neuen Flotte während Ihrer Bereitstellung. Sie können diesen Alarm verwenden, um nur die neue Flotte zu überwachen und die alte Flotte auszuschließen. Der Alarm hält für den gesamten Einsatz an. Dieses Beispiel bietet Ihnen eine umfassende, lückenlose Überwachung der neuen Flotte und leitet einen Rollback zur alten Flotte ein, falls die neue Flotte Probleme mit der Reaktionszeit hat.

CloudWatch veröffentlicht die Metriken mit der Dimension EndpointConfigName:{New-Ep-Config}, nachdem die neue Flotte mit dem Empfang von Traffic begonnen hat. Diese Metriken bleiben auch nach Abschluss der Bereitstellung erhalten.

Sie können das folgende Alarme Beispiel für jeden Bereitstellungstyp verwenden.

#Applied deployment type: all types
{
    "AlarmName": "NewEndpointConfigVersionHighModelLatencyAlarm",
    "AlarmDescription": "Monitors the model latency on new fleet",
    "MetricName": "ModelLatency",
    "Namespace": "AWS/SageMaker",
    "Statistic": "Average",
    "Dimensions": [
        {
            "Name": "EndpointName",
            "Value": <your-endpoint-name>
        },
        {
            "Name": "VariantName",
            "Value": "AllTraffic"
        },
        {
            "Name": "EndpointConfigName",
            "Value": <your-config-name>
    ],
    "Period": 300,
    "EvaluationPeriods": 2,
    "Threshold": 100000, # 100ms
    "ComparisonOperator": "GreaterThanThreshold",
    "TreatMissingData": "notBreaching"
}

Notieren Sie sich im vorherigen Beispiel die Werte für die folgenden Felder: