Beheben Sie Neo-Inferenz-Fehler - Amazon SageMaker AI

Beheben Sie Neo-Inferenz-Fehler

Dieser Abschnitt enthält Informationen darüber, wie Sie einige der häufigsten Fehler verhindern und beheben können, die beim Bereitstellen und/oder Aufrufen des Endpunkts auftreten können. Dieser Abschnitt gilt für PyTorch 1.4.0 oder höher und MXNet v1.7.0 oder höher.

  • Stellen Sie sicher, dass die erste Inferenz (Aufwärminferenz) auf gültige Eingabedaten in model_fn() erfolgt ist, falls Sie ein model_fn in Ihrem Inferenzskript definiert haben. Andernfalls wird beim Aufruf von predict API möglicherweise die folgende Fehlermeldung auf dem Terminal angezeigt: 

    An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (0) from <users-sagemaker-endpoint> with message "Your invocation timed out while waiting for a response from container model. Review the latency metrics for each container in Amazon CloudWatch, resolve the issue, and try again."

  • Stellen Sie sicher, dass die Umgebungsvariablen in der folgenden Tabelle gesetzt sind. Wenn sie nicht gesetzt sind, wird möglicherweise die folgende Fehlermeldung angezeigt:

    Auf dem Terminal:

    An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (503) from <users-sagemaker-endpoint> with message "{ "code": 503, "type": "InternalServerException", "message": "Prediction failed" } ".

    In CloudWatch:

    W-9001-model-stdout com.amazonaws.ml.mms.wlm.WorkerLifeCycle - AttributeError: 'NoneType' object has no attribute 'transform'
    Schlüssel Value (Wert)
    SAGEMAKER_PROGRAM inference.py
    SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/modell/code
    SAGEMAKER_CONTAINER_LOG_LEVEL 20
    SAGEMAKER_REGION <your region>

  • Stellen Sie sicher, dass die MMS_DEFAULT_RESPONSE_TIMEOUT Umgebungsvariable bei der Erstellung des Modells von Amazon SageMaker AI auf 500 oder einen höheren Wert gesetzt ist. Andernfalls wird möglicherweise die folgende Fehlermeldung auf dem Terminal angezeigt: 

    An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (0) from <users-sagemaker-endpoint> with message "Your invocation timed out while waiting for a response from container model. Review the latency metrics for each container in Amazon CloudWatch, resolve the issue, and try again."