Solicitud de inferencias desde un servicio implementado (SDK de Amazon SageMaker) - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solicitud de inferencias desde un servicio implementado (SDK de Amazon SageMaker)

Utilice los siguientes ejemplos de código para solicitar inferencias del servicio implementado en función del marco que haya utilizado para formar su modelo. Los ejemplos de código para los distintos marcos son similares. La principal diferencia es que TensorFlow requiere application/json como tipo de contenido.

PyTorch y MXNet

Si utiliza PyTorch v1.4 o posterior o MXNet 1.7.0 o posterior y tiene un punto de conexión Amazon SageMaker AI InService, puede realizar solicitudes de inferencia mediante el paquete del SDK de SageMaker AI para Python predictor.

nota

La API varía en función de la versión del SDK de SageMaker AI para Python:

En el siguiente ejemplo de código se muestra cómo utilizar estas API para enviar una imagen a modo de inferencia:

SageMaker Python SDK v1.x
from sagemaker.predictor import RealTimePredictor endpoint = 'insert name of your endpoint here' # Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() predictor = RealTimePredictor(endpoint=endpoint, content_type='application/x-image') inference_response = predictor.predict(data=payload) print (inference_response)
SageMaker Python SDK v2.x
from sagemaker.predictor import Predictor endpoint = 'insert name of your endpoint here' # Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() predictor = Predictor(endpoint) inference_response = predictor.predict(data=payload) print (inference_response)

TensorFlow

En el siguiente ejemplo de código se muestra cómo utilizar estas la API del SDK de SageMaker Python para enviar una imagen a modo de inferencia:

from sagemaker.predictor import Predictor from PIL import Image import numpy as np import json endpoint = 'insert the name of your endpoint here' # Read image into memory image = Image.open(input_file) batch_size = 1 image = np.asarray(image.resize((224, 224))) image = image / 128 - 1 image = np.concatenate([image[np.newaxis, :, :]] * batch_size) body = json.dumps({"instances": image.tolist()}) predictor = Predictor(endpoint) inference_response = predictor.predict(data=body) print(inference_response)