Implementación de modelos

Puede implementar el módulo de cálculo en dispositivos periféricos con recursos limitados: descargando el modelo compilado de Amazon S3 a su dispositivo y utilizando DLR, o puede usar IoT Greengrass AWS.

Antes de continuar, asegúrese de que su dispositivo periférico sea compatible con SageMaker Neo. Consulte Marcos, dispositivos, sistemas y arquitecturas compatibles para averiguar qué dispositivos periféricos lo son. Asegúrese de haber especificado el dispositivo periférico de destino al enviar el trabajo de compilación, consulte Uso de Neo para compilar un modelo.

Implementación de un modelo compilado (DLR)

DLR es un tiempo de ejecución compacto y común para modelos de aprendizaje profundo y modelos de árboles de decisiones. El DLR utiliza el tiempo de ejecución TVM, el tiempo de ejecución Treelite y NVIDIA TensorRT™ y puede incluir otros tiempos de ejecución específicos del hardware. DLR proporciona API de Python/C++ unificadas para cargar y ejecutar modelos compilados en varios dispositivos.

Puede instalar la última versión del paquete DLR mediante el siguiente comando pip:

pip install dlr

Para instalar DLR en destinos de GPU o dispositivos periféricos que no sean x86, consulte Versiones para ver los binarios prediseñados o Instalación de DLR para compilar DLR desde el origen. Por ejemplo, para instalar DLR para Raspberry Pi 3, puede usar:

pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl

Implementación de un modelo (IoT AWS Greengrass)

IoT AWS Greengrass extiende las capacidades de la nube a los dispositivos locales. Permite que los dispositivos recopilen y analicen datos más cerca del origen de la información, reaccionen de forma autónoma a eventos locales y se comuniquen de forma segura entre sí en las redes locales. Con IoT AWS Greengrass podrá realizar inferencias de machine learning en la periferia con datos generados localmente utilizando modelos entrenados en la nube. En la actualidad, puede implementar modelos en todos los dispositivos de IoT AWS Greengrass basados en procesadores de las series ARM Cortex-A, Intel Atom y Nvidia Jetson. Para obtener más información acerca de cómo implementar una aplicación de inferencia Lambda para realizar inferencias de machine learning con IoT AWS Greengrass, consulte Cómo realizar la inferencia de machine learning utilizando la AWS Consola de administración.