Tipos de instancias y marcos compatibles
Amazon SageMaker Neo es compatible con los marcos de aprendizaje profundo más populares tanto para la compilación como para la implementación. Puede implementar el modelo en las instancias de nubes o en los tipos de instancia de AWS Inferentia.
A continuación se describen los marcos compatibles con SageMaker Neo y las instancias de nube de destino en las que puede compilar e implementar. Para obtener información sobre cómo implementar su modelo compilado en una instancia de nube o de Inferentia, consulte Implementación de un modelo con instancias de nube.
Instancias en la nube
Sagemaker Neo es compatible con los siguientes marcos de aprendizaje profundo para las instancias de nube de CPU y GPU:
| Marcos | Versión de marco | Versión del modelo | Modelos | Formatos de modelo (empaquetados en *.tar.gz) | Kits de herramientas |
|---|---|---|---|---|---|
| MXNet | 1.8.0 | Compatible con 1.8.0 o versiones anteriores | Clasificación de imágenes, detección de objetos, segmentación semántica, estimación de poses, reconocimiento de actividades | Un archivo de símbolos (.json) y un archivo de parámetros (.params) | GluonCV v0.8.0 |
| ONNX | 1.7.0 | Compatible con 1.7.0 o versiones anteriores | Clasificación de imágenes, SVM | Un archivo de modelos (.onnx) | |
| Keras | 2.2.4 | Compatible con 2.2.4 o versiones anteriores | Clasificación de imágenes | Un archivo de definición de modelo (.h5) | |
| PyTorch | 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 o 2.0 | Compatible con 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 y 2.0 |
Clasificación de imágenes Las versiones 1.13 y 2.0 son compatibles con detección de objetos, Vision Transformer y HuggingFace |
Un archivo de definición de modelo (.pt o.pth) con la entrada dtype de float32 | |
| TensorFlow | 1.15.3 o 2.9 | Compatible con 1.15.3 y 2.9 | Clasificación de imágenes | En el caso de los modelos guardados, un archivo .pb o .pbtxt y un directorio de variables que contiene variables En el caso de los modelos congelados, un solo archivo .pb o .pbtxt |
|
| XGBoost | 1.3.3 | Compatible con 1.3.3 o versiones anteriores | Árboles de decisión | Un archivo de modelo de XGBoost (.model) en el que el número de nodos de un árbol es inferior a 2^31 |
nota
La “versión del modelo” es la versión del marco utilizada para formar y exportar el modelo.
Tipos de instancias
Puede implementar su modelo compilado de SageMaker AI en una de las instancias de nube que se indican a continuación:
| instancia | Tipo de computación |
|---|---|
|
Estándar |
|
Estándar |
|
Estándar |
|
Estándar |
|
Computación acelerada |
|
Computación acelerada |
|
Computación acelerada |
Para obtener información sobre vCPU, memoria y precio por hora disponibles para cada tipo de instancia, consulte los precios de Amazon SageMaker
nota
Al compilar instancias ml_* con el marco PyTorch, use el campo de Opciones del compilador en Configuración de salida para proporcionar el tipo de datos correcto (dtype) de la entrada del modelo.
El valor predeterminado se establece en "float32".
Inferentia AWS
Sagemaker Neo es compatible con los siguientes marcos de aprendizaje profundo para Inf1:
| Marcos | Versión de marco | Versión del modelo | Modelos | Formatos de modelo (empaquetados en *.tar.gz) | Kits de herramientas |
|---|---|---|---|---|---|
| MXNet | 1.5 o 1.8 | Compatible con 1.8, 1.5 y versiones anteriores | Clasificación de imágenes, detección de objetos, segmentación semántica, estimación de poses, reconocimiento de actividades | Un archivo de símbolos (.json) y un archivo de parámetros (.params) | GluonCV v0.8.0 |
| PyTorch | 1.7, 1.8 o 1.9 | Compatible con 1.9 y versiones anteriores | Clasificación de imágenes | Un archivo de definición de modelo (.pt o.pth) con la entrada dtype de float32 | |
| TensorFlow | 1.15 o 2.5 | Compatible con 2.5, 1.15 y versiones anteriores | Clasificación de imágenes | En el caso de los modelos guardados, un archivo .pb o .pbtxt y un directorio de variables que contiene variables En el caso de los modelos congelados, un solo archivo .pb o .pbtxt |
nota
La “versión del modelo” es la versión del marco utilizada para formar y exportar el modelo.
Puede implementar su modelo compilado por Sagemaker NEO en instancias Inf1 de Amazon EC2 basadas en Inferencia AWS. AWS Inferentia es el primer chip de silicio personalizado de Amazon diseñado para acelerar el aprendizaje profundo. Actualmente, puede usar la instancia ml_inf1 para implementar sus modelos compilados.
Inferentia2 AWS y Trainium AWS
Actualmente, puede implementar su modelo compilado por Sagemaker NEO en instancias Amazon EC2 Inf2 basadas en Inferentia2 AWS (en la región Este de EE. UU. (Ohio)) y en instancias Amazon EC2 Trn basadas en Trainium AWS (en la región Este de EE. UU. (Norte de Virginia)). Para obtener más información sobre los modelos compatibles con estas instancias, consulte las Pautas de ajuste de la arquitectura de modelos
