Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Unterstützte Instance-Typen und Frameworks
Amazon SageMaker Neo unterstützt beliebte Deep-Learning-Frameworks sowohl für die Kompilierung als auch für die Bereitstellung. Sie können Ihr Modell auf Cloud-Instances oder AWS-Inferentia-Instances bereitstellen.
Im Folgenden werden die von SageMaker Neo unterstützten Frameworks und die Ziel-Cloud-Instances beschrieben, auf denen Sie kompilieren und bereitstellen können. Informationen zur Bereitstellung Ihres kompilierten Modells in einer Cloud- oder Inferentia-Instace finden Sie unter Bereitstellen eines Modells mit Cloud-Instances.
Cloud-Instances
SageMaker Neo unterstützt die folgenden Deep-Learning-Frameworks für CPU- und GPU-Cloud-Instances:
| Framework | Framework-Version | Modellversion | Modelle | Modellformate (in *.tar.gz verpackt) | Toolkits |
|---|---|---|---|---|---|
| MXNet | 1.8.0 | Unterstützt 1.8.0 oder früher | Image-Klassifizierung, Objekterkennung, semantische Segmentierung, Posenschätzung, Aktivitätserkennung | MXNET: Neo erwartet eine einzelne Symboldatei (.json) und eine einzelne Parameterdatei (.params) | GluonCV v0.8.0 |
| ONNX | 1.7.0 | Unterstützt 1.7.0 oder früher | Image-Klassifizierung, SVM | Eine Modelldatei (.onnx) | |
| Keras | 2.2.4 | Unterstützt 2.2.4 oder früher | Bildklassifizierung | Eine Modelldefinitionsdatei (.h5) | |
| PyTorch | 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 oder 2.0 | Unterstützt 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 und 2.0 |
Bildklassifizierung Die Versionen 1.13 und 2.0 unterstützen Objekterkennung, Vision-Transformierung und HuggingFace |
Eine Modelldefinitionsdatei (.pt oder .pth) mit dem Eingabetyp dtype von float32 | |
| TensorFlow | 1.15.3 oder 2.9 | Unterstützt 1.15.3 und 2.9 | Bildklassifizierung | Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei und ein Variablenverzeichnis, das Variablen enthält Bei gefrorenen Modellen nur eine .pb- oder .pbtxt-Datei |
|
| XGBoost | 1.3.3 | Unterstützt 1.3.3 oder früher | Entscheidungsbäume | Eine XGBoost-Modelldatei (.model), in der die Anzahl der Knoten in einem Baum weniger als 2^31 beträgt |
Anmerkung
„Modellversion“ ist die Version des Frameworks, das zum Trainieren und Exportieren des Modells verwendet wird.
Instance-Typen
Sie können Ihr mit SageMaker AI kompiliertes Modell auf einer der unten aufgeführten Cloud-Instances bereitstellen:
| Instance | Datenverarbeitungstyp |
|---|---|
|
Standard |
|
Standard |
|
Standard |
|
Standard |
|
Beschleunigtes Computing |
|
Beschleunigtes Computing |
|
Beschleunigtes Computing |
Informationen zur verfügbaren vCPU, zum Arbeitsspeicher und zum Preis pro Stunde für jeden Instance-Typ finden Sie unter Amazon SageMaker-Preisgestaltung
Anmerkung
Verwenden Sie beim Kompilieren für ml_* Instances mit dem PyTorch-Framework das Feld Datenverarbeitungsoptionen in der Ausgabekonfiguration, um den richtigen Datentyp (dtype) der Modelleingabe anzugeben.
Der Standard ist auf "float32" gesetzt.
AWS Inferentia
SageMaker Neo unterstützt die folgenden Deep-Learning-Frameworks für Inf1:
| Framework | Framework-Version | Modellversion | Modelle | Modellformate (in *.tar.gz verpackt) | Toolkits |
|---|---|---|---|---|---|
| MXNet | 1.5 oder 1.8 | Unterstützt 1.8, 1.5 und früher | Bildklassifizierung, Objekterkennung, semantische Segmentierung, Posenschätzung, Aktivitätserkennung | MXNET: Neo erwartet eine einzelne Symboldatei (.json) und eine einzelne Parameterdatei (.params) | GluonCV v0.8.0 |
| PyTorch | 1.7, 1.8 oder 1.9 | Unterstützt 1.9 und früher | Bildklassifizierung | Eine Modelldefinitionsdatei (.pt oder .pth) mit dem Eingabetyp dtype von float32 | |
| TensorFlow | 1.15 oder 2.5 | Unterstützt 2.5, 1.15 und früher | Bildklassifizierung | Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei und ein Variablenverzeichnis, das Variablen enthält Bei gefrorenen Modellen nur eine .pb- oder .pbtxt-Datei |
Anmerkung
„Modellversion“ ist die Version des Frameworks, das zum Trainieren und Exportieren des Modells verwendet wird.
Sie können Ihr mit SageMaker Neo kompiliertes Modell auf AWS Inferentia-basierten Amazon-EC2-Inf1-Instances bereitstellen. AWS Inferentia ist der erste kundenspezifische Siliziumchip von Amazon, der Deep Learning beschleunigen soll. Derzeit können Sie die ml_inf1 Instance verwenden, um Ihre kompilierten Modelle bereitzustellen.
AWS Inferentia2 und AWS Trainium
Derzeit können Sie Ihr mit SageMaker Neo kompiliertes Modell auf Inferentia2-basierten Amazon-EC2-Inf2-Instances (in der Region USA Ost (Ohio) von AWS und auf Trainium-basierten Amazon-EC2-Trn1-Instances (in der Region USA Ost (Nord-Virginia) von AWS bereitstellen. Weitere Informationen zu den unterstützten Modellen auf diesen Instances finden Sie unter Model Architecture Fit Richtlinien
