Cloud_Instances

Amazon SageMaker Neo bietet Kompilierungsunterstützung für verbreitete Machine-Learning-Frameworks wie TensorFlow, PyTorch, MXNet und mehr. Sie können Ihr kompiliertes Modell auf Cloud-Instances und AWS Inferentia-Instances bereitstellen. Eine Liste der unterstützten Frameworks und Instance-Typen finden Sie unter Unterstützte Instance-Typen und Frameworks.

Sie können Ihr Modell auf drei Arten kompilieren: über die AWS CLI, die SageMaker-AI-Konsole oder das SageMaker AI SDK für Python. Weitere Informationen finden Sie unter Verwenden von Neo zum Kompilieren eines Modells. Nach der Kompilierung werden Ihre Modellartefakte in der Amazon-S3-Bucket-URI gespeichert, die Sie während des Kompilierungsjobs angegeben haben. Sie können Ihr kompiliertes Modell mithilfe des SageMaker AI SDK für Python, AWS SDK für Python (Boto3), AWS CLI oder der AWS-Konsole auf Cloud-Instances und AWS-Inferentia-Instances bereitstellen.

Wenn Sie Ihr Modell mithilfe AWS CLI der Konsole oder mit Boto3 bereitstellen, müssen Sie einen Amazon ECR-URI für das Docker-Image für Ihren primären Container auswählen. Eine Liste der Amazon ECR-URIs finden Sie unter Neo Inference Container Images.