View a markdown version of this page

Erstellen eines Multicontainer-Endpunkts (Boto 3) - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen eines Multicontainer-Endpunkts (Boto 3)

Erstellen Sie einen Multi-container Endpunkt CreateModel, indem Sie CreateEndpointAPIs CreateEndpointConfig, und aufrufen, als ob Sie andere Endpunkte erstellen würden. Sie können diese Container sequentiell als Inferenz-Pipeline ausführen oder jeden einzelnen Container mithilfe eines direkten Aufrufs ausführen. Multi-container Endpunkte haben beim Aufrufen die folgenden Anforderungen: create_model

  • Verwenden Sie den Containers Parameter anstelle von PrimaryContainer und schließen Sie mehr als einen Container in den Containers Parameter ein.

  • Der ContainerHostname Parameter ist für jeden Container in einem Endpunkt mit mehreren Containern und direktem Aufruf erforderlich.

  • Setzen Sie den Mode Parameter des InferenceExecutionConfig Felds auf Direct für den direkten Aufruf jedes Containers oder Serial auf die Verwendung von Containern als Inferenz-Pipeline. Der Standardmodus ist Serial.

Anmerkung

Derzeit gibt es ein Limit von bis zu 15 Containern, die auf einem Endpunkt mit mehreren Containern unterstützt werden.

Im folgenden Beispiel wird ein Modell mit mehreren Containern für den direkten Aufruf erstellt.

  1. Erstellen Sie Containerelemente und InferenceExecutionConfig mit direktem Aufruf.

    container1 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage1:mytag',
                 'ContainerHostname': 'firstContainer'
             }

container2 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage2:mytag',
                 'ContainerHostname': 'secondContainer'
             }
inferenceExecutionConfig = {'Mode': 'Direct'}

  2. Erstellen Sie das Modell mit den Containerelementen und legen Sie das InferenceExecutionConfig Feld fest.

    import boto3
sm_client = boto3.Session().client('sagemaker')

response = sm_client.create_model(
               ModelName = 'my-direct-mode-model-name',
               InferenceExecutionConfig = inferenceExecutionConfig,
               ExecutionRoleArn = role,
               Containers = [container1, container2]
           )

Um einen Endpunkt zu erstellen, würden Sie dann create_endpoint_config und create_endpoint aufrufen, als würden Sie jeden anderen Endpunkt erstellen.