View a markdown version of this page

Angeben von GPUs in einer Amazon-ECS-Aufgabendefinition - Amazon Elastic Container Service

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Angeben von GPUs in einer Amazon-ECS-Aufgabendefinition

Um die GPUs für eine Container-Instance und die Docker-GPU-Laufzeitumgebung zu nutzen, müssen Sie in der Aufgabendefinition die für Ihren Container erforderliche Anzahl von GPUs angeben. Sie können einen Integer-Wert, einen Dezimalwert für fraktionale GPUs angeben oder ALL. Wenn Sie angeben ALLwerden alle GPUs auf der Container-Instance dem Container zugewiesen. Wenn Sie einen Dezimalwert angeben, z. B. 0.25, Amazon ECS platziert die Aufgabe auf einer fraktionierten GPU-Instance, die die angeforderte GPU-Kapazität bereitstellt. Wenn GPU-fähige Container platziert werden, heftet der Amazon-ECS-Container-Agent die gewünschte Anzahl von physischen GPUs an den entsprechenden Container an. Die Anzahl der für alle Container in einer Aufgabe reservierten GPUs darf nicht größer sein als die Anzahl der verfügbaren GPUs für die Container-Instance, für die die Aufgabe gestartet wird. Weitere Informationen finden Sie unter Erstellen einer Amazon-ECS-Aufgabendefinition mit der Konsole.

Informationen zur gemeinsamen Nutzung einer einzelnen physischen GPU für mehrere Workloads, anstatt jedem Container eine ganze oder einen Teil der GPU zuzuweisen, finden Sie unter Teilen Sie GPUs auf Amazon ECS.

Wichtig

Wenn Ihre GPU-Anforderungen in der Aufgabendefinition nicht angegeben werden, verwendet die Aufgabe die Standard-Docker-Laufzeit.

Das folgende Beispiel zeigt das JSON-Format für die GPU-Anforderungen in einer Aufgabendefinition:

{ "containerDefinitions": [ { ... "resourceRequirements" : [ { "type" : "GPU", "value" : "2" } ], }, ... }

Sie können auch angeben ALL als Wert statt einer Zahl, um alle GPUs auf der Container-Instance dem Container zuzuweisen.

Das folgende Beispiel veranschaulicht die Syntax eines Docker-Containers, der eine GPU-Anforderung angibt. Dieser Container verwendet 2 GPUs, führt das Dienstprogramm nvidia-smi aus und wird dann beendet.

{ "containerDefinitions": [ { "memory": 80, "essential": true, "name": "gpu", "image": "nvidia/cuda:11.0.3-base", "resourceRequirements": [ { "type":"GPU", "value": "2" } ], "command": [ "sh", "-c", "nvidia-smi" ], "cpu": 100 } ], "family": "example-ecs-gpu" }

Die folgende Beispiel-Aufgabendefinition zeigt einen TensorFlow-Container, der die Anzahl der verfügbaren GPUs ausgibt. Die Aufgabe wird in Amazon ECS Managed Instances ausgeführt, benötigt eine GPU und verwendet eine g4dn.xlarge-Instance.

{ "family": "tensorflow-gpu", "networkMode": "awsvpc", "executionRoleArn": "arn:aws:iam::account-id:role/ecsTaskExecutionRole", "containerDefinitions": [ { "name": "tensorflow", "image": "tensorflow/tensorflow:latest-gpu", "essential": true, "command": [ "python", "-c", "import tensorflow as tf; print('Num GPUs Available: ', len(tf.config.list_physical_devices('GPU')))" ], "resourceRequirements": [ { "type": "GPU", "value": "1" } ], "logConfiguration": { "logDriver": "awslogs", "options": { "awslogs-group": "/ecs/tensorflow-gpu", "awslogs-region": "region", "awslogs-stream-prefix": "ecs" } } } ], "requiresCompatibilities": [ "MANAGED_INSTANCES" ], "cpu": "4096", "memory": "8192", }

Angabe fraktionaler GPUs

Amazon ECS unterstützt fraktionierte GPU-Planung mit Amazon EC2 G6f-Instances. G6f-Instances bieten hardwarepartitionierte Bruchteile von NVIDIA L4 GPU, wobei jede Instanz einen festen GPU-Slice verfügbar macht (1/8, 1/4, oder 1/2) mit dediziertem GPU-Speicher und Rechenleistung. Um eine fraktionale GPU zu verwenden, geben Sie einen Dezimalwert in Ihrer Container-Definition an resourceRequirements:

"resourceRequirements": [ { "type": "GPU", "value": "0.25" } ]

Die unterstützten Bruchwerte und die entsprechenden G6f-Instanztypen sind:

GPU-Wert GPU-Fraktion GPU-Arbeitsspeicher Instance-Typen
0.125 1/8 GPU 3 GB g6f.large, g6f.xlarge
0.25 1/4 GPU 6 GB g6f.2xlarge
0.5 1/2 GPU 12 GB g 6 f, 4 x groß, g 6 f, 4 x groß

In der folgenden Beispielaufgabendefinition wird ein kompakter Inferenzcontainer auf einer fraktionierten GPU mit ausgeführt 1/4 von einem NVIDIA L4 GPU (6 GB GPU-Speicher):

{ "family": "fractional-gpu-inference", "networkMode": "awsvpc", "executionRoleArn": "arn:aws:iam::account-id:role/ecsTaskExecutionRole", "containerDefinitions": [ { "name": "inference", "image": "nvidia/cuda:12.0.0-base-ubuntu22.04", "essential": true, "command": ["nvidia-smi"], "resourceRequirements": [ { "type": "GPU", "value": "0.25" } ], "logConfiguration": { "logDriver": "awslogs", "options": { "awslogs-group": "/ecs/fractional-gpu-inference", "awslogs-region": "region", "awslogs-stream-prefix": "ecs" } } } ], "requiresCompatibilities": [ "MANAGED_INSTANCES" ], "cpu": "2048", "memory": "4096" }
Überlegungen zu Bruchteilen der GPU
  • Nur ein Container pro Aufgabe kann einen Bruchteil des GPU-Werts anfordern. Wenn ein Container eine fraktionale GPU angibt, kann kein anderer Container in dieser Aufgabendefinition eine GPU-Ressourcenanforderung haben.

  • Ganzzahlwerte (1, 2, usw.) werden als vollständige GPU-Anfragen behandelt und nur auf Instanzen mit voller GPU-Kapazität platziert. Dezimalwerte (0.125, 0.25, 0.5) werden als fraktionierte GPU-Anfragen behandelt und auf Instanzen mit der entsprechenden fraktionierten GPU-Partition platziert.

  • Sie können sowohl fraktionierte GPU-Instances (G6f) als auch vollständige GPU-Instances (wie g5 oder g6) in denselben Kapazitätsanbieter aufnehmen. Amazon ECS leitet Aufgaben auf der Grundlage des deklarierten GPU-Werts an den richtigen Instance-Typ weiter. Sie benötigen keine separaten Kapazitätsanbieter pro GPU-Familie.

  • Sie können fraktionierte GPU-Planung mit Amazon ECS Managed Instances und Amazon ECS auf Amazon EC2 verwenden. Fargate und Amazon ECS Anywhere unterstützen keine fraktionierte GPU-Planung.

  • Verwenden Sie für vollständige GPU-Workloads weiterhin Integer-Werte wie zuvor: "value": "1".