View a markdown version of this page

Führen Sie GPU-Jobs aus - AWS Batch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Führen Sie GPU-Jobs aus

GPU-Jobs helfen Ihnen dabei, Jobs auszuführen, die die GPUs einer Instanz verwenden.

Das folgende Amazon EC2 GPU-based Instance-Typen werden unterstützt. Weitere Informationen finden Sie unter Amazon EC2 G3-Instances, Amazon EC2 G4-Instanzen, Amazon EC2 G5-Instanzen,Amazon EC2 G6-Instanzen, Amazon EC2 G7-Instanzen, Amazon EC2 G7e-Instanzen, Amazon EC2 P2-Instanzen, Amazon EC2 P3-Instanzen, Amazon EC2 P4d-Instanzen, Amazon EC2 P5-Instanzen, Amazon EC2 P6-Instanzen, Amazon EC2 Trn1-Instanzen, Amazon EC2 Trn2-Instanzen, Amazon EC2 Inf1-Instanzen, Amazon EC2 Inf2-Instanzen, Amazon EC2 Dl1-Instanzen, und Amazon EC2 Dl2-Instanzen.

Instance-Typ

GPUs

GPU-Arbeitsspeicher

vCPUs

Arbeitsspeicher

Netzwerkbandbreite

g3s.xgroß

1

8 GiB

4

30,5 GiB

10 Gbit/s

g3.4xgroß

1

8 GiB

16

122 GiB

Bis zu 10 Gbit/s

g3.8xgroß

2

16 GiB

32

24 GiB

10 Gbit/s

g3.16xgroß

4

32 GiB

64

488 GiB

25 Gbit/s

g4dn.xgroß

1

16 GiB

4

16 GiB

Bis zu 25 Gbit/s

g4dn.2xgroß

1

16 GiB

8

32 GiB

Bis zu 25 Gbit/s

g4dn.4xgroß

1

16 GiB

16

64 GiB

Bis zu 25 Gbit/s

g4dn.8xgroß

1

16 GiB

32

128 GiB

50 Gbit/s

g4dn.12xgroß

4

64 GiB

48

192 GiB

50 Gbit/s

g4dn.16xgroß

1

16 GiB

64

256 GiB

50 Gbit/s

g5.xgroß

1

24 GiB

4

16 GiB

Bis zu 10 Gbit/s

g5.2xlarge

1

24 GiB

8

32 GiB

Bis zu 10 Gbit/s

g5.4xlarge

1

24 GiB

16

64 GiB

Bis zu 25 Gbit/s

g5.8xlarge

1

24 GiB

32

128 GiB

25 Gbit/s

g5.16xlarge

1

24 GiB

64

256 GiB

25 Gbit/s

g5.12xlarge

4

96 GiB

48

192 GiB

40 GBit/s

g5.24xlarge

4

96 GiB

96

384 GiB

50 Gbit/s

g5.48xlarge

8

192 GiB

192

768 GiB

100 Gbit/s

g5g.xlarge

1

16 GiB

4

8 GiB

Bis zu 10 Gbit/s

g5g.2xlarge

1

16 GiB

8

16 GiB

Bis zu 10 Gbit/s

g5g.4xlarge

1

16 GiB

16

32 GiB

Bis zu 10 Gbit/s

g5g.8xlarge

1

16 GiB

32

64 GiB

12 Gbit/s

g5g.16xlarge

2

32 GiB

64

128 GiB

25 Gbit/s

g5g.metal

2

32 GiB

64

128 GiB

25 Gbit/s

g6.xlarge

1

24 GiB

4

16 GiB

Bis zu 10 Gbit/s

g6.2xlarge

1

24 GiB

8

32 GiB

Bis zu 10 Gbit/s

g6.4xlarge

1

24 GiB

16

64 GiB

Bis zu 25 Gbit/s

g6.8xlarge

1

24 GiB

32

128 GiB

25 Gbit/s

g6.16xlarge

1

24 GiB

64

256 GiB

25 Gbit/s

g6.12xlarge

4

96 GiB

48

192 GiB

40 GBit/s

g6.24xlarge

4

96 GiB

96

384 GiB

50 Gbit/s

g6.48xlarge

8

192 GiB

192

768 GiB

100 Gbit/s

g6e.xlarge

1

48 GiB

4

32 GiB

Bis zu 20 Gbit/s

g6e.2xlarge

1

48 GiB

8

64 GiB

Bis zu 20 Gbit/s

g6e.4xlarge

1

48 GiB

16

128 GiB

20 Gbit/s

g6e.8xlarge

1

48 GiB

32

256 GiB

25 Gbit/s

g6e.16xlarge

1

48 GiB

64

512 GiB

35 Gbit/s

g6e.12xlarge

4

192 GiB

48

384 GiB

100 Gbit/s

g6e.24xlarge

4

192 GiB

96

768 GiB

200 Gbit/s

g6e.48xlarge

8

384 GiB

192

1536 GiB

400 Gbit/s

g 7,2 x groß

1

32 GiB

8

32 GiB

Bis zu 60 Gbit/s

g 7,4 x groß

1

32 GiB

16

64 GiB

Bis zu 100 GBit/s

g 7,8 x groß

1

32 GiB

32

128 GiB

100 Gbit/s

g 7,12 x groß

2

64 GiB

48

192 GiB

175 Gbit/s

g 7,24x groß

4

128 GiB

96

384 GiB

350 Gbit/s

g7.48xlarge

8

256 GiB

192

768 GiB

700 Gbit/s

g 7e.2 x groß

1

96 GiB

8

64 GiB

Bis zu 50 GBit/s

g 7,4 x groß

1

96 GiB

16

128 GiB

50 Gbit/s

g 7,8 x groß

1

96 GiB

32

256 GiB

100 Gbit/s

g 7e.12x groß

2

192 GiB

48

512 GiB

400 Gbit/s

g7e.24x groß

4

384 GiB

96

1024 GiB

800 Gbit/s

g 7e.48x groß

8

768 GiB

192

2048 GiB

1600 Gbit/s

gr6.4xlarge

1

24 GiB

16

128 GiB

Bis zu 25 Gbit/s

gr6.8xlarge

1

24 GiB

32

256 GiB

25 Gbit/s

p2.xgroß

1

12 GiB

4

61 GiB

Hoch

p2.8xgroß

8

96 GiB

32

488 GiB

10 Gbit/s

p2.16xgroß

16

192 GiB

64

732 GiB

20 Gbit/s

p3.2xgroß

1

16 GiB

8

61 GiB

Bis zu 10 Gbit/s

p3.8xgroß

4

64 GiB

32

244 GiB

10 Gbit/s

p3.16xgroß

8

128 GiB

64

488 GiB

25 Gbit/s

p3dn.24xgroß

8

256 GiB

96

768 GiB

100 Gbit/s

p4d.24xgroß

8

320 GiB

96

1152 GiB

400 Gbit/s

p4de.24xlarge

8

640 GiB

96

1152 GiB

400 Gbit/s

p5.48xlarge

8

640 GiB

192

2 TiB

3200 Gbit/s

p5e.48xlarge

8

128 GiB

192

2 TiB

3200 Gbit/s

p5en.48xlarge

8

128 GiB

192

2 TiB

3200 Gbit/s

p6-b200.48xlarge

8

1440 GiB

192

2 TiB

100 Gbit/s

trn1.2xlarge

1

32 GiB

8

32 GiB

Bis zu 12,5 GBit/s

trn1.32xlarge

16

512 GiB

128

512 GiB

800 Gbit/s

trn1n.32xlarge

16

512 GiB

128

512 GiB

1600 Gbit/s

trn2.48xlarge

16

1,5 TiB

192

2 TiB

3,2 Tbit/s

inf1.xlarge

1

8 GiB

4

8 GiB

Bis zu 25 Gbit/s

inf1.2xlarge

1

8 GiB

8

16 GiB

Bis zu 25 Gbit/s

inf1.6xlarge

4

32 GiB

24

48 GiB

25 Gbit/s

inf1.24xlarge

16

128 GiB

96

192 GiB

100 Gbit/s

inf2.xlarge

1

32 GiB

4

16 GiB

Bis zu 15 GBit/s

inf2.8xlarge

1

32 GiB

32

128 GiB

Bis zu 25 Gbit/s

inf2.24xlarge

6

192 GiB

96

384 GiB

50 Gbit/s

inf2.48xlarge

12

384 GiB

192

768 GiB

100 Gbit/s

dl1.24xlarge

8

256 GiB

96

768 GiB

400 Gbit/s

dl2q.24xlarge

8

128 GiB

96

768 GiB

100 Gbit/s

Anmerkung

Für GPU-Jobs AWS Batch unterstützt nur Instanztypen mit NVIDIA-GPUs. Zum Beispiel die G4ad family wird für GPU-Scheduling nicht unterstützt. Sie können immer noch verwenden G4ad auf AWS Batch indem Sie in der Auftragsdefinition nur die vcpu- und Speicheranforderungen definieren und dann durch Anpassung in einem Amazon EC2 direkt auf die Host-GPUs zugreifen Benutzerdaten der Vorlage starten mit einem für Amazon ECS oder Amazon EKS für Berechnungen optimierten AMI oder einem maßgeschneiderten AMI für die Verwendung von AMD-GPUs.

Instance-Typen, die eine ARM64-Architektur verwenden, werden für GPU-Jobs auf benutzerdefinierten AMIs unterstützt, die für AWS Batch oder Amazon EC2-Benutzerdaten, um über benutzerdefinierten Code und Konfigurationen auf die GPUs zuzugreifen. Zum Beispiel die G5g Instanzfamilie.

Die Anforderungen an die Ressourcen Ein Parameter für die Jobdefinition gibt die Anzahl der GPUs an, die an den Container angeheftet werden sollen. Diese Anzahl von GPUs ist für die Dauer dieses Jobs für keinen anderen Job verfügbar, der auf dieser Instance ausgeführt wird. Alle Instanztypen in einer Rechenumgebung, in der GPU-Jobs ausgeführt werden, müssen aus dem p3, p4, p5, p6, g3, g3s, g4, g5, g6, gr6, g7, oder g7e zum Beispiel Familien. Wenn das nicht gemacht wird, könnte ein GPU-Job in der stecken bleiben RUNNABLE Status.

Jobs, die die GPUs nicht verwenden, können auf GPU-Instances ausgeführt werden. Die Ausführung auf den GPU-Instances kostet jedoch möglicherweise mehr als auf ähnlichen Nicht-GPU-Instances. Je nach vCPU, Arbeitsspeicher und benötigter Zeit blockieren diese Nicht-GPU-Jobs möglicherweise die Ausführung von GPU-Aufträgen.