Arbeitsspeicher für Linux-Container-Instances von Amazon ECS reservieren

Wenn der Amazon-ECS-Container-Agent eine Container-Instance in einem Cluster registriert, muss der Agent bestimmen, wie viel Arbeitsspeicher die Container-Instance zur Verfügung hat und für Ihre Aufgaben reservieren kann. Aufgrund des Mehraufwands für den Plattformspeicher und des vom Systemkernel belegten Speichers unterscheidet sich diese Zahl von der Menge des installierten Speichers, der für EC2 Amazon-Instances angegeben ist. Eine m4.large-Instance beispielsweise besitzt 8 GiB installierten Speicher. Dies bedeutet jedoch nicht immer, dass genau 8 192 MiB Arbeitsspeicher für Aufgaben zur Verfügung stehen, wenn die Container-Instance registriert wird.

Bestimmung der Speicherressourcen für ECS Managed Instances

Amazon ECS Managed Instances verwendet einen hierarchischen Ansatz, um die Speicherressourcenanforderungen für Aufgaben zu ermitteln. Im Gegensatz zu ECS EC2 , das auf der Speicher-Introspektion von Docker basiert, berechnet ECS Managed Instances den Speicherbedarf bei Planungsentscheidungen direkt anhand der Task-Payload.

Wenn der ECS Managed Instances Agent eine Aufgabe empfängt, berechnet er den Speicherbedarf anhand der folgenden Prioritätsreihenfolge:

{
  "family": "my-task",
  "memory": "2048",
  "containerDefinitions": [
    {
      "name": "container1",
      "memory": 1024,
      "memoryReservation": 512
    }
  ]
}

{
  "family": "my-task",
  "containerDefinitions": [
    {
      "name": "container1",
      "memory": 1024,
      "memoryReservation": 512
    },
    {
      "name": "container2",
      "memory": 512
    }
  ]
}

Der ECS Managed Instances Agent führt die Speicherberechnung in drei Phasen durch:

Wenn ECS aktiviert ist EC2, stellt der Amazon ECS-Container-Agent eine Konfigurationsvariable namens bereitECS_RESERVED_MEMORY, mit der Sie eine bestimmte Anzahl von MiB Speicher aus dem Pool entfernen können, der Ihren Aufgaben zugewiesen ist. Damit wird dieser Arbeitsspeicher für wichtige Systemprozesse reserviert.

Wenn Sie den gesamten Arbeitsspeicher auf einer Container-Instance mit Ihren Aufgaben belegen, kann es sein, dass Ihre Aufgabe mit wichtigen Systemprozessen um Arbeitsspeicher konkurrieren und möglicherweise einen Systemfehler auslösen.

Wenn Sie beispielsweise ECS_RESERVED_MEMORY=256 in der Konfigurationsdatei Ihres Container-Agenten angeben, registriert der Agent den gesamten Arbeitsspeicher bis auf 256 MiB für diese Instance, und 256 MiB Arbeitsspeicher können nicht für ECS-Aufgaben zugeordnet werden. Weitere Informationen über die Konfigurationsvariablen des Agenten und ihre Einstellung finden Sie unter Konfiguration des Amazon-ECS-Container-Agenten und Bootstrapping von Amazon-ECS-Linux-Container-Instances zur Weitergabe von Daten.

Wenn Sie 8 192 MiB für die Aufgabe angeben und keine Ihrer Container-Instances 8 192 MiB oder mehr Arbeitsspeicher zur Verfügung haben, um diese Anforderung zu erfüllen, kann die Aufgabe nicht in Ihrem Cluster platziert werden. Wenn Sie eine verwaltete Rechenumgebung verwenden, AWS Batch müssen Sie einen größeren Instance-Typ starten, um die Anfrage zu bearbeiten.

Der Amazon-ECS-Container-Agent verwendet die Docker-Funktion ReadMemInfo() für die Abfrage des gesamten für das Betriebssystem verfügbaren Arbeitsspeichers. Sowohl Linux als auch Windows bieten bietet Befehlszeilen-Hilfsprogramme, um die Gesamtmenge an Arbeitsspeicher zu bestimmen.

$ free -b

             total       used       free     shared    buffers     cached
Mem:    8373026816  348180480 8024846336      90112   25534464  205418496
-/+ buffers/cache:  117227520 8255799296

C:\> wmic ComputerSystem get TotalPhysicalMemory

TotalPhysicalMemory
8589524992

Arbeitsspeicher für Container-Instances anzeigen

Sie können in der Amazon ECS-Konsole (oder bei der DescribeContainerInstancesAPI-Operation) sehen, mit wie viel Speicher sich eine Container-Instance registriert. Wenn Sie versuchen, Ihre Ressourcennutzung zu maximieren, indem Sie Ihren Aufgaben so viel Arbeitsspeicher wie möglich für einen bestimmten Instance-Typ bereitstellen, können Sie den für diese Container-Instance verfügbaren Arbeitsspeicher beobachten und dann Ihren Aufgaben soviel Arbeitsspeicher zuordnen.