Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

# Beispiel für Neuron-Aufgabendefinitionen
<a name="ecs-inference-task-def"></a>

## Beispiel für eine verwaltete Gerätezuweisung
<a name="ecs-inference-task-def-managed"></a>

Das folgende Beispiel zeigt eine Aufgabendefinition, die alle Neuron-Geräte auf der Instanz mithilfe des `resourceRequirements` Parameters anfordert. Dieser Ansatz ist nur für Managed Instances verfügbar.

```
{
    "family": "ecs-neuron",
    "requiresCompatibilities": ["MANAGED_INSTANCES"],
    "networkMode": "awsvpc",
    "cpu": "8192",
    "memory": "16384",
    "executionRoleArn": "{{${YOUR_EXECUTION_ROLE}}}",
    "containerDefinitions": [
        {
            "name": "neuron-inference",
            "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-vllm-inference-neuronx:0.11.0-optimum0.4.5-neuronx-py310-sdk2.26.1-ubuntu22.04",
            "essential": true,
            "command": [
                "--model", "{{${YOUR_HUGGING_FACE_MODEL_ID}}}",
                "--port", "8080",
                "--tensor-parallel-size", "2",
                "--allow-non-cached-model"
            ],
            "portMappings": [
                {
                    "containerPort": 8080,
                    "protocol": "tcp"
                }
            ],
            "resourceRequirements": [
                {
                    "type": "NeuronDevice",
                    "value": "ALL"
                }
            ]
        }
    ]
}
```

In diesem Beispiel enthält das Container-Image einen für Neuron optimierten vLLM-Inferenzserver. AWS Der Einstiegspunkt des Images lädt ein Modell von herunter HuggingFace, kompiliert es für Neuron und startet einen API-Server auf Port 8080. OpenAI-compatible Ersetzen Sie `{{${YOUR_HUGGING_FACE_MODEL_ID}}}` es durch Ihre Modell-ID. HuggingFace 

## Beispiel für eine manuelle Gerätespezifikation
<a name="ecs-inference-task-def-ec2"></a>

Das folgende Beispiel zeigt eine Linux-Aufgabendefinition für die `inf1.xlarge` Verwendung des EC2-Starttyps mit `linuxParameters.devices` zur Angabe von Neuron-Gerätepfaden.

```
{
    "family": "ecs-neuron",
    "requiresCompatibilities": ["EC2"],
    "placementConstraints": [
        {
            "type": "memberOf",
            "expression": "attribute:ecs.os-type == linux"
        },
        {
            "type": "memberOf",
            "expression": "attribute:ecs.instance-type == {{inf1.xlarge}}"
        }
    ],
    "executionRoleArn": "{{${YOUR_EXECUTION_ROLE}}}",
    "containerDefinitions": [
        {
            "entryPoint": [
                "/usr/local/bin/entrypoint.sh",
                "--port=8500",
                "--rest_api_port=9000",
                "--model_name=resnet50_neuron",
                "--model_base_path=s3://{{amzn-s3-demo-bucket/resnet50_neuron/}}"
            ],
            "portMappings": [
                {
                    "hostPort": 8500,
                    "protocol": "tcp",
                    "containerPort": 8500
                },
                {
                    "hostPort": 8501,
                    "protocol": "tcp",
                    "containerPort": 8501
                },
                {
                    "hostPort": 0,
                    "protocol": "tcp",
                    "containerPort": 80
                }
            ],
            "linuxParameters": {
                "devices": [
                    {
                        "containerPath": "/dev/neuron0",
                        "hostPath": "/dev/neuron0",
                        "permissions": [
                            "read",
                            "write"
                        ]
                    }
                ],
                "capabilities": {
                    "add": [
                        "IPC_LOCK"
                    ]
                }
            },
            "cpu": 0,
            "memoryReservation": 1000,
            "image": "{{763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference-neuron:1.15.4-neuron-py37-ubuntu18.04}}",
            "essential": true,
            "name": "resnet50"
        }
    ]
}
```