Risolvere i problemi relativi agli endpoint multi-container
Le sezioni seguenti possono aiutarti a risolvere gli errori con endpoint multi-container.
Errori di controllo dell'integrità
Con più container, la memoria degli endpoint e la CPU sono sottoposte a una maggiore pressione durante la creazione degli endpoint. In particolare, i parametri MemoryUtilization e CPUUtilization sono più elevati rispetto agli endpoint a container singolo, poiché la pressione di utilizzo è proporzionale al numero di container. Per questo motivo, ti consigliamo di scegliere tipi di istanza con memoria e CPU sufficienti per assicurarti che sull'istanza ci sia abbastanza memoria per caricare tutti i modelli (la stessa guida si applica alla distribuzione di una pipeline di inferenza). In caso contrario, la creazione dell'endpoint potrebbe fallire con un errore del tipo XXX did not pass the
ping health check.
Etichetta Docker accept-bind-to-port=true mancante
I container in endpoint multi-container restano in ascolto sulla porta specificata nella variabile di ambiente SAGEMAKER_BIND_TO_PORT anziché la porta 8080. Quando un container viene eseguito in un endpoint multi-container, SageMaker AI fornisce automaticamente questa variabile di ambiente al container. Se questa variabile di ambiente non è presente, i container utilizzano la porta 8080 per impostazione predefinita. Per indicare che il container soddisfa questo requisito, utilizza il comando seguente per aggiungere un'etichetta al dockerfile:
LABEL com.amazonaws.sagemaker.capabilities.accept-bind-to-port=true
Altrimenti, verrà visualizzato un messaggio di errore come Your Ecr Image XXX does
not contain required
com.amazonaws.sagemaker.capabilities.accept-bind-to-port=true Docker
label(s).
Se il container deve essere in ascolto su una seconda porta, scegli una porta nell'intervallo specificato dalla variabile di ambiente SAGEMAKER_SAFE_PORT_RANGE. Specifica il valore come un intervallo inclusivo nel formato XXXX-YYYY, dove XXXX e YYYY sono numeri interi a più cifre. SageMaker AI fornisce questo valore automaticamente quando si esegue il container in un endpoint multi-container.
