Implementare un modello

Quando distribuisci un modello da JumpStart, l' SageMaker IA ospita il modello e distribuisce un endpoint che puoi utilizzare per l'inferenza. JumpStart fornisce anche un esempio di notebook che puoi utilizzare per accedere al modello dopo che è stato distribuito.

Configurazione dell'implementazione

Dopo aver scelto un modello, si apre la relativa scheda. Nel riquadro Distribuisci modello, scegliere Configurazione implementazione per configurare l'implementazione del modello.

Il tipo di istanza predefinito per l'implementazione di un modello dipende dal modello. Il tipo di istanza è l'hardware su cui viene eseguito il processo di addestramento. Nell'esempio seguente, l'istanza ml.p2.xlarge è quella predefinita per questo particolare modello BERT.

Puoi anche modificare il nome dell'endpoint, aggiungere tag di key;value risorse, attivare o disattivare il jumpstart- prefisso per tutte JumpStart le risorse correlate al modello e specificare un bucket Amazon S3 per archiviare gli artefatti del modello utilizzati dall'endpoint AI. SageMaker

Scegli le impostazioni di sicurezza per specificare il ruolo AWS Identity and Access Management (IAM), Amazon Virtual Private Cloud (Amazon VPC) e le chiavi di crittografia per il modello.

Sicurezza dell'implementazione del modello

Quando distribuisci un modello con JumpStart, puoi specificare un ruolo IAM, Amazon VPC e chiavi di crittografia per il modello. Se non specifichi alcun valore per queste voci: il ruolo IAM predefinito è il ruolo di runtime di Studio Classic, viene utilizzata la crittografia predefinita e non viene utilizzato Amazon VPC.

Ruolo IAM

Puoi selezionare un ruolo IAM che viene trasferito come parte dei lavori di formazione e di hosting. SageMaker L'intelligenza artificiale utilizza questo ruolo per accedere ai dati di formazione e agli artefatti del modello. Se non selezioni un ruolo IAM, SageMaker AI implementa il modello utilizzando il tuo ruolo di runtime di Studio Classic. Per ulteriori informazioni sui ruoli IAM, consultare AWS Identity and Access Management per Amazon AI SageMaker.

Il ruolo assegnato deve avere accesso alle risorse necessarie al modello e deve includere tutti i seguenti elementi.

[
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
        "arn:aws:s3:::jumpstart-cache-prod-<region>",
        "arn:aws:s3:::<bucket>/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
           "cloudwatch:PutMetricData",
           "logs:CreateLogStream",
          "logs:PutLogEvents",
          "logs:CreateLogGroup",
          "logs:DescribeLogStreams",
          "ecr:GetAuthorizationToken"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "ecr:BatchGetImage",
        "ecr:BatchCheckLayerAvailability",
        "ecr:GetDownloadUrlForLayer"
      ],
      "Resource": [
        "*"
      ]
    },
  ]
}

Trova il ruolo IAM

Se si seleziona questa opzione è necessario selezionare un ruolo IAM esistente dall'elenco a discesa.

Inserisci ruolo IAM

Selezionando questa opzione è necessario inserire manualmente l'ARN per un ruolo IAM esistente. Se il tuo ruolo di runtime Studio Classic o Amazon VPC blocca la chiamata iam:list* è necessario scegliere questa opzione per utilizzare un ruolo IAM esistente.

Amazon VPC

Tutti i JumpStart modelli funzionano in modalità di isolamento della rete. Dopo aver creato il container del modello non è possibile effettuare altre chiamate. Puoi selezionare un Amazon VPC che viene approvato come parte dei lavori di formazione e di hosting. SageMaker L'intelligenza artificiale utilizza questo Amazon VPC per inviare e prelevare risorse dal tuo bucket Amazon S3. Questo Amazon VPC è diverso dall’Amazon VPC che limita l’accesso alla rete Internet pubblica dall’istanza di Studio Classic. Per ulteriori informazioni su Amazon VPC di Studio Classic, consulta Connessione dei notebook Studio in un VPC a risorse esterne.

L'Amazon VPC che viene trasmesso non necessita dell'accesso alla rete Internet pubblica, ma richiede l'accesso ad Amazon S3. L'endpoint VPC Amazon VPC per Amazon S3 deve consentire almeno l'accesso alle seguenti risorse necessarie al modello.

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Se non si seleziona un Amazon VPC, non viene utilizzato alcun Amazon VPC.

Trova VPC

Se si seleziona questa opzione è necessario selezionare un Amazon VPC esistente dall'elenco a discesa. Dopo aver selezionato un Amazon VPC, è necessario selezionare una sottorete e un gruppo di sicurezza per l'Amazon VPC. Per ulteriori informazioni sulle sottoreti e i gruppi di sicurezza, consultare Panoramica di VPC e sottoreti.

VPC di ingresso

Se si seleziona questa opzione è necessario selezionare manualmente la sottorete e il gruppo di sicurezza che compongono l'Amazon VPC. Se il ruolo di runtime di Studio Classic o Amazon VPC blocca la chiamata ec2:list*, è necessario utilizzare questa opzione per selezionare la sottorete e il gruppo di sicurezza.

Chiavi di crittografia

È possibile selezionare una AWS KMS chiave che viene trasmessa nell'ambito dei lavori di formazione e di hosting. SageMaker L'intelligenza artificiale utilizza questa chiave per crittografare il volume Amazon EBS per il container e il modello riconfezionato in Amazon S3 per i lavori di hosting e l'output per i lavori di formazione. Per ulteriori informazioni sulle AWS KMS chiavi, consulta keys. AWS KMS

La chiave che viene trasmessa deve fidarsi del ruolo IAM trasmesso. Se non specifichi un ruolo IAM, la AWS KMS chiave deve considerare attendibile il tuo ruolo di runtime di Studio Classic.

Se non selezioni una AWS KMS chiave, l' SageMaker IA fornisce la crittografia predefinita per i dati nel volume Amazon EBS e negli artefatti Amazon S3.

Trova chiavi di crittografia

Se si seleziona questa opzione, è necessario selezionare AWS KMS le chiavi esistenti dall'elenco a discesa.

Chiavi di crittografia di input

Se si seleziona questa opzione, è necessario immettere manualmente le AWS KMS chiavi. Se il tuo ruolo di esecuzione di Studio Classic o Amazon VPC bloccano la kms:list* chiamata, devi utilizzare questa opzione per selezionare AWS KMS le chiavi esistenti.

Configura i valori predefiniti per i modelli JumpStart

È possibile configurare i valori predefiniti per parametri quali ruoli IAM, VPC e chiavi KMS da precompilare per la distribuzione e l'addestramento dei JumpStart modelli. Dopo aver configurato i valori predefiniti, l'interfaccia utente di Studio Classic fornisce automaticamente le impostazioni e i tag di sicurezza specificati ai JumpStart modelli per semplificare i flussi di lavoro di distribuzione e formazione. Gli amministratori e gli utenti finali possono inizializzare i valori predefiniti specificati in un file di configurazione in formato YAML.

Per impostazione predefinita, SageMaker Python SDK utilizza due file di configurazione: uno per l'amministratore e uno per l'utente. Utilizzando il file di configurazione admininistrator, gli amministratori possono definire un set di valori predefiniti. End-users può sovrascrivere i valori impostati nel file di configurazione dell'amministratore e impostare valori predefiniti aggiuntivi utilizzando il file di configurazione dell'utente finale. Per ulteriori informazioni, consultare Configurazione predefinita posizione del file.

Il seguente esempio di codice elenca le posizioni predefinite dei file di configurazione quando si utilizza l'SDK SageMaker Python in Amazon Studio Classic. SageMaker

# Location of the admin config file
/etc/xdg/sagemaker/config.yaml

# Location of the user config file
/root/.config/sagemaker/config.yaml

I valori specificati nel file di configurazione dell'utente sostituiscono i valori impostati nel file di configurazione dell'amministratore. Il file di configurazione è unico per ogni profilo utente all'interno di un dominio Amazon SageMaker AI. L’applicazione Studio Classic del profilo dell’utente è direttamente associata al profilo dell’utente. Per ulteriori informazioni, consulta Profili utente del dominio.

Gli amministratori possono facoltativamente impostare i valori predefiniti di configurazione per l'addestramento e l'implementazione dei JumpStart modelli tramite configurazioni del ciclo di vita. JupyterServer Per ulteriori informazioni, consulta Crea e associa una configurazione del ciclo di vita ad Amazon Studio Classic SageMaker.

SchemaVersion: '1.0'
SageMaker:
  TrainingJob:
    OutputDataConfig:
      KmsKeyId: example-key-id
    ResourceConfig:
      # Training configuration - Volume encryption key
      VolumeKmsKeyId: example-key-id
    # Training configuration form - IAM role
    RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Training configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Training configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
    # Training configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value
  Model:
    EnableNetworkIsolation: true
    # Deployment configuration - IAM role
    ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Deployment configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Deployment configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
  EndpointConfig:
    AsyncInferenceConfig:
      OutputConfig:
        KmsKeyId: example-key-id
    DataCaptureConfig:
      # Deployment configuration - Volume encryption key
      KmsKeyId: example-key-id
    KmsKeyId: example-key-id
    # Deployment configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value