Configurazione di un processo di elaborazione di SageMaker Clarify

Per analizzare i dati e i modelli per verificarne la spiegabilità e i bias utilizzando SageMaker Clarify, è necessario configurare un processo di elaborazione di SageMaker Clarify. Questa guida mostra come specificare il nome del set di dati di input, il nome del file di configurazione dell'analisi e la posizione di output per un processo di elaborazione. Per configurare il container di elaborazione, gli input, gli output, le risorse e altri parametri del processo, sono disponibili due opzioni. Puoi utilizzare l’API CreateProcessingJob di SageMaker AI o l’API SageMaker ClarifyProcessor di SageMaker AI Python SDK.

Per informazioni sui parametri comuni a tutti i processi di elaborazione, consulta Amazon SageMaker API Reference.

Le seguenti istruzioni mostrano come fornire ciascuna parte della configurazione specifica di SageMaker Clarify utilizzando l'API CreateProcessingJob.

Inserisci l'Uniform Research Identifier (URI) di un'immagine del container SageMaker Clarify all'interno del parametro AppSpecification, come mostrato nel seguente esempio di codice.
```
{
    "ImageUri": "the-clarify-container-image-uri"
}                    
```
Nota
L’URI deve identificare un’immagine del container SageMaker Clarify predefinita. ContainerEntrypoint e ContainerArguments non sono supportati. Per ulteriori informazioni sulle immagini del container SageMaker Clarify, consulta Container predefiniti di SageMaker Clarify.
Specifica sia la configurazione per l'analisi che i parametri per il set di dati di input all'interno del parametro ProcessingInputs.
1. Specifica la posizione del file di configurazione dell'analisi JSON, che include i parametri per l'analisi dei bias e l'analisi della spiegabilità. Il parametro InputName dell'oggetto ProcessingInput deve essere analysis_config come mostrato nel seguente esempio di codice.
```
{
    "InputName": "analysis_config",
    "S3Input": {
        "S3Uri": "s3://your-bucket/analysis_config.json",
        "S3DataType": "S3Prefix",
        "S3InputMode": "File",
        "LocalPath": "/opt/ml/processing/input/config"
    }
}
```
  Per ulteriori informazioni sullo schema del file di configurazione dell’analisi, consulta File di configurazione dell’analisi.
2. Specifica la posizione del set di dati di input. Il parametro InputName dell'oggetto ProcessingInput deve essere dataset. Questo parametro è facoltativo se hai fornito "dataset_uri" nel file di configurazione dell'analisi. Nella configurazione S3Input sono richiesti i seguenti valori.
  1. S3Uri può essere un oggetto Amazon S3 o un prefisso S3.
  2. S3InputMode deve essere di tipo File.
  3. S3CompressionType deve essere di tipo None (il valore predefinito).
  4. S3DataDistributionType deve essere di tipo FullyReplicated (il valore predefinito).
  5. S3DataType può essere S3Prefix o ManifestFile. Per utilizzare ManifestFile, il parametro S3Uri deve specificare la posizione di un file manifesto che segue lo schema riportato nella sezione SageMaker API Reference S3Uri. Questo file manifest deve elencare gli oggetti S3 che contengono i dati di input per il processo.
  Il codice seguente mostra un esempio di configurazione di input.
```
{
    "InputName": "dataset",
    "S3Input": {
        "S3Uri": "s3://your-bucket/your-dataset.csv",
        "S3DataType": "S3Prefix",
        "S3InputMode": "File",
        "LocalPath": "/opt/ml/processing/input/data"
    }
}
```
Specifica la configurazione per l'output del processo di elaborazione all'interno del parametro ProcessingOutputConfig. Nella configurazione Outputs è richiesto un singolo oggetto ProcessingOutput. Per la configurazione di output sono richiesti i seguenti elementi:
1. OutputName deve essere analysis_result.
2. S3Uri deve essere un prefisso S3 per la posizione di output.
3. S3UploadMode deve essere impostato su EndOfJob.
Il seguente codice mostra un esempio di configurazione di output.
```
{
    "Outputs": [{ 
        "OutputName": "analysis_result",
        "S3Output": { 
            "S3Uri": "s3://your-bucket/result/",
            "S3UploadMode": "EndOfJob",
            "LocalPath": "/opt/ml/processing/output"
         }
     }]
}                
```
Specifica la configurazione ClusterConfig per le risorse utilizzate nel processo di elaborazione all'interno del parametro ProcessingResources. I seguenti parametri sono obbligatori all'interno dell'oggetto ClusterConfig.
1. InstanceCount specifica il numero di istanze di calcolo nel cluster che esegue il processo di elaborazione. Per attivare l'elaborazione distribuita, specifica un valore maggiore di 1.
2. InstanceType si riferisce alle risorse che eseguono il processo di elaborazione. Poiché l’analisi SHAP di SageMaker AI richiede molte risorse di calcolo, l’utilizzo di un tipo di istanza ottimizzato per il calcolo dovrebbe migliorare il runtime dell’analisi. Il processo di elaborazione di SageMaker Clarify non utilizza GPU.
Il seguente codice mostra un esempio di configurazione delle risorse.
```
{
    "ClusterConfig": {
         "InstanceCount": 1,
         "InstanceType": "ml.m5.xlarge",
         "VolumeSizeInGB": 20
     }
}
```
Specifica la configurazione della rete utilizzata nel processo di elaborazione all'interno dell'oggetto NetworkConfig. Nella configurazione sono richiesti i seguenti valori.
1. EnableNetworkIsolation deve essere impostato su False (impostazione predefinita) in modo che SageMaker Clarify possa richiamare un endpoint, se necessario, per eseguire le previsioni.
2. Se il modello o l'endpoint che hai fornito al processo di SageMaker Clarify si trova all'interno di un Amazon Virtual Private Cloud (Amazon VPC), anche il processo di SageMaker Clarify deve trovarsi nello stesso VPC. Specifica il VPC utilizzando VPCConfig. Inoltre, il VPC deve disporre di endpoint per un bucket Amazon S3, per il servizio SageMaker AI e per il servizio di runtime di SageMaker AI.
  
  Se è attivata l'elaborazione distribuita, è necessario consentire anche la comunicazione tra diverse istanze nello stesso processo di elaborazione. Configura una regola per il gruppo di sicurezza che consente connessioni in entrata tra i membri dello stesso gruppo di sicurezza. Per ulteriori informazioni, consulta Autorizzazione dei processi di Amazon SageMaker Clarify ad accedere alle risorse nel tuo Amazon VPC.
Il codice seguente mostra un esempio di configurazione della rete.
```
{
    "EnableNetworkIsolation": False,
    "VpcConfig": {
        ...
    }
}              
```
Imposta il tempo massimo di esecuzione del processo utilizzando il parametro StoppingCondition. Il periodo massimo di esecuzione di un processo di SageMaker Clarify è di 7 giorni o 604800 secondi. Se il lavoro non può essere completato entro questo limite di tempo, verrà interrotto e non verranno forniti risultati di analisi. Ad esempio, la configurazione seguente limita il tempo massimo di esecuzione del processo a 3600 secondi.
```
{
    "MaxRuntimeInSeconds": 3600
}
```

Specifica un ruolo IAM per il parametro RoleArn. Il ruolo deve avere una relazione di attendibilità con Amazon SageMaker AI. Può essere utilizzato per eseguire le operazioni API SageMaker elencate nella tabella seguente. Ti consigliamo di utilizzare la policy FullAccess gestita da Amazon SageMaker AI, che garantisce l’accesso completo a SageMaker AI. Per ulteriori informazioni su questa policy, consulta Policy gestita da AWS: AmazonSageMakerFullAccess. Se hai dubbi sulla concessione dell'accesso completo, le autorizzazioni minime richieste dipendono dall'eventuale fornitura di un modello o un nome di endpoint. L’utilizzo di un nome dell’endpoint consente di concedere meno autorizzazioni a SageMaker AI.

La tabella seguente contiene le operazioni API utilizzate dal processo di elaborazione SageMaker Clarify. X in Nome modello e Nome endpoint indica l'operazione API richiesta per ogni input.

Operazione API	Nome modello	Nome endpoint	Finalità d'utilizzo
ListTags	X		I tag del processo vengono applicati all'endpoint shadow.
CreateEndpointConfig	X		Crea la configurazione dell'endpoint utilizzando il nome del modello che hai fornito
CreateEndpoint	X		Crea un endpoint shadow usando la configurazione dell'endpoint.
DescribeEndpoint	X	X	Descrive l'endpoint per il suo stato; l'endpoint deve essere InService per soddisfare le richieste.
InvokeEndpoint	X	X	Consente di invocare l'endpoint per le previsioni.

Per ulteriori informazioni sulle autorizzazioni richieste, consultare Documentazione di riferimento sulle autorizzazioni delle API di Amazon SageMaker AI: azioni, autorizzazioni e risorse.

Per ulteriori informazioni sul passaggio dei ruoli a SageMaker AI, consulta Passaggio dei ruoli.

Dopo aver creato le singole parti della configurazione del processo di elaborazione, combinale per configurare il processo.

Il seguente esempio di codice mostra come avviare un processo di elaborazione di SageMaker Clarify utilizzando l'SDK per Python AWS.


sagemaker_client.create_processing_job(
    ProcessingJobName="your-clarify-job-name",
    AppSpecification={
        "ImageUri": "the-clarify-container-image-uri",
    },
    ProcessingInputs=[{
            "InputName": "analysis_config",
            "S3Input": {
                "S3Uri": "s3://your-bucket/analysis_config.json",
                "S3DataType": "S3Prefix",
                "S3InputMode": "File",
                "LocalPath": "/opt/ml/processing/input/config",
            },
        }, {
            "InputName": "dataset",
            "S3Input": {
                "S3Uri": "s3://your-bucket/your-dataset.csv",
                "S3DataType": "S3Prefix",
                "S3InputMode": "File",
                "LocalPath": "/opt/ml/processing/input/data",
            },
        },
    ],
    ProcessingOutputConfig={
        "Outputs": [{ 
            "OutputName": "analysis_result",
            "S3Output": { 
               "S3Uri": "s3://your-bucket/result/",
               "S3UploadMode": "EndOfJob",
               "LocalPath": "/opt/ml/processing/output",
            },   
        }],
    },
    ProcessingResources={
        "ClusterConfig": {
            "InstanceCount": 1,
            "InstanceType": "ml.m5.xlarge",
            "VolumeSizeInGB": 20,
        },
    },
    NetworkConfig={
        "EnableNetworkIsolation": False,
        "VpcConfig": {
            ...
        },
    },
    StoppingCondition={
        "MaxRuntimeInSeconds": 3600,
    },
    RoleArn="arn:aws:iam::<your-account-id>:role/service-role/AmazonSageMaker-ExecutionRole",
)

Per un notebook di esempio contenente le istruzioni per eseguire un processo di elaborazione SageMaker Clarify utilizzando SDK per Python AWS, vedere Equità e spiegabilità con SageMaker Clarify usando l'SDK per Python AWS. Qualsiasi bucket S3 utilizzato nel notebook deve trovarsi nella stessa Regione AWS dell'istanza del notebook che vi accede.

È inoltre possibile configurare un processo di elaborazione di SageMaker Clarify utilizzando SageMaker ClarifyProcessor nell'API SDK Phyton SageMaker. Per ulteriori informazioni, consulta Esegui i processi di elaborazione SageMaker Clarify per l'analisi e la spiegabilità dei bias.

Argomenti

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Equità e spiegabilità

Container SageMaker Clarify

Configurazione di un processo di elaborazione di SageMaker Clarify

Nota

Argomenti