Ottimizzazione di un modello BlazingText - Amazon SageMaker AI

Ottimizzazione di un modello BlazingText

L'ottimizzazione automatica dei modelli, nota anche come ottimizzazione degli iperparametri, trova la versione migliore di un modello eseguendo molti processi che testano un intervallo di iperparametri sul set di dati. Scegli gli iperparametri ottimizzabili, un intervallo di valori per ciascuno di essi e un parametro obiettivo. Puoi scegliere il parametro obiettivo tra i parametri calcolati dall'algoritmo. L'ottimizzazione automatica del modello ricerca gli iperparametri scelti per trovare la combinazione di valori che restituisce il modello che ottimizza il parametro obiettivo.

Per ulteriori informazioni sull'ottimizzazione del modello, consulta Ottimizzazione automatica dei modelli con SageMaker AI.

Parametri calcolati dall'algoritmo BlazingText

L'algoritmo Word2Vec BlazingText (modalità skipgram, cbow e batch_skipgram) utilizza un singolo parametro durante l’addestramento: train:mean_rho. Questo parametro viene calcolato sui set di dati di similarità per parola WS-353. Quando si ottimizzano i valori degli iperparametri per l'algoritmo Word2Vec, utilizza questo parametro come obiettivo.

L'algoritmo di classificazione del testo BlazingText (modalità supervised), utilizza anche un singolo parametro durante l’addestramento: validation:accuracy. Quando si ottimizzano i valori degli iperparametri per l'algoritmo di classificazione del testo, utilizza questi parametri come obiettivo.

Nome parametro Descrizione Direzione dell'ottimizzazione
train:mean_rho

L'elemento media_rho (il coefficiente di correlazione per la classifica di Spearman) sui set di dati di similarità per parola WS-353

Massimizza

validation:accuracy

L'accuratezza della classificazione sul set di dati di convalida specificato dall'utente

Massimizza

Iperparametri BlazingText ottimizzabili

Iperparametri ottimizzabili per l'algoritmo Word2Vec

Ottimizza un modello Amazon SageMaker AI BlazingText Word2Vec con i seguenti iperparametri. Gli iperparametri che hanno il maggiore impatto sui parametri obiettivo Word2Vec sono: mode, learning_rate, window_size, vector_dim e negative_samples.

Nome parametro Tipo parametro Intervalli o valori consigliati
batch_size

IntegerParameterRange

[8-32]

epochs

IntegerParameterRange

[5-15]

learning_rate

ContinuousParameterRange

MinValue: 0,005, MaxValue: 0,01

min_count

IntegerParameterRange

[0-100]

mode

CategoricalParameterRange

['batch_skipgram', 'skipgram', 'cbow']

negative_samples

IntegerParameterRange

[5-25]

sampling_threshold

ContinuousParameterRange

MinValue: 0,0001, MaxValue: 0,001

vector_dim

IntegerParameterRange

[32-300]

window_size

IntegerParameterRange

[1-10]

Iperparametri ottimizzabili per l'algoritmo di classificazione del testo

Ottimizza un modello di classificazione del testo Amazon SageMaker AI BlazingText con i seguenti iperparametri.

Nome parametro Tipo parametro Intervalli o valori consigliati
buckets

IntegerParameterRange

[1000000-10000000]

epochs

IntegerParameterRange

[5-15]

learning_rate

ContinuousParameterRange

MinValue: 0,005, MaxValue: 0,01

min_count

IntegerParameterRange

[0-100]

vector_dim

IntegerParameterRange

[32-300]

word_ngrams

IntegerParameterRange

[1-3]