Optimieren eines BlazingText-Modells - Amazon SageMaker AI

Optimieren eines BlazingText-Modells

Die automatische Modelloptimierung, auch bekannt als Hyperparameteroptimierung, sucht die beste Version eines Modells, indem viele Aufträge ausgeführt werden, die einen Bereich von Hyperparametern in Ihrem Datensatz testen. Sie wählen die optimierbaren Hyperparameter, eine Reihe von Werten für jeden Parameter und eine objektive Metrik aus. Sie wählen die objektive Metrik aus den Metriken aus, die der Algorithmus berechnet. Die automatische Modelloptimierung durchsucht die ausgewählten Hyperparameter nach der Kombination von Werten, die das Modell ergeben, das die objektive Metrik optimiert.

Mehr Informationen über Modelloptimierung finden Sie unter Automatische Modelloptimierung mit SageMaker AI.

Vom BlazingText-Algorithmus berechnete Metriken

Der BlazingText Word2Vec-Algorithmus (die Modi skipgram, cbow und batch_skipgram) meldet eine einzelne Metrik während des Trainings: train:mean_rho. Diese Metrik wird für WS-353 Word Similarity-Datasets berechnet. Verwenden Sie bei der Optimierung der Hyperparameterwerte für den Word2Vec-Algorithmus diese Metrik als Ziel.

Der BlazingText-Textklassifizierungsalgorithmus (supervised-Modus) meldet auch eine einzelne Metrik während des Trainings: validation:accuracy. Verwenden Sie bei der Optimierung der Hyperparameterwerte für den Textklassifizierungsalgorithmus diese Metriken als Ziel.

Metrikname Beschreibung Optimierungsrichtung
train:mean_rho

Der mittlere rho (Rangkorrelationskoeffizient von Spearman) in WS-353 Word Similarity-Datasets

Maximieren

validation:accuracy

Die Klassifizierungsgenauigkeit im vom Benutzer angegebenen Validierungsdatensatz

Maximieren

Optimierbare BlazingText-Hyperparameter

Optimierbare Hyperparameters für den Word2Vec-Algorithmus

Stimmen Sie ein Word2Vec-Modell von Amazon SageMaker AI BlazingText mit den folgenden Hyperparametern ab. Die Hyperparameter, die den größten Einfluss auf die objektiven Word2Vec-Metriken haben, sind: mode, learning_rate, window_size, vector_dim und negative_samples.

Name des Parameters Parametertyp Empfohlene Bereiche oder Werte
batch_size

IntegerParameterRange

[8-32]

epochs

IntegerParameterRange

[5-15]

learning_rate

ContinuousParameterRange

MinValue: 0,005, MaxValue: 0,01

min_count

IntegerParameterRange

[0-100]

mode

CategoricalParameterRange

['batch_skipgram', 'skipgram', 'cbow']

negative_samples

IntegerParameterRange

[5-25]

sampling_threshold

ContinuousParameterRange

MinValue: 0,0001, MaxValue: 0,001

vector_dim

IntegerParameterRange

[32-300]

window_size

IntegerParameterRange

[1-10]

Optimierbare Hyperparameters für den Textklassifizierungsalgorithmus

Stimmen Sie ein Textklassifikationsmodell von Amazon SageMaker AI BlazingText mit den folgenden Hyperparametern ab.

Name des Parameters Parametertyp Empfohlene Bereiche oder Werte
buckets

IntegerParameterRange

[1000000-10000000]

epochs

IntegerParameterRange

[5-15]

learning_rate

ContinuousParameterRange

MinValue: 0,005, MaxValue: 0,01

min_count

IntegerParameterRange

[0-100]

vector_dim

IntegerParameterRange

[32-300]

word_ngrams

IntegerParameterRange

[1-3]