Hyperparamètres Text Classification - TensorFlow - Amazon SageMaker AI

Hyperparamètres Text Classification - TensorFlow

Les hyperparamètres sont des paramètres définis avant qu'un modèle de machine learning ne commence à apprendre. Les hyperparamètres suivants sont pris en charge par l’algorithme Object Detection - TensorFlow intégré à Amazon SageMaker AI. Consultez Réglage d'un modèle Text Classification - TensorFlow pour obtenir des informations sur le réglage des hyperparamètres.

Nom du paramètre Description
batch_size

Taille de lot pour l'entraînement. Pour l'entraînement sur des instances dotées de plusieurs GPU, cette taille de lot est utilisée sur l'ensemble des GPU.

Valeurs valides : nombre entier positif.

Valeur par défaut : 32.
beta_1

Version beta1 des optimiseurs "adam" et "adamw". Représente le taux de dégradation exponentielle pour les estimations du premier moment. Ignoré pour les autres optimiseurs.

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.9.
beta_2

Version beta2 des optimiseurs "adam" et "adamw". Représente le taux de dégradation exponentielle pour les estimations du second moment. Ignoré pour les autres optimiseurs.

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.999.
dropout_rate

Taux d'abandon pour la couche d'abandon au niveau de la couche de classification supérieure. Utilisé uniquement quand reinitialize_top_layer a pour valeur "True".

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.2
early_stopping

Définissez ce paramètre sur "True" pour utiliser une logique d'arrêt anticipé au cours de l'entraînement. S'il a pour valeur "False", l'arrêt anticipé n'est pas utilisé.

Valeurs valides : chaîne, valeur : ("True" ou "False").

Valeur par défaut : "False".
early_stopping_min_delta Modification minimale requise pour être considérée comme une amélioration. Une modification absolue inférieure à la valeur de early_stopping_min_delta ne constitue pas une amélioration. Utilisé uniquement quand early_stopping a pour valeur "True".

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.0.
early_stopping_patience

Nombre d'époques pour continuer l'entraînement sans amélioration. Utilisé uniquement quand early_stopping a pour valeur "True".

Valeurs valides : nombre entier positif.

Valeur par défaut : 5.
epochs

Nombre de dates epoch d'entraînement.

Valeurs valides : nombre entier positif.

Valeur par défaut : 10.
epsilon

Epsilon des optimiseurs "adam", "rmsprop", "adadelta" et "adagrad". Généralement défini sur une petite valeur pour éviter la division par 0. Ignoré pour les autres optimiseurs.

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 1e-7.
initial_accumulator_value

Valeur de départ pour les accumulateurs, ou valeurs de moment par paramètre, pour l'optimiseur "adagrad". Ignoré pour les autres optimiseurs.

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.0001.
learning_rate Taux d'apprentissage de l'optimiseur.

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.001.
momentum

Moment pour les optimiseurs "sgd" et "nesterov". Ignoré pour les autres optimiseurs.

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.9.
optimizer

Type d'optimiseur. Pour plus d'informations, consultez Optimiseurs (langue française non garantie) dans la documentation sur TensorFlow.

Valeurs valides : chaîne, l'une des valeurs suivantes : ("adamw", "adam", "sgd", "nesterov", "rmsprop", "adagrad", "adadelta").

Valeur par défaut : "adam".
regularizers_l2

Facteur de régularisation L2 pour la couche dense au niveau de la couche de classification. Utilisé uniquement quand reinitialize_top_layer a pour valeur "True".

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.0001.
reinitialize_top_layer

Si ce paramètre a pour valeur "Auto", les paramètres de la couche de classification supérieure sont réinitialisés au cours de l'affinage. Pour l'entraînement incrémentiel, les paramètres de la couche de classification supérieure ne sont pas réinitialisés à moins d'être définis sur "True".

Valeurs valides : chaîne, l'une des valeurs suivantes : ("Auto", "True" ou "False").

Valeur par défaut : "Auto".
rho

Facteur de déduction pour le gradient des optimiseurs "adadelta" et "rmsprop". Ignoré pour les autres optimiseurs.

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.95.
train_only_on_top_layer

S'il a pour valeur "True", seuls les paramètres de la couche de classification supérieure sont ajustés. S'il a pour valeur "False", tous les paramètres du modèle sont affinés.

Valeurs valides : chaîne, valeur : ("True" ou "False").

Valeur par défaut : "False".
validation_split_ratio

Fraction des données d'entraînement à diviser de manière aléatoire pour créer des données de validation. Utilisé uniquement si les données de validation ne sont pas fournies via le canal validation.

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.2.
warmup_steps_fraction

Fraction du nombre total d'étapes de mise à jour du gradient, au cours de laquelle le taux d'apprentissage passe de 0 au taux d'apprentissage initial en guise d'échauffement. Utilisé uniquement avec l'optimiseur adamw.

Valeurs valides : valeur à virgule flottante, plage : [0.0, 1.0].

Valeur par défaut : 0.1.