Référence des métriques

InferenceLatency — Le délai approximatif entre l'envoi d'une demande de prédiction du modèle et sa réception d'un point de terminaison en temps réel sur lequel le modèle est déployé. Cette métrique est mesurée en secondes et n’est disponible que pour les modèles générés avec le mode Assemblage.

MAE – Erreur absolue moyenne. En moyenne, la prédiction pour la colonne cible est de +/- {MAE} par rapport à la valeur réelle.

Mesure la différence entre les valeurs prédites et les valeurs réelles lorsqu’elles sont moyennées sur l’ensemble des valeurs. La MAE est couramment utilisée dans la prédiction numérique pour comprendre l’erreur de prédiction modélisée. Si les prédictions sont linéaires, la MAE représente la distance moyenne entre une ligne prédite et la valeur réelle. La MAE est définie comme la somme des erreurs absolues divisée par le nombre d’observations. Les valeurs sont comprises entre 0 et l’infini, les plus petits nombres indiquant une meilleure adéquation du modèle aux données.

MAPE – Erreur moyenne en pourcentage absolu. En moyenne, la prédiction pour la colonne cible est de +/- {MAPE} % par rapport à la valeur réelle.

MAPE est la moyenne des différences absolues entre les valeurs réelles et les valeurs prédites ou estimées, divisée par les valeurs réelles et exprimée sous forme de pourcentage. Une MAPE inférieure indique de meilleures performances, car cela signifie que les valeurs prédites ou estimées sont plus proches des valeurs réelles.

Erreur quadratique moyenne (MSE, Mean Squared Error) : moyenne des différences au carré entre les valeurs prédites et les valeurs réelles.

Les valeurs MSE sont toujours positives. Plus un modèle est capable de prédire les valeurs réelles, plus la valeur MSE est faible.

R2 : pourcentage de la différence dans la colonne cible qui peut être expliquée par la colonne d’entrée.

Elle quantifie dans quelle mesure un modèle peut expliquer la variance d’une variable dépendante. Les valeurs sont comprises entre un (1) et moins un (-1). Un nombre plus élevé indique une fraction plus élevée de la variabilité expliquée. Une valeur proche de zéro (0) indique qu’une faible part de la variable dépendante peut être expliquée par le modèle. Une valeur négative indique un mauvais ajustement et un dépassement du modèle par une fonction constante (ou une ligne horizontale).

RMSE : erreur quadratique moyenne racine, ou écart type des erreurs.

Mesure la racine carrée de la différence au carré entre les valeurs prédites et les valeurs réelles, moyennée sur l’ensemble des valeurs. Elle est utilisée pour comprendre l’erreur de prédiction modélisée et constitue une métrique importante pour indiquer la présence d’erreurs et de valeurs aberrantes d’un modèle de grande taille. Les valeurs vont de zéro (0) à l’infini, les plus petits nombres indiquant une meilleure adéquation du modèle aux données. La RMSE dépend de l’échelle et ne doit pas être utilisée pour comparer des jeux de données de types différents.

Prévision : le pourcentage de prédictions correctes.

Ou, le rapport entre le nombre d’éléments prédits correctement et le nombre total de prédictions effectuées. La précision mesure à quel point les valeurs de classe prédites sont proches des valeurs réelles. Les valeurs des métriques de précision varient entre zéro (0) et un (1). La valeur 1 indique une exactitude parfaite et 0 indique une inexactitude complète.

AUC – Valeur comprise entre 0 et 1 qui indique dans quelle mesure votre modèle est capable de séparer les catégories de votre jeu de données. Une valeur 1 indique qu’elle a réussi à séparer parfaitement les catégories.

BalancedAccuracy — Mesure le rapport entre les prévisions précises et toutes les prévisions.

Ce rapport est calculé après avoir normalisé les vrais positifs (TP) et les vrais négatifs (TN) par le nombre total de valeurs positives (P) et négatives (N). Il est défini comme suit : 0.5*((TP/P)+(TN/N)) avec des valeurs allant de 0 à 1. La métrique d’exactitude équilibrée fournit une meilleure mesure de l’exactitude lorsque les nombres de positifs et de négatifs sont très différents dans un jeu de données déséquilibré, par exemple quand seulement 1 % des e-mails sont du courrier indésirable.

F1 : mesure équilibrée de la précision qui prend en compte l’équilibre des classes.

Il s’agit de la moyenne harmonique des scores de précision et de rappel, définie comme suit : F1 = 2 * (precision * recall) / (precision + recall). Les scores de F1 varient entre 0 et 1. Un score de 1 indique la meilleure performance possible et 0 indique la pire.

InferenceLatency — Le délai approximatif entre l'envoi d'une demande de prédiction du modèle et sa réception d'un point de terminaison en temps réel sur lequel le modèle est déployé. Cette métrique est mesurée en secondes et n’est disponible que pour les modèles générés avec le mode Assemblage.

LogLoss — La perte logarithmique, également connue sous le nom de perte d'entropie croisée, est une métrique utilisée pour évaluer la qualité des résultats de probabilité, plutôt que les résultats eux-mêmes. La perte logistique est une métrique importante pour indiquer quand un modèle fait des prédictions incorrectes avec des probabilités élevées. Les valeurs vont de 0 à l’infini. Une valeur de 0 représente un modèle qui prédit parfaitement les données.

Precision : de toutes les fois où {category x} a été prédit, la prédiction était correcte {precision} % du temps.

La précision mesure l’efficacité avec laquelle un algorithme prédit les vrais positifs (TP) parmi tous les positifs qu’il identifie. Elle est définie comme suit : Precision = TP/(TP+FP) avec des valeurs allant de zéro (0) à un (1). La précision est une métrique importante lorsque le coût d’un faux positif est élevé. Par exemple, le coût d’un faux positif est très élevé si le système de sécurité d’un avion est considéré à tort comme sûr pour le vol. Un faux positif (FP) reflète une prédiction positive qui est en fait négative dans les données.

Recall : le modèle a correctement prédit que {recall} % était {category x} alors que {target_column} était en fait {category x}.

Le rappel évalue la capacité d’un algorithme à prédire correctement tous les vrais positifs (TP) dans un jeu de données. Un vrai positif est une prédiction positive qui correspond également à une valeur positive réelle dans les données. Le rappel est défini comme suit : Recall = TP/(TP+FN) avec des valeurs allant de 0 à 1. Des scores plus élevés reflètent une meilleure capacité du modèle à prédire les vrais positifs (TP) dans les données. Notez qu’il est souvent insuffisant de mesurer uniquement le rappel, car prédire chaque sortie comme un vrai positif donnera un score de rappel parfait.

Prévision : le pourcentage de prédictions correctes.

Ou, le rapport entre le nombre d’éléments prédits correctement et le nombre total de prédictions effectuées. La précision mesure à quel point les valeurs de classe prédites sont proches des valeurs réelles. Les valeurs des métriques de précision varient entre zéro (0) et un (1). La valeur 1 indique une exactitude parfaite et 0 indique une inexactitude complète.

BalancedAccuracy — Mesure le rapport entre les prévisions précises et toutes les prévisions.

Ce rapport est calculé après avoir normalisé les vrais positifs (TP) et les vrais négatifs (TN) par le nombre total de valeurs positives (P) et négatives (N). Il est défini comme suit : 0.5*((TP/P)+(TN/N)) avec des valeurs allant de 0 à 1. La métrique d’exactitude équilibrée fournit une meilleure mesure de l’exactitude lorsque les nombres de positifs et de négatifs sont très différents dans un jeu de données déséquilibré, par exemple quand seulement 1 % des e-mails sont du courrier indésirable.

F1macro : le score F1macro applique une notation F1 en calculant la précision et le rappel, puis en prenant leur moyenne harmonique pour calculer le score F1 pour chaque classe. Enfin, F1macro moyenne les scores individuels pour obtenir le score F1macro. Les scores F1macro varient entre 0 et 1. Un score de 1 indique la meilleure performance possible, et 0 indique la pire.

InferenceLatency — Le délai approximatif entre l'envoi d'une demande de prédiction du modèle et sa réception d'un point de terminaison en temps réel sur lequel le modèle est déployé. Cette métrique est mesurée en secondes et n’est disponible que pour les modèles générés avec le mode Assemblage.

LogLoss — La perte logarithmique, également connue sous le nom de perte d'entropie croisée, est une métrique utilisée pour évaluer la qualité des résultats de probabilité, plutôt que les résultats eux-mêmes. La perte logistique est une métrique importante pour indiquer quand un modèle fait des prédictions incorrectes avec des probabilités élevées. Les valeurs vont de 0 à l’infini. Une valeur de 0 représente un modèle qui prédit parfaitement les données.

PrecisionMacro — Mesure la précision en calculant la précision pour chaque classe et en faisant la moyenne des scores pour obtenir de la précision pour plusieurs classes. Les scores sont compris entre zéro (0) et un (1). Des scores plus élevés reflètent la capacité du modèle à prédire les vrais positifs (TP) parmi tous les positifs qu’il identifie, en calculant la moyenne sur plusieurs classes.

RecallMacro — Mesure le rappel en calculant le rappel pour chaque classe et en faisant la moyenne des scores pour obtenir le rappel pour plusieurs cours. Les scores sont compris entre 0 et 1. Des scores plus élevés reflètent la capacité du modèle à prédire les vrais positifs (TP) dans un jeu de données, tandis qu’un vrai positif reflète une prédiction positive qui est également une valeur positive réelle dans les données. Il est souvent insuffisant de mesurer uniquement le rappel, car prédire chaque sortie comme un vrai positif donnera un score de rappel parfait.

Prévision : le pourcentage de prédictions correctes.

Ou, le rapport entre le nombre d’éléments prédits correctement et le nombre total de prédictions effectuées. La précision mesure à quel point les valeurs de classe prédites sont proches des valeurs réelles. Les valeurs des métriques de précision varient entre zéro (0) et un (1). La valeur 1 indique une exactitude parfaite et 0 indique une inexactitude complète.

F1 : mesure équilibrée de la précision qui prend en compte l’équilibre des classes.

Il s’agit de la moyenne harmonique des scores de précision et de rappel, définie comme suit : F1 = 2 * (precision * recall) / (precision + recall). Les scores de F1 varient entre 0 et 1. Un score de 1 indique la meilleure performance possible et 0 indique la pire.

Precision : de toutes les fois où {category x} a été prédit, la prédiction était correcte {precision} % du temps.

La précision mesure l’efficacité avec laquelle un algorithme prédit les vrais positifs (TP) parmi tous les positifs qu’il identifie. Elle est définie comme suit : Precision = TP/(TP+FP) avec des valeurs allant de zéro (0) à un (1). La précision est une métrique importante lorsque le coût d’un faux positif est élevé. Par exemple, le coût d’un faux positif est très élevé si le système de sécurité d’un avion est considéré à tort comme sûr pour le vol. Un faux positif (FP) reflète une prédiction positive qui est en fait négative dans les données.

Recall : le modèle a correctement prédit que {recall} % était {category x} alors que {target_column} était en fait {category x}.

Le rappel évalue la capacité d’un algorithme à prédire correctement tous les vrais positifs (TP) dans un jeu de données. Un vrai positif est une prédiction positive qui correspond également à une valeur positive réelle dans les données. Le rappel est défini comme suit : Recall = TP/(TP+FN) avec des valeurs allant de 0 à 1. Des scores plus élevés reflètent une meilleure capacité du modèle à prédire les vrais positifs (TP) dans les données. Notez qu’il est souvent insuffisant de mesurer uniquement le rappel, car prédire chaque sortie comme un vrai positif donnera un score de rappel parfait.

Perte de quantiles pondérées moyenne (wQL) : évalue la prédiction en faisant la moyenne de la précision des quantiles P10, P50 et P90. Une valeur faible indique un modèle plus précis.

Erreur moyenne en pourcentage absolu (WAPE) : somme de l’erreur absolue normalisée par la somme de la cible absolue, qui mesure l’écart global entre les valeurs prédites et les valeurs observées. Une valeur inférieure indique un modèle plus précis, où WAPE = 0 est un modèle sans erreur.

Racine carrée de l'erreur quadratique moyenne (RMSE) : racine carrée des erreurs quadratiques moyennes. Une valeur inférieure indique un modèle plus précis, où RMSE = 0 est un modèle sans erreur.

Erreur moyenne en pourcentage absolu (MAPE) : erreur en pourcentage (différence en pourcentage de la valeur moyenne prévue par rapport à la valeur réelle) calculée sur tous les points temporels. Une valeur inférieure indique un modèle plus précis, où MAPE = 0 est un modèle sans erreur.

Erreur moyenne à l'échelle absolue (MASE) : erreur absolue moyenne de la prédiction normalisée par l'erreur absolue moyenne d'une méthode de prédiction de référence simple. Une valeur inférieure indique un modèle plus précis, où MASE < 1 est estimé comme étant meilleur que la valeur de référence et MASE > 1 est estimé comme étant pire que la valeur de référence.