Средняя относительная ошибка (Mean Relational Error)

Синонимы: Средняя относительная ошибка в процентах, Mean Relational Percentage Error, MRPE, Mean absolute percent error, MAPE, MRE

Разделы: Метрики

Часто при оценке точности модели в анализе данных возникает вопрос: насколько величина ошибки обучения модели критична относительно масштаба моделируемого бизнес-процесса (скажем, относительно значений прогнозируемого ряда). Действительно, если при прогнозировании продаж модель показывает ошибку 10 единиц при продажах около 1000 единиц за прогнозируемый период — это хорошая точность. Если же продажи составляют около 100 единиц, то ошибка 10 единиц может привести к существенным просчётам при принятии бизнес-решений.

Поэтому наряду с обычной средней абсолютной ошибкой часто используют среднюю относительную ошибку, обычно выражаемую в процентах (MRPE — Mean Relation Percentage Error), которая вычисляется по формуле:

$MRPE=\frac{1}{N}\sum _{i=1}^N\frac{|y_i-{\hat{y}}_i|}{y_i}\cdot 100$,

где $N$ — число наблюдений набора данных, $y_i$ — фактическое значение независимой переменной для $i$-го наблюдения, ${\hat{y}}_i$ — значение, предсказанное моделью для $i$-го наблюдения.

Некоторые авторы рассматривают относительную ошибку как абсолютную, выраженную в процентах от целевого значения и упоминают её как MAPE (mean absolute percentage error) — средняя абсолютная процентная ошибка.

Ошибку MAPE удобно использовать для сравнения одной модели для разных рядов или разных моделей для одного ряда.