Площадь под ROC-кривой (Area Under The ROC Curve)

Синонимы: AUC, Область под ROC-кривой

Разделы: Метрики

Loginom: Качество бинарной классификации (визуализатор)

Площадь под ROC-кривой — часть координатной плоскости под графиком ROC-кривой. В математической статистике и машинном обучении является мерой качества модели бинарной классификации (логистической регрессии, машины опорных векторов, линейного дискриминантного анализа и т.д.).

ROC-кривая — графический инструмент оценки точности моделей бинарной классификации. Она позволяет найти оптимальный баланс между чувствительностью и специфичностью модели, который соответствует точке ROC-кривой наиболее близкой к координате (0,1), в которой чувствительность и специфичность равны 1, когда ложно-положительные и ложно-отрицательные классификации отсутствуют.

В случае идеальной модели график ROC-кривой проходит через точку (0,1) и площадь под ним максимальна и равна 1. По мере снижения точности модели (т.е. росте числа ложно-положительных и ложно-отрицательных классификаций) кривизна ROC-кривой уменьшается, при этом уменьшается и AUC.

можно интерпретировать, как вероятность 70%, что модели удастся разделить классы. Как только ROC-кривая выродится в прямую линию, когда , соответствующая модель станет бесполезной в том смысле, что она будет работать не лучше классификатора, который присваивает классы случайным образом (путём простого угадывания). Дальнейшему уменьшению параметра AUC будут соответствовать классификаторы, работающие хуже случайного, кода вероятность неправильной классификации выше, чем вероятность правильной.

ROC-кривая

Когда , такой классификатор всегда распознаёт положительный пример как отрицательный, т.е. вероятность ошибки составляет 100%. На практике, в зависимости от значения AUC эффективность модели классифицируется следующим образом:

  • — модель работает превосходно;
  • — модель работает хорошо;
  • — модель работает удовлетворительно;
  • — модель не работает.

results matching ""

    No results matching ""