Индекс стабильности популяции (Population stability Index)

Синонимы: PSI

Разделы: Метрики

Решения: Loginom Scorecard Modeler

Индекс стабильности популяции в бизнес-аналитике является широко распространённой метрикой для мониторинга актуальности аналитических моделей. Он отражает разницу между обучающей выборкой и данными, на которых модель используется.

Индекс стабильности популяции интерпретируется следующим образом:

  • PSI менее 10% показывает отсутствие значимого изменения в текущей выборке;
  • PSI в диапазоне от 10 до 25% свидетельствует о незначительном изменении, которые необходимо исследовать;
  • PSI более 25% говорит о значительном смещении популяции и требуется перестроение модели.

Наиболее часто индекс стабильности популяции используется при мониторинге моделей в кредитном скоринге, однако он может применяться и в других приложениях, где используются модели, строящиеся «от данных». Использование таких моделей в системах поддержки принятия решений всегда сопряжено с определённым риском, который связан с неблагоприятными последствиями решений принятых из-за некорректных результатов работы модели.

Именно поэтому необходимо оценивать актуальность и репрезентативность не только обучающей выборки, но и текущей выборки, на которой модель используется, чтобы убедиться что она соответствует данным. И если соответствие нарушено, то необходимо скорректировать или заменять модель. Для этих целей и служит индекс стабильности популяции.

Период относительно которого производится оценка стабильности популяции называется базовым, а период для которого производится оценка — целевым. Для примера рассмотрим распределения обучающей (базовое) и текущей (целевое) выборок заемщиков по диапазонам скорингового балла (см. таблицу).

Score Целевое (t), % Базовое (b), % Ц-Б Ц/Б ln(Ц/Б) Индекс
0-169 7 8 -1 0,875 -0,1335 0,0013
170-179 8 10 -2 0,800 -0,2231 0,0045
180-189 7 9 -2 0,778 -0,2513 0,0050
190-199 9 13 -4 0,692 -0,3677 0,0147
200-209 11 11 0 1,000 0,0000 0,0000
210-219 11 10 1 1,100 0,0953 0,0010
220-229 10 9 1 1,111 0,1054 0,0011
230-239 12 10 2 1,200 0,1823 0,0036
240-249 11 11 0 1,000 0,0000 0,0000
250+ 14 9 5 1,556 0,4418 0,0221
PSI 0,0533

Пусть базовая популяция была получена в 2007 году, а целевая в 2017. Требуется оценить, значимо ли различие между ними по методу PSI. Индекс стабильности популяции учитывает разницу между фактическим и ожидаемым распределениями и рассчитывается следующим образом:

,

где — значение показателя целевого периода, попавшая в -й интервал, — значение показателя базового периода. Тогда для первой строки таблицы, можно вычислить: .

Индекс стабильности популяции является мерой изменения популяции за определённый период времени. Он показывает насколько «устаревает» модель, например скоринговая карта, за этот период.

Результаты поиска по запросу «» ()

    Нет результатов поиска по запросу ""