Индекс стабильности популяции (Population stability Index)

Синонимы: PSI

Разделы: Метрики

Решения: Loginom Scorecard Modeler

Индекс стабильности популяции в бизнес-аналитике является широко распространённой метрикой для мониторинга актуальности аналитических моделей. Он отражает разницу между обучающей выборкой и данными, на которых модель используется.

Индекс стабильности популяции интерпретируется следующим образом:

  • PSI менее 10% показывает отсутствие значимого изменения в текущей выборке;
  • PSI в диапазоне от 10 до 25% свидетельствует о незначительном изменении, которые необходимо исследовать;
  • PSI более 25% говорит о значительном смещении популяции и требуется перестроение модели.

Наиболее часто индекс стабильности популяции используется при мониторинге моделей в кредитном скоринге, однако он может применяться и в других приложениях, где используются модели, строящиеся «от данных». Использование таких моделей в системах поддержки принятия решений всегда сопряжено с определённым риском, который связан с неблагоприятными последствиями решений принятых из-за некорректных результатов работы модели.

Именно поэтому необходимо оценивать актуальность и репрезентативность не только обучающей выборки, но и текущей выборки, на которой модель используется, чтобы убедиться что она соответствует данным. И если соответствие нарушено, то необходимо скорректировать или заменять модель. Для этих целей и служит индекс стабильности популяции.

Период относительно которого производится оценка стабильности популяции называется базовым, а период для которого производится оценка — целевым. Для примера рассмотрим распределения обучающей (базовое) и текущей (целевое) выборок заемщиков по диапазонам скорингового балла (см. таблицу).

Score Целевое (t), % Базовое (b), % Ц - Б Ц/Б ln(Ц/Б) Индекс
0-169 7 8 -1 0,875 -0,1335 0,0013
170-179 8 10 -2 0,800 -0,2231 0,0045
180-189 7 9 -2 0,778 -0,2513 0,0050
190-199 9 13 -4 0,692 -0,3677 0,0147
200-209 11 11 0 1,000 0,0000 0,0000
210-219 11 10 1 1,100 0,0953 0,0010
220-229 10 9 1 1,111 0,1054 0,0011
230-239 12 10 2 1,200 0,1823 0,0036
240-249 11 11 0 1,000 0,0000 0,0000
250+ 14 9 5 1,556 0,4418 0,0221
PSI 0,0533

Пусть базовая популяция была получена в 2007 году, а целевая в 2017. Требуется оценить, значимо ли различие между ними по методу PSI. Индекс стабильности популяции учитывает разницу между фактическим и ожидаемым распределениями и рассчитывается следующим образом:

,

где — значение показателя целевого периода, попавшая в -й интервал, — значение показателя базового периода. Тогда для первой строки таблицы, можно вычислить: .

Индекс стабильности популяции является мерой изменения популяции за определённый период времени. Он показывает насколько «устаревает» модель, например скоринговая карта, за этот период.

results matching ""

    No results matching ""