Коэффициент силуэта кластера (Cluster silhouette index)

Синонимы: Индекс силуэта, Коэффициент силуэта, Silhouette index, Silhouette coefficient

Разделы: Метрики

Коэффициент силуэта в кластеризации — это величина, которая позволяет оценить степень соответствия построенной кластерной структуры обучающим данным, т.е. оценить качество кластеризации. Иными словами, коэффициент силуэта показывает, насколько каждый объект «похож» на другие объекты в том кластере, в который он был распределён в процессе кластеризации, и «не похож» на объекты из других кластеров. Метод был предложен бельгийским статистиком Питером Руссо в 1987 году.

В основе идеи метода лежит вычисление коэффициентов, которые присваиваются каждому объекту в кластере и образуют так называемый силуэт кластера. Коэффициенты изменяются от -1 до 1. Значения, близкие к 1, указывают на то, что объект является похожим на другие объекты в кластере и не похожим на объекты из других кластеров. Если большинство объектов имеют значения коэффициентов близкими к 1, можно утверждать, что кластерная структура хорошо выражена, и количество кластеров соответствует естественной группировке данных.

Напротив, если в силуэте кластера много низких и отрицательных значений, это говорит о том, что кластерная структура плохо соответствует естественным группам данных, т.е. кластеров слишком много или слишком мало.

Предположим, что набор данных кластеризован с помощью некоторого алгоритма (например, k-средних) на $N$ кластеров. Тогда для каждого $i$-го наблюдения из кластера $C_I$ можно вычислить среднее расстояние между $i$-м и остальными объектами кластера:

$a_i=\frac{1}{\left|C_I\right|-1}\sum _{j\in C_I,i\ne j}d(i,j)$,

где $\left|C_I\right|$ — мощность $I$-го кластера (т.е. число попавших в него объектов), $d(i,j)$ — расстояние между объектами $i$ и $j$ кластера $I$. Усреднение производится по $\left|C_I\right|-1$ объектам, поскольку расстояние $d(i,i)$ учитывать смысла нет.

Можно интерпретировать $a_i$ как меру того, с какой степенью уверенности объект $i$ может быть отнесён к кластеру, т.е. насколько он «похож» на остальные объекты этого же кластера.

Затем определяется среднее расстояние от объекта $i$ кластера $C_I$ до объектов некоторого другого кластера $C_J$ ($C_J\ne C_I$).

Для каждого наблюдения $i$ из $C_I$ можно определить:

$b_i=\underset{I\ne J}{min}\frac{1}{\left|C_J\right|}\sum _{j\in C_J}^{}d(i,j)$,

где $j\in C\left\{J\right\}$ — объект, содержащийся в любом кластере $C\left\{J\right\}$, отличном от $C\left\{I\right\}$.

Это будет наименьшим средним расстоянием от $i$ до всех точек в любом другом кластере, который не содержит $i$. Кластер с наименьшим $b_i$ называют соседним для $i$ поскольку он является следующим предпочтительным кластером для этого объекта.

Теперь определим значение коэффициента силуэта $s_i$ для отдельного объекта $i$:

$s_i=\frac{b_i-a_i}{max(a_i,b_i)}$,

при условии, что $\left|C_I\right|>1$.

В то же время $s_i=0$, если $\left|C_I\right|=1$.

По определению $-1\le s_i\le 1$. Однако существует неопределённость для кластеров, содержащих единственный объект. Хотя это выбор формальный, но тем не менее укладывается в исходные условия, поскольку 0 находится внутри диапазона изменения коэффициента силуэта.

Для того, чтобы $s_i$ было близким к 1, требуется, чтобы $a_i<<b_i$. Поскольку $a_i$ является мерой «непохожести» объекта $i$ внутри собственного кластера, его малое значение указывает на хорошее соответствие объекта кластеру. В то же время, большое значение $b_i$ говорит о том, что объект $i$ плохо соответствует соседним кластерам.

Таким образом, $s_i$ близкое к 1 означает, что данные кластеризованы хорошо, т.е. объекты «похожи» друг на друга внутри кластеров, и не похожи на объекты соседних кластеров (в среднем, внутрикластерные расстояния меньше междукластерных).

Если $s_i$ близок к -1, то в соответствии с той же логикой, можно предположить, что объект $i$ более подходит к соседним кластерам, чем к тому, в который он был распределён при кластеризации. Значение $s_i$ близкое к 0 говорит о том, что объект расположен вблизи границы кластеров и высокой уверенности в его принадлежности нет.

Вычислив $s_i$ для всех наблюдений в кластере, можно увидеть насколько плотно они сгруппированы вокруг его центра. А рассчитав среднее значение $s_i$ по всем кластерам, можно сделать вывод, о том, насколько сформированная кластерная структура соответствует естественной группировке данных.

Если кластеров больше или меньше, чем естественных групп данных, то силуэты некоторых кластеров будут значительно «уже», чем остальных. Для более наглядного представления этого используют специальные визуализаторы — кластерные силуэты, которые позволяют оперативно оценивать качество кластеризации и интерпретировать кластерную структуру.

Узнать подробнее о задаче кластеризации в машинном обучении, алгоритме k-means и его ограничениях, познакомиться с методом локтя для выбора числа кластеров, кластерными силуэтами и индексом силуэта можно в рамках воркшопа «K-means и кластерные силуэты».