Фильтр (Filter) Скачать в PDF

Loginom: Сглаживание (обработчик), Фильтр строк (обработчик)

В широком смысле фильтр — это механизм, который из исходного объекта выделяет некоторую часть с заданными свойствами. Фильтры являются мощным инструментом анализа данных, поэтому входят в состав большинства аналитических платформ и приложений.

С точки зрения анализа данных можно выделить несколько видов фильтров:

  • фильтр строк;
  • сглаживающий фильтр;
  • экстраполирующий фильтр.

Фильтр строк

Фильтр строк — алгоритм, выделяющий из таблицы подмножество строк в соответствии с заданными критериями. Этот алгоритм оставляет в наборе данных только строки, удовлетворяющие условию фильтрации. Условие фильтрации настраивается на значения некоторого столбца (или нескольких столбцов), например:

  • содержит (не содержит) — отобрать все записи, которые содержат (не содержат) заданное значение;
  • больше (меньше) — отобрать все записи, для которых в соответствующем столбце значение признака больше (меньше) заданного;
  • равно (не равно) — отобрать все записи, для которых в соответствующем столбце значение признака равно (не равно) заданному.

Возможно использование сложных фильтров, содержащих несколько условий, связанных логическими операциями «И», «ИЛИ», «НЕ», и использующих для отбора несколько значений из разных столбцов.

Сглаживающий фильтр

Сглаживающий фильтр позволяет подавлять в данных шумы и быстрые изменения во временных рядах, обусловленные воздействием случайных факторов. Наибольшее распространение получили частотные фильтры, использующие аппарат спектрального анализа. Для их работы ряд данных трансформируется помощью преобразования Фурье в частотный спектр, из которого затем с помощью фильтра исключаются компоненты, порожденные нежелательными составляющими данных.

Например, фильтр высоких частот позволяет подавлять шумы и выбросы в данных, поскольку именно эти элементы порождают высокочастотные составляющие спектра. Фильтры нижних частот, напротив, позволяют исключить из временного ряда медленные колебания, обусловленные сезонностью.

Экстраполирующий фильтр

Экстраполирующий фильтр позволяет внутри некоторого интервала выделить значения, которые могут использоваться вне интервала в качестве прогнозных. Таким образом, экстраполирующие фильтры позволяют решать задачи прогнозирования.