Трансформация данных (Data Transformation)

Синонимы: Преобразование данных

Разделы: Бизнес-задачи

Трансформация данных заключается в оптимизации их представлений и форматов с точки зрения решаемых задач и целей анализа. Трансформация не ставит целью изменить информационное содержание данных. Ее задача — представить эту информацию в таком виде, чтобы она могла быть использована наиболее эффективно.

Вообще, трансформация данных — очень широкое понятие, не имеющее четко очерченных границ. В различных направлениях обработки данных этот термин иногда распространяют на любые манипуляции с данными, независимо от их целей и методов.

Однако в контексте анализа данных трансформация данных имеет вполне конкретные цели и задачи, а также использует достаточно стабильный набор методов. К основным из них относятся нормализация, преобразование типов и форматов, сортировка, группировка, слияние и др.

На каждом этапе аналитического процесса имеются свои приоритетные цели трансформации, например, в системах оперативной обработки (OLTP) это обеспечение поддержки корректности форматов и типов данных, оптимизация процессов доступа и выгрузки данных.

На этапе ETL-процесса трансформация производится с целью приведения данных в соответствие с моделью, которая используется в хранилище, а также обеспечения процесса консолидации данных и их загрузки в хранилище.

И наконец, в аналитическом приложении производится непосредственная подготовка данных к анализу, объединение и выделение наиболее ценной информации, обеспечение корректной работы аналитических алгоритмов, методов и моделей.

Трансформация данных является одним из важнейших процессов в анализе. От того, насколько грамотно она будет проведена, зависит эффективность анализа, достоверность и точность его результатов.

В Loginom существует ряд обработчиков, отвечающих за трансформацию данных. Оценить все возможности преобразования можно в бесплатной некоммерческой редакции Loginom Community Edition.