Резидентные вычисления (In-Memory Computing)

Синонимы: Обработка в памяти, Вычисления в памяти, In-Memory Processing, In-Memory Computation

Резидентные вычисления это технология обработки данных, которая предполагает, что данные хранятся не в реляционных или многомерных структурах на медленно работающих дисковых накопителях, а в оперативной памяти выделенных серверов. Эта технология способствует преодолению одного из наиболее узких мест аналитической обработки данных — временных и энергетических затрат на пересылку данных между дисковыми накопителями, процессором и оперативной памятью.

Бизнес-аналитика является одной из основных областей применения резидентных вычислений, которые позволяют существенно повысить скорость обработки больших массивов данных и получать необходимые аналитические решения практически в реальном масштабе времени.

Росту популярности технологии резидентных вычислений способствует снижение цен на оперативную память, поэтому данная технология стала выгодной для широкого спектра приложений. Количество компаний, которые используют вычисления в оперативной памяти, растет почти на треть каждый год. Более того, некоторые авторы уже начали разделять бизнес-аналитику на дисковую и резидентную.

Одной из основных возможностей, открываемых технологией резидентных вычислений в бизнес-аналитике, является унификация транзакционной (OLTP) и аналитической (OLAP) обработки данных в реальном времени. Результатом стало появление технологии гибридной транзакционно-аналитической обработки (HTAP) — архитектуры приложений, которая «ломает стену» между обработкой транзакций и аналитикой. Это позволяет принимать более обоснованные решения в режиме реального времени.

В отличие от традиционной вычислительной парадигмы перемещения данных в отдельное хранилище данных, их обработки и последующего сохранения обратно, при резидентных вычислениях памяти все данные можно поместить в оперативную память и распределить по горизонтально масштабируемой архитектуре. Это достигается с малой задержкой, поскольку дисковый ввод-вывод устраняется.

Таким образом, концепция резидентных вычислений поддерживает новую унифицированную парадигму бизнес-аналитики: вместо того, чтобы отделять транзакционные базы данных от аналитических, что приводит к дисковому вводу-выводу, работа с хранилищами данных в памяти позволяет легко устранять узкие места и обрабатывать смешанные рабочие нагрузки (транзакционные и аналитические) в рамках одной архитектуры.