Модель MapReduce (MapReduce model)

MapReduce - это программная модель и комплекс связанных с ней процедур генерирования и обработки больших массивов данных с помощью распределённых вычислений на большом числе узлов. Модель представлена компанией Google, которая до 2014 года использовала MapReduce в качестве основной модели обработки больших данных.

Работа программы, основанной на модели MapReduce, состоит из двух шагов:

  • map (отображение) - выполняется предварительная обработка данных на компьютере, называемом главным узлом (master-node), где они фильтруются, сортируются, разделяются на части и распределяются по рабочим узлам;
  • reduce (сокращение) - главный узел получает от рабочих узлов обработанные данные и формирует из них результат, т.е. решение поставленной задачи.

Программы, использующие MapReduce, автоматически распараллеливаются и исполняются на кластере, состоящем из множества связанных между собой вычислительных узлов. Исполнительная система разделяет входные данные на части, планирует исполнение программы на наборе узлов, обрабатывает сбои и управляет необходимыми коммуникациями между узлами.

Модель MapReduce применима в широкой области задач, включая распределённый поиск и сортировку данных, обработку статистики логов сети, кластеризацию документов, машинное обучение и машинный перевод.

results matching ""

    No results matching ""