Сравнение эффективности платформ распределенных вычислений Hadoop и Apache Spark на примере алгоритма перемножения матриц
Опубликовано в выпуске:
1/2019 (23)
, 02.04.2019
Рубрика: Информационные технологии
В статье рассматривается проблема обработки больших данных. Приводятся краткие характеристики платформ распределенной обработки данных с открытым исходным кодом Hadoop и Apache Spark. Рассматривается map-reduce алгоритм перемножения матриц. Описывается эксперимент для сравнения временных затрат алгоритма, реализованного на платформе Hadoop с применением Hadoop-MapReduce и на платформе Apache Spark при различном объеме входных данных. Приводятся результаты эксперимента.