Сравнение эффективности платформ распределенных вычислений Hadoop и Apache Spark на примере алгоритма перемножения матриц

Опубликовано в выпуске: 1/2019 (23) , 02.04.2019
В статье рассматривается проблема обработки больших данных. Приводятся краткие характеристики платформ распределенной обработки данных с открытым исходным кодом Hadoop и Apache Spark. Рассматривается map-reduce алгоритм перемножения матриц. Описывается эксперимент для сравнения временных затрат алгоритма, реализованного на платформе Hadoop с применением Hadoop-MapReduce и на платформе Apache Spark при различном объеме входных данных. Приводятся результаты эксперимента.

Новости

Полезные ресурсы