В данной работе произведена оценка скорости обработки больших объемов измерительных данных, конкретно оценка скорости вычисления оценки дисперсии. Система обработки построена на базе Hortonworks Data Platform и Apache Spark, код написан на Python. Проведен анализ систем для распределенных вычислений и рассмотрены их общие положения. Описана математическая модель для вычисления оценки дисперсии для выборки данных. Разработана программная реализация данной модели.

In the given work the estimate of the processing speed of large volumes of measurement data is made. The processing system is based on Hortonworks Data Platform and Apache Spark, the code is written on Python. The analysis of systems for distributed computing is performed and their general theses are reviewed. A mathematical model for calculating the sample variance is described. A software implementation of this model is developed.