Details

Title: Система мониторинга и расчета метрик эксплуатации ресурсов центров обработки данных: выпускная квалификационная работа магистра: направление 09.04.04 «Программная инженерия» ; образовательная программа 09.04.04_01 «Технология разработки и сопровождения качественного программного продукта»
Creators: Мамадалиев Шерзод Рустам Угли
Scientific adviser: Никифоров Игорь Валерьевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2023
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: мониторинг; система мониторинга; метрики; оптимизация работы центра обработки данных; monitoring; monitoring system; metric; optimization of datacenter operations
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Level of education: Master
Speciality code (FGOS): 09.04.04
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
DOI: 10.18720/SPBPU/3/2023/vr/vr23-3940
Rights: Доступ по паролю из сети Интернет (чтение)
Record key: ru\spstu\vkr\25070

Allowed Actions:

Action 'Read' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Магистерская выпускная работа посвящена повышению производительности центра обработки данных (ЦОД) путем мониторинга метрик оценки эффективности эксплуатации ресурсов. В работе были выбраны инструменты для сбора, обработки и расчета метрик на основе проведенного анализа научных публикаций экспертов предметной области, определены основные метрики для оценки эффективности использования ресурсов ЦОД, проведена оценка полученных результатов. В работе предложены методы повышения производительности ЦОД, включая использование метрик оценки эффективности, автоматизацию процессов сбора и анализа показателей и повышение производительности расчета метрик с помощью парадигмы Map Reduce и кэширование промежуточных результатов. Также предложено использование индекса B-Tree в реляционной базе данных для оптимизации доступа к рассчитанным метрикам. Предложенные методы были реализованы в программном средстве, которое позволяет отслеживать ключевые метрики и принимать решения по улучшению инфраструктуры и оптимизацию затрат на ресурсы ЦОД. Результаты реализации прототипа и тестирования продемонстрировали эффективность предложенных методов.

The masters thesis is dedicated to improving the performance of a data center by monitoring resource utilization metrics. The study analyzed scientific publications based on data from open sources of the data center. Metrics were used to determine the consumption of key resources such as CPU, RAM, and power consumption, and results were compared. Based on this, tools were selected for collecting, processing, and calculating metrics. The study proposes methods for improving data center performance, including the use of resource utilization metrics, process automation, and improved computing performance through the Map Reduce paradigm, caching intermediate results with Redis. The study also proposes using B-Tree index in the PostgreSQL relational database to optimize access to calculated metrics. The proposed methods were implemented in software that allows tracking key metrics and making decisions to improve infrastructure and optimize data center resource costs. The results of the prototype implementation and testing demonstrated the effectiveness of the proposed methods, which was confirmed by comparing metric- based indicators with original resource indicators.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read
Internet Authorized users SPbPU Read
-> Internet Anonymous

Table of Contents

  • Перечень рисунков
  • Перечень таблиц
  • Обозначения и сокращения
  • Введение
  • ГЛАВА 1. ИССЛЕДОВАНИЕ
    • 1.1. Центры обработки данных
      • 1.1.1. Архитектура центра обработки данных
      • 1.1.2. Обзор и анализ научных исследований предметной области
      • 1.1.3. Проблемы центров обработки данных
    • 1.2. Метрики центра обработки данных
      • 1.2.1. Особенности метрик мониторинга
      • 1.2.2. Исследование метрик мониторинга центров обработки данных
      • 1.2.3. Анализ алгоритмов метрик эксплуатации ресурсов центра обработки данных
    • 1.3. Системы мониторинга
      • 1.3.1. Архитектура системы мониторинга
      • 1.3.2. Обзор систем мониторинга центров обработки данных
      • 1.3.3. Анализ технологий разработки систем мониторинга
    • 1.4. Выводы
  • ГЛАВА 2. ПРЕДЛАГАЕМЫЕ МЕТОДЫ
    • 2.1. Особенности предложенных методов
      • 2.1.1. Метод оптимизации производительности вычисления метрик с помощью Map Reduce
      • 2.1.2. Метод оптимизации производительности вычисления метрик с помощью кэширование промежуточных результатов
      • 2.1.3. Индексы реляционной базы данных как метод оптимизации доступа к метрикам
    • 2.2. Требования к системе мониторинга
      • 2.2.1. Общие требования к системе
      • 2.2.2. Требования к серверной части
      • 2.2.3. Требования к пользовательскому интерфейсу
    • 2.3. Выводы
  • ГЛАВА 3. РЕАЛИЗАЦИЯ В ПРОГРАММНОМ СРЕДСТВЕ
    • 3.2. Проектирование архитектуры системы мониторинга
      • 32.1. Общая концепция и архитектура системы
      • 3.2.2. Продвинутая архитектура системы
      • 3.2.3. Выбор модели проектирования
    • 3.3. Технический дизайн системы
      • 3.3.1. Проектирование базы данных
      • 3.3.2. Структура проекта и диаграмм классов
      • 3.3.3. Проектирование макета пользовательского интерфейса
    • 2.4. Выводы
  • ГЛАВА 4. РЕЗУЛЬТАТЫ
    • 3.1. Общие результаты работы
      • 3.1.1. Результаты исследования
      • 3.1.2. Результаты проектирования системы
      • 3.1.3. Результаты реализации и тестирования системы
    • 3.2. Оценка эффективности и перспективы развития
      • 3.2.1. Технические характеристики системы
      • 3.2.2. Оценка эффективности разработанной системы
      • 3.2.3. Ограничения и предложения по улучшению
    • 3.3. Выводы
  • Заключение
  • Список литературы
  • Приложения
    • Приложение 1. Сравнительный анализ научных публикаций, основанных на анализе наборов данных ЦОД из открытых источников
    • Приложение 2. Сравнительный анализ систем мониторинга
    • Приложение 3. Сравнительный анализ технологий сбора показателей
    • Приложение 4. Сравнительный анализ технологий для визуализации
    • Приложение 5. Обзор метрик эксплуатации ресурсов ЦОД

Usage statistics

stat Access count: 10
Last 30 days: 5
Detailed usage statistics