Детальная информация

Название: Автоматизация тестирования производительности и исследование алгоритмов детектирования последовательных запросов для упреждающего чтения СХД: выпускная квалификационная работа бакалавра: направление 01.03.02 «Прикладная математика и информатика» ; образовательная программа 01.03.02_02 «Системное программирование»
Авторы: Петрунин Григорий Дмитриевич
Научный руководитель: Новиков Федор Александрович
Другие авторы: Арефьева Людмила Анатольевна; Лазарева Светлана Викторовна
Организация: Санкт-Петербургский политехнический университет Петра Великого. Институт прикладной математики и механики
Выходные сведения: Санкт-Петербург, 2021
Коллекция: Выпускные квалификационные работы; Общая коллекция
Тематика: raid массивы; системы хранения данных; детектирование последовательных запросов; упреждающее чтение; raid arrays; data storage systems; sequential requests detection; read ahead mechanism
Тип документа: Выпускная квалификационная работа бакалавра
Тип файла: PDF
Язык: Русский
Уровень высшего образования: Бакалавриат
Код специальности ФГОС: 01.03.02
Группа специальностей ФГОС: 010000 - Математика и механика
Ссылки: Отзыв руководителя; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-3349
Права доступа: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Ключ записи: ru\spstu\vkr\13923

Разрешенные действия:

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

Данная работа посвящена проектированию исследовательской базы для модификаций системы хранения данных RAIDIX путем выявления способов оптимизации существующего алгоритма упреждающего чтения IRA (Integral Read Ahead). Список задач, которые решались в ходе выполнения работы: 1. Изучение особенностей работы СХД и доступных бенчмарк-утилит тестирования производительности. 2. Реализации фреймворка автоматизированного тестирования для продолжительных испытаний большой сетки параметров алгоритма IRA. 3. Проведение испытаний на выделенном полигоне и анализ результатов. 4. Разработка программного обеспечения для исследований качества работы модуля детектирования последовательностей алгоритма IRA. Работа проведена с использованием ПО и документации, поставляемых компанией «RAIDIX». Разворачивание СХД и разработанных программ для испытаний производилось как на внутренних выделенных серверах (полигонах) компании, так и на полигоне компании партнера. Было проведено масштабное продолжительное тестирование различных конфигураций системы, в частности при множестве комбинаций параметров алгоритма упреждающего чтения. Результаты испытаний привели к выводу о необходимости разработки исследовательской базы (ПО) для анализа работы детектора последовательных запросов вне СХД путем использования трассировочных данных.

The given work is devoted to designing of research base for RAIDIX data storage system modification via revealing ways to optimize it’s current IRA (Integral Read Ahead) algorithm. List of goals set by the research: 1. Studying features of data storage systems processes and available storage performance benchmarks utilities. 2. Implementation of automated testing framework for long lasting tests of large parameter grid of IRA algorithm. 3. Testing and results analysis. 4. Development of software for IRA algorithm detection module accuracy researching. The work was done with use of RAIDIX software and documentation. Data storage system and developed programs were deployed on RAIDIX company and it’s partners servers. A large number of configurations among with read ahead algorithm parameters grid were tested. Results led to conclusion about the need of development of research environment for sequential requests detector with trace data without usage of storage system.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать Печать Загрузить
Интернет Авторизованные пользователи СПбПУ Прочитать Печать Загрузить
-> Интернет Анонимные пользователи

Оглавление

  • Введение
    • RAID массивы
    • Технология упреждающего чтения
    • Понятие последовательных запросов в СХД
  • Постановка задачи
  • Разработка тестирующих компонент
    • Обзор существующих утилит бенчмарков
      • Flexible I/O tester (fio)
      • Oracle vdbench
      • Frametest
    • Особенности тестирования ПО RAIDIX
    • Реализация фреймворка автотестирования RPA
      • Архитектура приложения
      • Dataflow процесса тестирования
  • Тестирование производительности
    • Основная идея алгоритма IRA
    • Конфигурация
    • Результаты тестирования
  • Разработка исследовательской базы алгоритма
    • Предлагаемый подход к исследованию детектора последовательностей
    • Список требований к утилите
    • Реализация анализатора трейсов RTA
    • Процесс обработки трассировочных файлов
    • Рассмотренные алгоритмы детектирования
      • Групповой детектор
      • Детектор Range (IRA)
      • Детектор TRange
  • Тестирование работы детекторов
    • Испытания качества детектирования
      • Зависимости от минимальной требуемой длины seq запроса
      • Зависимости от константы округления границ запроса
      • Сравнительный анализ детекторов
    • Испытания производительности
    • Заключение

Статистика использования

stat Количество обращений: 3
За последние 30 дней: 0
Подробная статистика