Details

Title: Автоматизация тестирования производительности и исследование алгоритмов детектирования последовательных запросов для упреждающего чтения СХД: выпускная квалификационная работа бакалавра: направление 01.03.02 «Прикладная математика и информатика» ; образовательная программа 01.03.02_02 «Системное программирование»
Creators: Петрунин Григорий Дмитриевич
Scientific adviser: Новиков Федор Александрович
Other creators: Арефьева Людмила Анатольевна; Лазарева Светлана Викторовна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт прикладной математики и механики
Imprint: Санкт-Петербург, 2021
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: raid массивы; системы хранения данных; детектирование последовательных запросов; упреждающее чтение; raid arrays; data storage systems; sequential requests detection; read ahead mechanism
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Level of education: Bachelor
Speciality code (FGOS): 01.03.02
Speciality group (FGOS): 010000 - Математика и механика
Links: Отзыв руководителя; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-3349
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: ru\spstu\vkr\13923

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Данная работа посвящена проектированию исследовательской базы для модификаций системы хранения данных RAIDIX путем выявления способов оптимизации существующего алгоритма упреждающего чтения IRA (Integral Read Ahead). Список задач, которые решались в ходе выполнения работы: 1. Изучение особенностей работы СХД и доступных бенчмарк-утилит тестирования производительности. 2. Реализации фреймворка автоматизированного тестирования для продолжительных испытаний большой сетки параметров алгоритма IRA. 3. Проведение испытаний на выделенном полигоне и анализ результатов. 4. Разработка программного обеспечения для исследований качества работы модуля детектирования последовательностей алгоритма IRA. Работа проведена с использованием ПО и документации, поставляемых компанией «RAIDIX». Разворачивание СХД и разработанных программ для испытаний производилось как на внутренних выделенных серверах (полигонах) компании, так и на полигоне компании партнера. Было проведено масштабное продолжительное тестирование различных конфигураций системы, в частности при множестве комбинаций параметров алгоритма упреждающего чтения. Результаты испытаний привели к выводу о необходимости разработки исследовательской базы (ПО) для анализа работы детектора последовательных запросов вне СХД путем использования трассировочных данных.

The given work is devoted to designing of research base for RAIDIX data storage system modification via revealing ways to optimize it’s current IRA (Integral Read Ahead) algorithm. List of goals set by the research: 1. Studying features of data storage systems processes and available storage performance benchmarks utilities. 2. Implementation of automated testing framework for long lasting tests of large parameter grid of IRA algorithm. 3. Testing and results analysis. 4. Development of software for IRA algorithm detection module accuracy researching. The work was done with use of RAIDIX software and documentation. Data storage system and developed programs were deployed on RAIDIX company and it’s partners servers. A large number of configurations among with read ahead algorithm parameters grid were tested. Results led to conclusion about the need of development of research environment for sequential requests detector with trace data without usage of storage system.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users SPbPU Read Print Download
-> Internet Anonymous

Table of Contents

  • Введение
    • RAID массивы
    • Технология упреждающего чтения
    • Понятие последовательных запросов в СХД
  • Постановка задачи
  • Разработка тестирующих компонент
    • Обзор существующих утилит бенчмарков
      • Flexible I/O tester (fio)
      • Oracle vdbench
      • Frametest
    • Особенности тестирования ПО RAIDIX
    • Реализация фреймворка автотестирования RPA
      • Архитектура приложения
      • Dataflow процесса тестирования
  • Тестирование производительности
    • Основная идея алгоритма IRA
    • Конфигурация
    • Результаты тестирования
  • Разработка исследовательской базы алгоритма
    • Предлагаемый подход к исследованию детектора последовательностей
    • Список требований к утилите
    • Реализация анализатора трейсов RTA
    • Процесс обработки трассировочных файлов
    • Рассмотренные алгоритмы детектирования
      • Групповой детектор
      • Детектор Range (IRA)
      • Детектор TRange
  • Тестирование работы детекторов
    • Испытания качества детектирования
      • Зависимости от минимальной требуемой длины seq запроса
      • Зависимости от константы округления границ запроса
      • Сравнительный анализ детекторов
    • Испытания производительности
    • Заключение

Usage statistics

stat Access count: 3
Last 30 days: 0
Detailed usage statistics