Details

Title: Алгоритмы оптимизации использования основных ресурсов вычислительной системы (памяти и процессорного времени) на основе орграфа вычислительного процесса: выпускная квалификационная работа бакалавра: направление 01.03.02 «Прикладная математика и информатика» ; образовательная программа 01.03.02_02 «Системное программирование»
Creators: Василевский Елисей
Scientific adviser: Иванков Алексей Александрович
Other creators: Арефьева Людмила Анатольевна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт прикладной математики и механики
Imprint: Санкт-Петербург, 2021
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: кэширование данных; предварительная выборка данных; орграф вычислительного эксперимента; data caching; data prefetching; digraph of computional experiment
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Level of education: Bachelor
Speciality code (FGOS): 01.03.02
Speciality group (FGOS): 010000 - Математика и механика
Links: Отзыв руководителя; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-1826
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: ru\spstu\vkr\13784

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Данная работа посвящена исследованию и разработке программного обеспечения (ПО), решающего проблему эффективного хранения и организации доступа к данным большого объема, порождаемым в ходе вычислительного эксперимента (ВЭ). Задачи, которые решались в ходе исследования: 1. Анализ наиболее популярных методов организации эффективного хранения данных в кэше. 2. Разработка структур данных и алгоритмов построения орграфа ВЭ на основе деревьев разбора конфигурационных файлов ВЭ. 3. Разработка структур данных и алгоритмов построения орграфа запросов к репозиторию (орграф ЗР) данных ВЭ на основе орграфа ВЭ. 4. Разработка политики размещения данных в репозитории данных ВЭ на основе орграфа ЗР. Спроектирован и реализован модуль синтаксического, грамматического, и семантического анализа конфигурационных файлов ВЭ. Результаты этого анализа были использованы в качестве входных данных при проектировании и реализации модуля построения орграфа ВЭ. На основе полученного орграфа ВЭ был построен орграф ЗР. Последний был использован при проектировании и реализации новой политики размещения данных в репозитории.

The given work is devoted to research and development of the software solving the problem of effective management of Big Data, produced in the context of a computational experiment. The main goals: 1. Analysis of the most common methods of data caching. 2. Development of the data structure and algorithm for building the digraph of the computational process based on parse trees of the configuration files. 3. Development of the data structure and algorithm for building the digraph of the requests to repository based on the digraph of the computational process. 4. Development of the сache placement policies based on the digraph of the requests to repository. The main accomplishments: the module for syntax and semantics analysis of the configuration files of the computational process; the module for building the digraph of the computational process. This digraph was used for building the digraph of the requests for access to the data stored in repository. Cache placement policies were designed and developed based on the digraph of the requests.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
External organizations N2 All Read
External organizations N1 All
Internet Authorized users SPbPU Read Print Download
Internet Authorized users (not from SPbPU, N2) Read
Internet Authorized users (not from SPbPU, N1)
-> Internet Anonymous

Table of Contents

  • Введение
  • Глава 1. Литературный обзор
    • 1.1. Предметная область исследования
    • 1.2. Парадигма потоко-ориентированного программирования (Flow-based Programming)
    • 1.3. Политики вытеснения
    • 1.4. Методы построения предварительной выборки
      • 1.4.1. Предварительная выборка в песочницу (Sandbox Prefetching)
      • 1.4.2. Access Map Pattern Matching
      • 1.4.3. Таблично-ориентированные методы
      • 1.4.4. GHB prefetching
    • 1.5. Трассировка кэша
  • ГЛАВА 2. Постановка задачи и ход исследования
    • 2.1. Постановка задачи
    • 2.2 Проектирование структуры данных и алгоритма построения орграфа вычислительного эксперимента
    • 2.3 Проектирование структуры данных и алгоритма построения орграфа запросов к репозиторию
    • 2.4 Разработка алгоритма размещения наборов данных
  • Глава 3. РЕЗУЛЬТАТЫ и их обсуждение
    • 3.1. Результаты работы над построением орграфа вычислительного эксперимента
    • 3.2. Результаты работы над построением орграфа запросов к репозиторию
    • 3.3. Сравнение предложенной политики размещения с уже имеющимися реализациями
  • Заключение
  • Список использованных источников
  • Приложение 1
  • Приложение 2

Usage statistics

stat Access count: 4
Last 30 days: 0
Detailed usage statistics