Детальная информация

Название: Разработка и исследование методов оптимизации SQL команд на Big Data: выпускная квалификационная работа бакалавра: направление 02.03.03 «Математическое обеспечение и администрирование информационных систем» ; образовательная программа 02.03.03_01 «Информационные системы и базы данных»
Авторы: Гуляев Александр Германович
Научный руководитель: Сабинин Олег Юрьевич
Другие авторы: Пархоменко Владимир Андреевич
Организация: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Выходные сведения: Санкт-Петербург, 2021
Коллекция: Выпускные квалификационные работы; Общая коллекция
Тематика: оптимизация; SQL-запросы; Big Data; Hive; Oracle Database; Oracle Big Data Lite; optimization; SQL queries
Тип документа: Выпускная квалификационная работа бакалавра
Тип файла: PDF
Язык: Русский
Уровень высшего образования: Бакалавриат
Код специальности ФГОС: 02.03.03
Группа специальностей ФГОС: 020000 - Компьютерные и информационные науки
Ссылки: Отзыв руководителя; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-3283
Права доступа: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Ключ записи: ru\spstu\vkr\14213

Разрешенные действия:

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

В данной работе были рассмотрены сферы применения Big Data в жизни, а именно создание прогнозных моделей, оптимизация бизнес-процессов, персональная оценка, улучшение здравоохранения и общественного здоровья, улучшение науки, повышение безопасности и правопорядка, умные города и финансовая торговля. Были рассмотрены прблемы обработки Big Data: объём, разрозненность, неструктурированность данных, их скорость обработки, достоверность, изменчивость, визуализация и ценность. Рассмотрены подходы к работе с Big Data: hadoop-системы, NoSQL базы данных, реляционные СУБД, Oracle Big Data Lite. Были изучены подходы к оптимизации запросов в однородной (таких как использование индексов и синтаксиса ANSI) и гетерогенной средах (создание абстракции, использование индексов хранения). Подробно изучена реализация подхода компании Oracle. Была составлена схема базы данных, на основе которой проведено тестирование подхода. Выявлены эффективные методы оптимизации SQL-запросов, на основе которых составлена методика по эффективному использованию способа взаимодействия между NoSQL и SQL базами данных с помощью внешних таблиц. Был разработан собственный подход оптимизации SQL-запросов, была дана оценка его эффективности. Предложены шаги развития данного подхода.

In this paper, the areas of application of Big Data in life were considered, namely, the creation of predictive models, optimization of business processes, personal assessment, improvement of healthcare and public health, improvement of science, improvement of safety and law and order, smart cities and financial trade. The problems of Big Data processing were considered: volume, fragmentation, unstructured data, their processing speed, reliability, variability, visualization and value. The approaches to working with Big Data are considered: hadoop-systems, NoSQL databases, relational DBMS, Oracle Big Data Lite. Approaches to optimizing queries in homogeneous (such as using indexes and ANSI syntax) and heterogeneous environments (creating abstractions, using storage indices) were studied. The implementation of the approach of the Oracle company has been studied in detail. A database schema was drawn up and used to test the approach. The effective methods of optimizing SQL queries are revealed, on the basis of which a methodology for the effective use of the method of interaction between NoSQL and SQL databases using external tables has been compiled. A proprietary approach to optimizing SQL queries was developed, and its effectiveness was assessed. Steps for the development of this approach are proposed.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать Печать Загрузить
Интернет Авторизованные пользователи СПбПУ Прочитать Печать Загрузить
-> Интернет Анонимные пользователи

Оглавление

Статистика использования

stat Количество обращений: 23
За последние 30 дней: 1
Подробная статистика