Details

Title: Разработка и исследование методов оптимизации SQL команд на Big Data: выпускная квалификационная работа бакалавра: направление 02.03.03 «Математическое обеспечение и администрирование информационных систем» ; образовательная программа 02.03.03_01 «Информационные системы и базы данных»
Creators: Гуляев Александр Германович
Scientific adviser: Сабинин Олег Юрьевич
Other creators: Пархоменко Владимир Андреевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2021
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: оптимизация; SQL-запросы; Big Data; Hive; Oracle Database; Oracle Big Data Lite; optimization; SQL queries
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Level of education: Bachelor
Speciality code (FGOS): 02.03.03
Speciality group (FGOS): 020000 - Компьютерные и информационные науки
Links: Отзыв руководителя; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-3283
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: ru\spstu\vkr\14213

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

В данной работе были рассмотрены сферы применения Big Data в жизни, а именно создание прогнозных моделей, оптимизация бизнес-процессов, персональная оценка, улучшение здравоохранения и общественного здоровья, улучшение науки, повышение безопасности и правопорядка, умные города и финансовая торговля. Были рассмотрены прблемы обработки Big Data: объём, разрозненность, неструктурированность данных, их скорость обработки, достоверность, изменчивость, визуализация и ценность. Рассмотрены подходы к работе с Big Data: hadoop-системы, NoSQL базы данных, реляционные СУБД, Oracle Big Data Lite. Были изучены подходы к оптимизации запросов в однородной (таких как использование индексов и синтаксиса ANSI) и гетерогенной средах (создание абстракции, использование индексов хранения). Подробно изучена реализация подхода компании Oracle. Была составлена схема базы данных, на основе которой проведено тестирование подхода. Выявлены эффективные методы оптимизации SQL-запросов, на основе которых составлена методика по эффективному использованию способа взаимодействия между NoSQL и SQL базами данных с помощью внешних таблиц. Был разработан собственный подход оптимизации SQL-запросов, была дана оценка его эффективности. Предложены шаги развития данного подхода.

In this paper, the areas of application of Big Data in life were considered, namely, the creation of predictive models, optimization of business processes, personal assessment, improvement of healthcare and public health, improvement of science, improvement of safety and law and order, smart cities and financial trade. The problems of Big Data processing were considered: volume, fragmentation, unstructured data, their processing speed, reliability, variability, visualization and value. The approaches to working with Big Data are considered: hadoop-systems, NoSQL databases, relational DBMS, Oracle Big Data Lite. Approaches to optimizing queries in homogeneous (such as using indexes and ANSI syntax) and heterogeneous environments (creating abstractions, using storage indices) were studied. The implementation of the approach of the Oracle company has been studied in detail. A database schema was drawn up and used to test the approach. The effective methods of optimizing SQL queries are revealed, on the basis of which a methodology for the effective use of the method of interaction between NoSQL and SQL databases using external tables has been compiled. A proprietary approach to optimizing SQL queries was developed, and its effectiveness was assessed. Steps for the development of this approach are proposed.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users SPbPU Read Print Download
-> Internet Anonymous

Table of Contents

Usage statistics

stat Access count: 22
Last 30 days: 0
Detailed usage statistics