Детальная информация

Тема выпускной квалификационной работы: «Совместное использование PostgreSQL и NoSQL СУБД для повышения скорости обработки данных». Данная работа посвящена исследованию эффективности и целесообразности совместного использования СУБД PostgreSQL с CouchDB и MongoDB для хранения и обработки полуструктурированных JSON-данных. Задачи, которые решались в ходе исследования: 1. Проанализировать модели хранения и принципы работы PostgreSQL и CouchDB. 2. Изучить формат данных DONKI API и определить, какие части удобнее хранить в каждой СУБД. 3. Разработать прототип, который загружает события CME, сериализует их и сохраняет параллельно в PostgreSQL, CouchDB и MongoDB. 4. Реализовать автоматическую сверку записей по activityID для выявления расхождений. 5. Провести экспериментальные замеры скорости записи, выборки, фильтрации и агрегации в трех СУБД. 6. Сформулировать рекомендации по проектированию совместных хранилищ. В результате был разработан и испытан прототип настольного приложения, реализующий одновременную загрузку, валидацию и аналитическую обработку 3 508 событий CME из каталога NASA DONKI.

Theme of graduate qualification work is «Joint use of PostgreSQL and NoSQL DBMS to increase the speed of data processing». This work is devoted to the study of efficiency and feasibility of joint use of PostgreSQL DBMS with CouchDB and MongoDB for storing and processing semi-structured JSON-data. The objectives addressed in the study are: 1. To analyze the storage models and operating principles of PostgreSQL and CouchDB. 2. To study the DONKI API data format and determine which parts are more convenient to store in each DBMS. 3. Develop a prototype that loads CME events, serializes them, and stores them in parallel in PostgreSQL, CouchDB, and MongoDB. 4. Implement automatic reconciliation of records by activityID to detect discrepancies. 5. Conduct experimental measurements of write, fetch, filter and aggregation speeds in the three DBMSs. 6. Formulate recommendations for the design of shared storage. As a result, a desktop application prototype was developed and tested that implements simultaneous loading, validation, and analytical processing of 3,508 CME events from the NASA DONKI catalog.