Details

Title: Разработка системы агрегирования данных для внутрикорпоративных приложений: магистерская диссертация
Creators: Питько Любовь Андреевна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2015
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: Интернет; Вычислительные машины электронные — Применение в экономике; веб-приложения; общественное питание
UDC: 004.738.5(043.3)
LBC: 65.42я031; 65.431-80я031
Document type: Other
File type: PDF
Language: Russian
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: RU\SPSTU\edoc\30024

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Целью магистерской работы является разработка системы сбора и структурирования данных из открытых интернет-источников для внутрикорпоративного приложения по организации доставки питания. С этой целью произведено исследование существующих методов и инструментов агрегирования данных, разработаны основные положения для реализации системы. На основе результатов исследования разработан программный модуль агрегации данных, внедренный в корпоративный сервис.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
External organizations N2 All Read
External organizations N1 All
Internet Authorized users SPbPU Read Print Download
Internet Authorized users (not from SPbPU, N2) Read
Internet Authorized users (not from SPbPU, N1)
-> Internet Anonymous

Table of Contents

  • Словарь терминов и сокращений
  • Введение
    • Актуальность темы
    • Постановка цели и определение задач
    • Краткое содержание работы
  • 1. Обзор предметной области
    • 1.1 Почему нужны сайты-агрегаторы
    • 1.2 Способы агрегации данных
    • 1.3 Применение агрегации во внутрикорпоративном приложении
      • 1.3.1 Способы организации корпоративного питания
      • 1.3.2 Существующие сервисы доставки еды
      • 1.3.3 Общие требования к приложению
        • Функциональные требования
        • Системные требования
          • Требования к серверу
          • Требования к клиенту
          • Требования к данным
    • 1.4 Обзор существующих инструментов агрегации данных
      • 1.4.1 Content Downloader
      • 1.4.2 Datacol
      • 1.4.3 SJS Parser
      • 1.4.4 UniParser
      • 1.4.5 Mozenda
      • 1.4.6 Сравнительная характеристика существующих систем
  • 1. Сбор и анализ требований к предлагаемому решению
    • 2.1 Общие требования
      • 2.1.1 Универсальность
      • 2.1.2 Стандартный формат вывода данных
      • 2.1.3 Кроссплатформенность
      • 2.1.4 Гибкость структуры данных
      • 2.1.5 Автоматизированная работа модуля
      • 2.1.6 Многопоточность
      • 2.1.7 Возможность использования proxy-сервера
      • 2.1.8 Требования к входным данным
    • 2.2 Технические требования
      • 2.2.1 Системные требования к рабочей машине
      • 2.2.2 Требования к программному обеспечению
  • 3. Программная реализация
    • 3.1 Описание используемых технологий
      • 1.1.1 Python
      • 1.1.2 HTML
      • 1.1.3 HTTP/HTTPS
      • 1.1.4 Grab
      • 3.1.5 Django
      • 3.1.6 CSS
      • 3.1.7 JavaScript
      • 3.1.8 SQLite
    • 3.2 Aрхитектура системы
      • 3.2.1 Архитектура базы данных веб-сервиса
        • Таблица «Platform»
        • Таблица «Category»
        • Таблица «MenuItem»
      • 3.2.2 Архитектура системы агрегации данных
      • 3.2.3 Структура входных данных
      • 3.2.4 Описание программного модуля
      • 3.2.5 Структура выходных данных
  • 4. Анализ результатов и планы на будущее
  • Заключение
  • Список использованных источников
  • 1. Издание о высоких технологиях - CNews [Электронный ресурс]: оперативные новости и аналитические материалы мира высоких технологий – Электрон. журн. – М: OОО «СИНЬЮС.РУ», 2000 – Режим доступа: http://www.cnews.ru/top/2014/04/25/oborot_internetmagazinov_v_rossii_vyros_na_tret_569985, свободный. – Загл. с экрана – Яз. Рус
  • 2. Эксперт | Телекоммуникации вчера, сегодня, завтра [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://rfcmd.ru/node/3688, свободный. – Загл. с экрана – Яз. Рус
  • 3. Firrma – данные для стартапа [Электронный ресурс] – Электрон. журн. – Режим доступа: http://firrma.ru/data/articles/3164/, свободный. – Загл. с экрана – Яз. Рус
  • 4. БалтИнфо.ru – новости Санкт-Петербурга [Электронный ресурс] – Электрон. журн. – Режим доступа: http://www.baltinfo.ru/2013/03/28/V-Peterburge-rastet-chislo-predpriyatii-malogo-i-srednego-biznesa---Poltavchenko-344957, свободный. – Загл. с экрана – Яз. Рус
  • 5. Пользовательское соглашение Delivery Club – единая система заказов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://www.delivery-club.ru/agreement/, свободный. – Загл. с экрана – Яз. Рус
  • 6. Content Downloader X1 – Универсальный парсер контента [Электронный ресурс]: парсер контента, программа для наполнения интернет магазинов – Электрон. текстовые дан. – Режим доступа: http://sbfactory.ru/?p=600, свободный. – Загл. с экрана – Яз. Рус
  • 7. Datacol – парсер сайтов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://web-data-extractor.net/, свободный. – Загл. с экрана – Яз. Рус
  • 8. PHP Developer – разработка скриптов, программ, плагинов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://devphp.org.ua/?menu=scripts&sub=&sshow=4, свободный. – Загл. с экрана – Яз. Рус
  • 9. Прокси-сервер – Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/Прокси-сервер, свободный. – Загл. с экрана – Яз. Рус
  • 10. Г. Россум, Ф.Л.Дж. Дрейк, Д.С. Откидач – Язык программирования Python - 2001 — 454 c.
  • 11. HTML - Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/wiki/HTML, свободный. – Загл. с экрана – Яз. Рус
  • 12. HTTP - Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/wiki/HTTP, свободный. – Загл. с экрана – Яз. Рус
  • 13. Grab – фреймворк для парсинга сайтов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://docs.grablib.org/ru/latest/, свободный. – Загл. с экрана – Яз. Рус. Англ.
  • 14. Документация Django [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://djbook.ru/rel1.7/, свободный. – Загл. с экрана – Яз. Рус. Англ.
  • 15. CSS - Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/wiki/CSS, свободный. – Загл. с экрана – Яз. Рус
  • 16. JavaScript – Википедия [Электронный ресурс] – Электрон. энцикл.– Режим доступа: https://ru.wikipedia.org/wiki/JavaScript, свободный. – Загл. с экрана – Яз. Рус
  • 17. SQLite – Википедия [Электронный ресурс] – Электрон. энцикл.– Режим доступа: https://ru.wikipedia.org/wiki/SQLite, свободный. – Загл. с экрана – Яз. Рус
  • 18. Пользовательское соглашение Delivery Club – единая система заказов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://www.delivery-club.ru/agreement/, свободный. – Загл. с экрана – Яз. Рус
  • Приложение

Usage statistics

stat Access count: 977
Last 30 days: 0
Detailed usage statistics