Details

Title: Разработка системы агрегирования данных для внутрикорпоративных приложений: магистерская диссертация
Creators: Питько Любовь Андреевна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2015
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: Интернет; Вычислительные машины электронные — Применение в экономике; веб-приложения; общественное питание
UDC: 004.738.5(043.3)
LBC: 65.42я031; 65.431-80я031
File type: PDF
Language: Russian
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Целью магистерской работы является разработка системы сбора и структурирования данных из открытых интернет-источников для внутрикорпоративного приложения по организации доставки питания. С этой целью произведено исследование существующих методов и инструментов агрегирования данных, разработаны основные положения для реализации системы. На основе результатов исследования разработан программный модуль агрегации данных, внедренный в корпоративный сервис.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users Read Print Download
-> Internet Anonymous

Table of Contents

  • Словарь терминов и сокращений
  • Введение
    • Актуальность темы
    • Постановка цели и определение задач
    • Краткое содержание работы
  • 1. Обзор предметной области
    • 1.1 Почему нужны сайты-агрегаторы
    • 1.2 Способы агрегации данных
    • 1.3 Применение агрегации во внутрикорпоративном приложении
      • 1.3.1 Способы организации корпоративного питания
      • 1.3.2 Существующие сервисы доставки еды
      • 1.3.3 Общие требования к приложению
        • Функциональные требования
        • Системные требования
          • Требования к серверу
          • Требования к клиенту
          • Требования к данным
    • 1.4 Обзор существующих инструментов агрегации данных
      • 1.4.1 Content Downloader
      • 1.4.2 Datacol
      • 1.4.3 SJS Parser
      • 1.4.4 UniParser
      • 1.4.5 Mozenda
      • 1.4.6 Сравнительная характеристика существующих систем
  • 1. Сбор и анализ требований к предлагаемому решению
    • 2.1 Общие требования
      • 2.1.1 Универсальность
      • 2.1.2 Стандартный формат вывода данных
      • 2.1.3 Кроссплатформенность
      • 2.1.4 Гибкость структуры данных
      • 2.1.5 Автоматизированная работа модуля
      • 2.1.6 Многопоточность
      • 2.1.7 Возможность использования proxy-сервера
      • 2.1.8 Требования к входным данным
    • 2.2 Технические требования
      • 2.2.1 Системные требования к рабочей машине
      • 2.2.2 Требования к программному обеспечению
  • 3. Программная реализация
    • 3.1 Описание используемых технологий
      • 1.1.1 Python
      • 1.1.2 HTML
      • 1.1.3 HTTP/HTTPS
      • 1.1.4 Grab
      • 3.1.5 Django
      • 3.1.6 CSS
      • 3.1.7 JavaScript
      • 3.1.8 SQLite
    • 3.2 Aрхитектура системы
      • 3.2.1 Архитектура базы данных веб-сервиса
        • Таблица «Platform»
        • Таблица «Category»
        • Таблица «MenuItem»
      • 3.2.2 Архитектура системы агрегации данных
      • 3.2.3 Структура входных данных
      • 3.2.4 Описание программного модуля
      • 3.2.5 Структура выходных данных
  • 4. Анализ результатов и планы на будущее
  • Заключение
  • Список использованных источников
  • 1. Издание о высоких технологиях - CNews [Электронный ресурс]: оперативные новости и аналитические материалы мира высоких технологий – Электрон. журн. – М: OОО «СИНЬЮС.РУ», 2000 – Режим доступа: http://www.cnews.ru/top/2014/04/25/oborot_internetmagazinov_v_rossii_vyros_na_tret_569985, свободный. – Загл. с экрана – Яз. Рус
  • 2. Эксперт | Телекоммуникации вчера, сегодня, завтра [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://rfcmd.ru/node/3688, свободный. – Загл. с экрана – Яз. Рус
  • 3. Firrma – данные для стартапа [Электронный ресурс] – Электрон. журн. – Режим доступа: http://firrma.ru/data/articles/3164/, свободный. – Загл. с экрана – Яз. Рус
  • 4. БалтИнфо.ru – новости Санкт-Петербурга [Электронный ресурс] – Электрон. журн. – Режим доступа: http://www.baltinfo.ru/2013/03/28/V-Peterburge-rastet-chislo-predpriyatii-malogo-i-srednego-biznesa---Poltavchenko-344957, свободный. – Загл. с экрана – Яз. Рус
  • 5. Пользовательское соглашение Delivery Club – единая система заказов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://www.delivery-club.ru/agreement/, свободный. – Загл. с экрана – Яз. Рус
  • 6. Content Downloader X1 – Универсальный парсер контента [Электронный ресурс]: парсер контента, программа для наполнения интернет магазинов – Электрон. текстовые дан. – Режим доступа: http://sbfactory.ru/?p=600, свободный. – Загл. с экрана – Яз. Рус
  • 7. Datacol – парсер сайтов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://web-data-extractor.net/, свободный. – Загл. с экрана – Яз. Рус
  • 8. PHP Developer – разработка скриптов, программ, плагинов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://devphp.org.ua/?menu=scripts&sub=&sshow=4, свободный. – Загл. с экрана – Яз. Рус
  • 9. Прокси-сервер – Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/Прокси-сервер, свободный. – Загл. с экрана – Яз. Рус
  • 10. Г. Россум, Ф.Л.Дж. Дрейк, Д.С. Откидач – Язык программирования Python - 2001 — 454 c.
  • 11. HTML - Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/wiki/HTML, свободный. – Загл. с экрана – Яз. Рус
  • 12. HTTP - Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/wiki/HTTP, свободный. – Загл. с экрана – Яз. Рус
  • 13. Grab – фреймворк для парсинга сайтов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://docs.grablib.org/ru/latest/, свободный. – Загл. с экрана – Яз. Рус. Англ.
  • 14. Документация Django [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://djbook.ru/rel1.7/, свободный. – Загл. с экрана – Яз. Рус. Англ.
  • 15. CSS - Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/wiki/CSS, свободный. – Загл. с экрана – Яз. Рус
  • 16. JavaScript – Википедия [Электронный ресурс] – Электрон. энцикл.– Режим доступа: https://ru.wikipedia.org/wiki/JavaScript, свободный. – Загл. с экрана – Яз. Рус
  • 17. SQLite – Википедия [Электронный ресурс] – Электрон. энцикл.– Режим доступа: https://ru.wikipedia.org/wiki/SQLite, свободный. – Загл. с экрана – Яз. Рус
  • 18. Пользовательское соглашение Delivery Club – единая система заказов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://www.delivery-club.ru/agreement/, свободный. – Загл. с экрана – Яз. Рус
  • Приложение

Usage statistics

stat Access count: 977
Last 30 days: 0
Detailed usage statistics