Целью магистерской работы является разработка системы сбора и структурирования данных из открытых интернет-источников для внутрикорпоративного приложения по организации доставки питания. С этой целью произведено исследование существующих методов и инструментов агрегирования данных, разработаны основные положения для реализации системы. На основе результатов исследования разработан программный модуль агрегации данных, внедренный в корпоративный сервис.

• Словарь терминов и сокращений
• Введение
  • Актуальность темы
  • Постановка цели и определение задач
  • Краткое содержание работы
• 1. Обзор предметной области
  • 1.1 Почему нужны сайты-агрегаторы
  • 1.2 Способы агрегации данных
  • 1.3 Применение агрегации во внутрикорпоративном приложении
    • 1.3.1 Способы организации корпоративного питания
    • 1.3.2 Существующие сервисы доставки еды
    • 1.3.3 Общие требования к приложению
      • Функциональные требования
      • Системные требования
        • Требования к серверу
        • Требования к клиенту
        • Требования к данным
  • 1.4 Обзор существующих инструментов агрегации данных
    • 1.4.1 Content Downloader
    • 1.4.2 Datacol
    • 1.4.3 SJS Parser
    • 1.4.4 UniParser
    • 1.4.5 Mozenda
    • 1.4.6 Сравнительная характеристика существующих систем
• 1. Сбор и анализ требований к предлагаемому решению
  • 2.1 Общие требования
    • 2.1.1 Универсальность
    • 2.1.2 Стандартный формат вывода данных
    • 2.1.3 Кроссплатформенность
    • 2.1.4 Гибкость структуры данных
    • 2.1.5 Автоматизированная работа модуля
    • 2.1.6 Многопоточность
    • 2.1.7 Возможность использования proxy-сервера
    • 2.1.8 Требования к входным данным
  • 2.2 Технические требования
    • 2.2.1 Системные требования к рабочей машине
    • 2.2.2 Требования к программному обеспечению
• 3. Программная реализация
  • 3.1 Описание используемых технологий
    • 1.1.1 Python
    • 1.1.2 HTML
    • 1.1.3 HTTP/HTTPS
    • 1.1.4 Grab
    • 3.1.5 Django
    • 3.1.6 CSS
    • 3.1.7 JavaScript
    • 3.1.8 SQLite
  • 3.2 Aрхитектура системы
    • 3.2.1 Архитектура базы данных веб-сервиса
      • Таблица «Platform»
      • Таблица «Category»
      • Таблица «MenuItem»
    • 3.2.2 Архитектура системы агрегации данных
    • 3.2.3 Структура входных данных
    • 3.2.4 Описание программного модуля
    • 3.2.5 Структура выходных данных
• 4. Анализ результатов и планы на будущее
• Заключение
• Список использованных источников
• 1. Издание о высоких технологиях - CNews [Электронный ресурс]: оперативные новости и аналитические материалы мира высоких технологий – Электрон. журн. – М: OОО «СИНЬЮС.РУ», 2000 – Режим доступа: http://www.cnews.ru/top/2014/04/25/oborot_internetmagazinov_v_rossii_vyros_na_tret_569985, свободный. – Загл. с экрана – Яз. Рус
• 2. Эксперт | Телекоммуникации вчера, сегодня, завтра [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://rfcmd.ru/node/3688, свободный. – Загл. с экрана – Яз. Рус
• 3. Firrma – данные для стартапа [Электронный ресурс] – Электрон. журн. – Режим доступа: http://firrma.ru/data/articles/3164/, свободный. – Загл. с экрана – Яз. Рус
• 4. БалтИнфо.ru – новости Санкт-Петербурга [Электронный ресурс] – Электрон. журн. – Режим доступа: http://www.baltinfo.ru/2013/03/28/V-Peterburge-rastet-chislo-predpriyatii-malogo-i-srednego-biznesa---Poltavchenko-344957, свободный. – Загл. с экрана – Яз. Рус
• 5. Пользовательское соглашение Delivery Club – единая система заказов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://www.delivery-club.ru/agreement/, свободный. – Загл. с экрана – Яз. Рус
• 6. Content Downloader X1 – Универсальный парсер контента [Электронный ресурс]: парсер контента, программа для наполнения интернет магазинов – Электрон. текстовые дан. – Режим доступа: http://sbfactory.ru/?p=600, свободный. – Загл. с экрана – Яз. Рус
• 7. Datacol – парсер сайтов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://web-data-extractor.net/, свободный. – Загл. с экрана – Яз. Рус
• 8. PHP Developer – разработка скриптов, программ, плагинов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://devphp.org.ua/?menu=scripts&sub=&sshow=4, свободный. – Загл. с экрана – Яз. Рус
• 9. Прокси-сервер – Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/Прокси-сервер, свободный. – Загл. с экрана – Яз. Рус
• 10. Г. Россум, Ф.Л.Дж. Дрейк, Д.С. Откидач – Язык программирования Python - 2001 — 454 c.
• 11. HTML - Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/wiki/HTML, свободный. – Загл. с экрана – Яз. Рус
• 12. HTTP - Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/wiki/HTTP, свободный. – Загл. с экрана – Яз. Рус
• 13. Grab – фреймворк для парсинга сайтов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://docs.grablib.org/ru/latest/, свободный. – Загл. с экрана – Яз. Рус. Англ.
• 14. Документация Django [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://djbook.ru/rel1.7/, свободный. – Загл. с экрана – Яз. Рус. Англ.
• 15. CSS - Википедия [Электронный ресурс] – Электрон. энцикл. – Режим доступа: https://ru.wikipedia.org/wiki/CSS, свободный. – Загл. с экрана – Яз. Рус
• 16. JavaScript – Википедия [Электронный ресурс] – Электрон. энцикл.– Режим доступа: https://ru.wikipedia.org/wiki/JavaScript, свободный. – Загл. с экрана – Яз. Рус
• 17. SQLite – Википедия [Электронный ресурс] – Электрон. энцикл.– Режим доступа: https://ru.wikipedia.org/wiki/SQLite, свободный. – Загл. с экрана – Яз. Рус
• 18. Пользовательское соглашение Delivery Club – единая система заказов [Электронный ресурс] – Электрон. текстовые дан. – Режим доступа: http://www.delivery-club.ru/agreement/, свободный. – Загл. с экрана – Яз. Рус
• Приложение