Детальная информация

Название: Автоматизация сбора и расчета рекламных метрик в программном средстве на основе данных внешних источников: выпускная квалификационная работа магистра: направление 09.04.04 «Программная инженерия» ; образовательная программа 09.04.04_02 «Основы анализа и разработки приложений с большими объемами распределенных данных»
Авторы: Фролова Алёна Юрьевна
Научный руководитель: Никифоров Игорь Валерьевич
Другие авторы: Локшина Екатерина Геннадиевна
Организация: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Выходные сведения: Санкт-Петербург, 2021
Коллекция: Выпускные квалификационные работы; Общая коллекция
Тематика: Интернет; Автоматизированные системы планирования и управления — Статистические методы изучения; автоматизация; интернет реклама; оценка эффективности интернет рекламы; рекламные метрики; веб-скрапер
УДК: 004.738.5:519.22
Тип документа: Выпускная квалификационная работа магистра
Тип файла: PDF
Язык: Русский
Код специальности ФГОС: 09.04.04
Группа специальностей ФГОС: 090000 - Информатика и вычислительная техника
Ссылки: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-875
Права доступа: Доступ по паролю из сети Интернет (чтение)
Дополнительно: Новинка

Разрешенные действия:

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

Выпускная квалификационная работа магистра посвящена исследованию в области автоматизации сбора и расчета рекламных метрик на основе данных, получаемых с внешних источников. Описан подход оценки эффективности интернет рекламы и его этапы. Изучены существующие технологии веб-скрапинга, произведено их сравнение и приведены плюсы и минусы рассмотренных подходов. В работе описан ручной метод сбора и расчета рекламных метрик на этапе сбора и обработки полученных результатов статистики. Предложен автоматизированный подход, который заключается в использовании программного средства для автоматического сбора и расчета рекламных метрик и генерации отчетов. Описано использование сбора рекламных метрик с использованием Scrapy. Представлен метод расчета рекламных метрик. Предложен способ генерации отчетов по любому выбранному дню. Предложенный метод был реализован в программном средстве EAP для автоматизированного сбора и расчета рекламных метрик. Данный инструмент позволяет снизить трудоемкость этапа сбора и обработки полученных результатов статистики. В результатах приведено сравнение ручного и автоматизированного подхода к сбору и расчету рекламных метрик. Перечислены преимущества использования инструмента EAP в процессе сбора и расчета рекламных метрик.

The master's thesis is concerned with research in the area of automation of the collection and calculation of advertising metrics based on data obtained from external sources. The approaches to assessing the effectiveness of online advertising and its stages are described. The existing technologies for parsing web pages are studied, they are compared, the pros and cons of the considered approaches are given. Within the thesis, a manual method for collecting and calculating advertising metrics at the stage of collecting and processing the obtained statistics is described. An automated approach is proposed, which consists in using a software tool to automatically collect and calculate advertising metrics and generate reports. As part of the thesis, the use of collecting advertising metrics using Scrapy is described. A method for calculating advertising metrics is presented. A method for generating reports for any selected day is proposed. The proposed method was implemented in the EAP software tool for automated collection and calculation of advertising metrics. This tool allows engineers to simplify the stage of collecting and processing the obtained statistics results. The results show a comparison of manual and automated approaches to collecting and calculating advertising metrics. The advantages of using the EAP tool in the process of collecting and calculating advertising metrics are listed.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать
Интернет Авторизованные пользователи СПбПУ Прочитать
Интернет Авторизованные пользователи (не СПбПУ)
-> Интернет Анонимные пользователи

Оглавление

  • СПИСОК ИЛЛЮСТРАЦИЙ
  • ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ
  • ВВЕДЕНИЕ
  • ГЛАВА 1. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ
    • 1.1.Оценка эффективности интернет рекламы
      • 1.1.1 Этапы оценки эффективности интернет рекламы
      • 1.1.2 Этап сбора и обработки полученных результатов статистики
      • 1.1.3. Расходы и трудоемкость этапа сбора и вычисления рекламных метрик
    • 1.2. Анализ систем сбора данных с внешних источников
    • 1.3. Сравнение ручного и автоматизированного способов сбора данных
    • 1.4. Существующие технологии веб скраппинга
      • 1.4.1 Пакет Urllib
      • 1.4.2 Библиотека Requests
      • 1.4.3 Фреймворк Selenium
      • 1.4.4 Библиотека beautifulsoup4
      • 1.4.5 Библиотека LXML
      • 1.4.6 Фреймворк Scrapy
      • 1.4.7 Сравнительный анализ инструментальных средств
    • 1.5. Вывод
  • ГЛАВА 2. МЕТОД И СРЕДСТВА АВТОМАТИЗАЦИИ СБОРА И РАСЧЕТА РЕКЛАМНЫХ МЕТРИК
    • 2.1. Use Case автоматизации сбора и расчета рекламных метрик
      • 2.1.1. Ручной подход сбора и расчета рекламных метрик
      • 2.1.2. Автоматизированный подход сбора и расчета рекламных метрик
    • 2.2. Описание подхода для получения данных из внешних источников
      • 2.2.1. Описание подхода для получения данных с веб-страниц
      • 2.2.2. Описание подхода для получения данных из сообщений с почтового адреса
    • 2.3. Общая Схема сбора и расчета рекламных метрик
    • 2.4. Генерация отчетов
      • 2.4.1. Отчет по рекламным метрикам
      • 2.4.2. Отчет по выбранной платформе
    • 2.5. Отправка отчетов на электронную почту
    • 2.6. Вывод
  • ГЛАВА 3. РЕАЛИЗАЦИЯ ИНСТРУМЕНТА
    • 3.1 Архитектура программного инструмента
    • 3.2 Разработка веб приложения в django
    • 3.3. Разработка веб приложения в django
      • 3.3.1. Скрапинг веб страниц
      • 3.3.2. Скрапинг электронных писем
    • 3.4 Разработка модуля парсера для сохранения данных
    • 3.5 Разработка модуля вычисления рекламных метрик
    • 3.6 Разработка модуля генерации отчетов
    • 3.7 Разработка модуля отправки ежедневных писем с отчетами
    • 3.8 Вывод
  • ГЛАВА 4. РЕЗУЛЬТАТЫ ПРИМЕНЕНИЯ ИНСТРУМЕНТА
    • 4.1 Преимущества использования программного средства
    • 4.2 Сравнение методов сбора и расчета рекламных метрик
    • 4.3 Сравнение методов генерации отчетов
    • 4.4 Веб-интерфейс
      • 4.4.1 Отображение данных по каждой платформе
      • 4.4.2 Запуск сбора метрик по выбранной платформе
      • 4.4.3 Построитель отчетов
    • 4.5 Docker для программного средства
    • 4.6 Вывод
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

Статистика использования

stat Количество обращений: 1
За последние 30 дней: 0
Подробная статистика