Details

Title: Автоматизация сбора и расчета рекламных метрик в программном средстве на основе данных внешних источников: выпускная квалификационная работа магистра: направление 09.04.04 «Программная инженерия» ; образовательная программа 09.04.04_02 «Основы анализа и разработки приложений с большими объемами распределенных данных»
Creators: Фролова Алёна Юрьевна
Scientific adviser: Никифоров Игорь Валерьевич
Other creators: Локшина Екатерина Геннадиевна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2021
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: Интернет; Автоматизированные системы планирования и управления — Статистические методы изучения; автоматизация; интернет реклама; оценка эффективности интернет рекламы; рекламные метрики; веб-скрапер
UDC: 004.738.5:519.22
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Level of education: Master
Speciality code (FGOS): 09.04.04
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
Links: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-875
Rights: Доступ по паролю из сети Интернет (чтение)
Record key: ru\spstu\vkr\13330

Allowed Actions:

Action 'Read' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Выпускная квалификационная работа магистра посвящена исследованию в области автоматизации сбора и расчета рекламных метрик на основе данных, получаемых с внешних источников. Описан подход оценки эффективности интернет рекламы и его этапы. Изучены существующие технологии веб-скрапинга, произведено их сравнение и приведены плюсы и минусы рассмотренных подходов. В работе описан ручной метод сбора и расчета рекламных метрик на этапе сбора и обработки полученных результатов статистики. Предложен автоматизированный подход, который заключается в использовании программного средства для автоматического сбора и расчета рекламных метрик и генерации отчетов. Описано использование сбора рекламных метрик с использованием Scrapy. Представлен метод расчета рекламных метрик. Предложен способ генерации отчетов по любому выбранному дню. Предложенный метод был реализован в программном средстве EAP для автоматизированного сбора и расчета рекламных метрик. Данный инструмент позволяет снизить трудоемкость этапа сбора и обработки полученных результатов статистики. В результатах приведено сравнение ручного и автоматизированного подхода к сбору и расчету рекламных метрик. Перечислены преимущества использования инструмента EAP в процессе сбора и расчета рекламных метрик.

The master's thesis is concerned with research in the area of automation of the collection and calculation of advertising metrics based on data obtained from external sources. The approaches to assessing the effectiveness of online advertising and its stages are described. The existing technologies for parsing web pages are studied, they are compared, the pros and cons of the considered approaches are given. Within the thesis, a manual method for collecting and calculating advertising metrics at the stage of collecting and processing the obtained statistics is described. An automated approach is proposed, which consists in using a software tool to automatically collect and calculate advertising metrics and generate reports. As part of the thesis, the use of collecting advertising metrics using Scrapy is described. A method for calculating advertising metrics is presented. A method for generating reports for any selected day is proposed. The proposed method was implemented in the EAP software tool for automated collection and calculation of advertising metrics. This tool allows engineers to simplify the stage of collecting and processing the obtained statistics results. The results show a comparison of manual and automated approaches to collecting and calculating advertising metrics. The advantages of using the EAP tool in the process of collecting and calculating advertising metrics are listed.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read
External organizations N2 All Read
External organizations N1 All
Internet Authorized users SPbPU Read
Internet Authorized users (not from SPbPU, N2) Read
Internet Authorized users (not from SPbPU, N1)
-> Internet Anonymous

Table of Contents

  • СПИСОК ИЛЛЮСТРАЦИЙ
  • ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ
  • ВВЕДЕНИЕ
  • ГЛАВА 1. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ
    • 1.1.Оценка эффективности интернет рекламы
      • 1.1.1 Этапы оценки эффективности интернет рекламы
      • 1.1.2 Этап сбора и обработки полученных результатов статистики
      • 1.1.3. Расходы и трудоемкость этапа сбора и вычисления рекламных метрик
    • 1.2. Анализ систем сбора данных с внешних источников
    • 1.3. Сравнение ручного и автоматизированного способов сбора данных
    • 1.4. Существующие технологии веб скраппинга
      • 1.4.1 Пакет Urllib
      • 1.4.2 Библиотека Requests
      • 1.4.3 Фреймворк Selenium
      • 1.4.4 Библиотека beautifulsoup4
      • 1.4.5 Библиотека LXML
      • 1.4.6 Фреймворк Scrapy
      • 1.4.7 Сравнительный анализ инструментальных средств
    • 1.5. Вывод
  • ГЛАВА 2. МЕТОД И СРЕДСТВА АВТОМАТИЗАЦИИ СБОРА И РАСЧЕТА РЕКЛАМНЫХ МЕТРИК
    • 2.1. Use Case автоматизации сбора и расчета рекламных метрик
      • 2.1.1. Ручной подход сбора и расчета рекламных метрик
      • 2.1.2. Автоматизированный подход сбора и расчета рекламных метрик
    • 2.2. Описание подхода для получения данных из внешних источников
      • 2.2.1. Описание подхода для получения данных с веб-страниц
      • 2.2.2. Описание подхода для получения данных из сообщений с почтового адреса
    • 2.3. Общая Схема сбора и расчета рекламных метрик
    • 2.4. Генерация отчетов
      • 2.4.1. Отчет по рекламным метрикам
      • 2.4.2. Отчет по выбранной платформе
    • 2.5. Отправка отчетов на электронную почту
    • 2.6. Вывод
  • ГЛАВА 3. РЕАЛИЗАЦИЯ ИНСТРУМЕНТА
    • 3.1 Архитектура программного инструмента
    • 3.2 Разработка веб приложения в django
    • 3.3. Разработка веб приложения в django
      • 3.3.1. Скрапинг веб страниц
      • 3.3.2. Скрапинг электронных писем
    • 3.4 Разработка модуля парсера для сохранения данных
    • 3.5 Разработка модуля вычисления рекламных метрик
    • 3.6 Разработка модуля генерации отчетов
    • 3.7 Разработка модуля отправки ежедневных писем с отчетами
    • 3.8 Вывод
  • ГЛАВА 4. РЕЗУЛЬТАТЫ ПРИМЕНЕНИЯ ИНСТРУМЕНТА
    • 4.1 Преимущества использования программного средства
    • 4.2 Сравнение методов сбора и расчета рекламных метрик
    • 4.3 Сравнение методов генерации отчетов
    • 4.4 Веб-интерфейс
      • 4.4.1 Отображение данных по каждой платформе
      • 4.4.2 Запуск сбора метрик по выбранной платформе
      • 4.4.3 Построитель отчетов
    • 4.5 Docker для программного средства
    • 4.6 Вывод
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

Usage statistics

stat Access count: 10
Last 30 days: 6
Detailed usage statistics