Выпускная квалификационная работа магистра посвящена исследованию в области автоматизации сбора и расчета рекламных метрик на основе данных, получаемых с внешних источников. Описан подход оценки эффективности интернет рекламы и его этапы. Изучены существующие технологии веб-скрапинга, произведено их сравнение и приведены плюсы и минусы рассмотренных подходов. В работе описан ручной метод сбора и расчета рекламных метрик на этапе сбора и обработки полученных результатов статистики. Предложен автоматизированный подход, который заключается в использовании программного средства для автоматического сбора и расчета рекламных метрик и генерации отчетов. Описано использование сбора рекламных метрик с использованием Scrapy. Представлен метод расчета рекламных метрик. Предложен способ генерации отчетов по любому выбранному дню. Предложенный метод был реализован в программном средстве EAP для автоматизированного сбора и расчета рекламных метрик. Данный инструмент позволяет снизить трудоемкость этапа сбора и обработки полученных результатов статистики. В результатах приведено сравнение ручного и автоматизированного подхода к сбору и расчету рекламных метрик. Перечислены преимущества использования инструмента EAP в процессе сбора и расчета рекламных метрик.

The master's thesis is concerned with research in the area of automation of the collection and calculation of advertising metrics based on data obtained from external sources. The approaches to assessing the effectiveness of online advertising and its stages are described. The existing technologies for parsing web pages are studied, they are compared, the pros and cons of the considered approaches are given. Within the thesis, a manual method for collecting and calculating advertising metrics at the stage of collecting and processing the obtained statistics is described. An automated approach is proposed, which consists in using a software tool to automatically collect and calculate advertising metrics and generate reports. As part of the thesis, the use of collecting advertising metrics using Scrapy is described. A method for calculating advertising metrics is presented. A method for generating reports for any selected day is proposed. The proposed method was implemented in the EAP software tool for automated collection and calculation of advertising metrics. This tool allows engineers to simplify the stage of collecting and processing the obtained statistics results. The results show a comparison of manual and automated approaches to collecting and calculating advertising metrics. The advantages of using the EAP tool in the process of collecting and calculating advertising metrics are listed.

• СПИСОК ИЛЛЮСТРАЦИЙ
• ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ
• ВВЕДЕНИЕ
• ГЛАВА 1. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ
  • 1.1.Оценка эффективности интернет рекламы
    • 1.1.1 Этапы оценки эффективности интернет рекламы
    • 1.1.2 Этап сбора и обработки полученных результатов статистики
    • 1.1.3. Расходы и трудоемкость этапа сбора и вычисления рекламных метрик
  • 1.2. Анализ систем сбора данных с внешних источников
  • 1.3. Сравнение ручного и автоматизированного способов сбора данных
  • 1.4. Существующие технологии веб скраппинга
    • 1.4.1 Пакет Urllib
    • 1.4.2 Библиотека Requests
    • 1.4.3 Фреймворк Selenium
    • 1.4.4 Библиотека beautifulsoup4
    • 1.4.5 Библиотека LXML
    • 1.4.6 Фреймворк Scrapy
    • 1.4.7 Сравнительный анализ инструментальных средств
  • 1.5. Вывод
• ГЛАВА 2. МЕТОД И СРЕДСТВА АВТОМАТИЗАЦИИ СБОРА И РАСЧЕТА РЕКЛАМНЫХ МЕТРИК
  • 2.1. Use Case автоматизации сбора и расчета рекламных метрик
    • 2.1.1. Ручной подход сбора и расчета рекламных метрик
    • 2.1.2. Автоматизированный подход сбора и расчета рекламных метрик
  • 2.2. Описание подхода для получения данных из внешних источников
    • 2.2.1. Описание подхода для получения данных с веб-страниц
    • 2.2.2. Описание подхода для получения данных из сообщений с почтового адреса
  • 2.3. Общая Схема сбора и расчета рекламных метрик
  • 2.4. Генерация отчетов
    • 2.4.1. Отчет по рекламным метрикам
    • 2.4.2. Отчет по выбранной платформе
  • 2.5. Отправка отчетов на электронную почту
  • 2.6. Вывод
• ГЛАВА 3. РЕАЛИЗАЦИЯ ИНСТРУМЕНТА
  • 3.1 Архитектура программного инструмента
  • 3.2 Разработка веб приложения в django
  • 3.3. Разработка веб приложения в django
    • 3.3.1. Скрапинг веб страниц
    • 3.3.2. Скрапинг электронных писем
  • 3.4 Разработка модуля парсера для сохранения данных
  • 3.5 Разработка модуля вычисления рекламных метрик
  • 3.6 Разработка модуля генерации отчетов
  • 3.7 Разработка модуля отправки ежедневных писем с отчетами
  • 3.8 Вывод
• ГЛАВА 4. РЕЗУЛЬТАТЫ ПРИМЕНЕНИЯ ИНСТРУМЕНТА
  • 4.1 Преимущества использования программного средства
  • 4.2 Сравнение методов сбора и расчета рекламных метрик
  • 4.3 Сравнение методов генерации отчетов
  • 4.4 Веб-интерфейс
    • 4.4.1 Отображение данных по каждой платформе
    • 4.4.2 Запуск сбора метрик по выбранной платформе
    • 4.4.3 Построитель отчетов
  • 4.5 Docker для программного средства
  • 4.6 Вывод
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ