Details

Работа посвящена исследованию методов разделения трафика на мошеннических сайтах и разработке методики для их обнаружения с помощью веб-скрапера, маскирующегося под пользователя. Задачи исследования: 1. Проведение обзора инструментов для построения веб-скрапера в контексте обнаружения сайтов с разделением трафика; 2. Разработка алгоритмов обнаружения сайтов с разделением трафика; 3. Разработка веб-скрапера для обнаружения сайтов с разделением трафика; 4. Тестирование разработанного сервиса и оценка его эффективности. Для маскировки веб-скрапера используется ротация IP-адресов, подмена HTTP-заголовков, эмуляция характеристик устройства через настройку JavaScript окружения браузера. Обнаружение сайтов с разделением трафика осуществляется путем отслеживания изменений в контенте с использованием перцептивного хэширования изображений. Для ускорения обработки и экономии трафика разработан алгоритм выборочной загрузки ресурсов. Тестирование проведено на размеченном наборе ссылок от компании «VK». Определены критерии качества веб-скрапера и параметры настройки системы. Веб-скрапер позволяет верно классифицировать 95% мошеннических сайтов и автоматически одобрить 75% легитимных ресурсов. Алгоритм выборочной загрузки ресурсов увеличивает пропускную способность сервиса на 25%.

This thesis focuses on investigating methods of cloaking on fraudulent websites and developing a methodology for detecting them using a web scraper disguised as a legitimate user. The research objectives are: 1. Reviewing tools for building a web scraper in the context of detecting cloaking websites; 2. Developing algorithms to detect cloaking websites; 3. Creating a web scraper to identify cloaking websites; 4. Testing the developed service and evaluating its effectiveness. To disguise the web scraper, techniques such as IP address rotation, HTTP header spoofing, and emulating device characteristics through browser JavaScript environment configuration are used. Detection of cloaking websites is achieved by monitoring content changes using perceptual hashing of images. To accelerate processing and conserve bandwidth, an algorithm for selective resource loading has been developed. Testing was conducted on a labeled set of links provided by company "VK". Quality criteria for the web scraper and system configuration parameters were determined. The resulting configuration of the web scraper allows for accurate classification of 95% of fraudulent websites and automatic approval of 75% of legitimate resources. The selective resource loading algorithm increases the service throughput by 25%.