Details

Данная работа посвящена исследованию защиты от систем автоматического сбора информации с веб страниц для последующего обучения ИИ. Задачи, которые решались в ходе исследования: а) Изучение предметной области, программных аналогов и методов. б) Постановка проблемы задачи. в) Выявление применяемых методов и технологий. г) Разработка обратного прокси-сервера для решения проблемы. д) Проведение вычислительного эксперимента разработки. В результате была разработана программа для решения проблемы, а именно обратный прокси сервер с методами анализа поведения клиента, ловушек и Proof of Work. Для достижения данных результатов в работе были использованы ОС Linux, язык программирования Rust, NodeJS, Python, Gnuplot.

The given work is devoted to investigation for defence against systems that automatically collect information from web pages for subsequent AI training. The research set the following goals: 1) Study of the subject area, software analogues and methods. 2) Stating problem of the task. 3) Identification of methods and technologies used. 4) Developing reverse proxy to solve the problem. 5) Conducting a computational experiment of the development. As a result, a software was developed to solve the problem, namely a reverse proxy server with methods for analysing client behaviour, traps and Proof of Work. To achieve these results, Linux OS, Rust programming language, NodeJS, Python, Gnuplot were used in this work.