Details

Целью данной выпускной квалификационной работы является разработка системы анализа новостных ресурсов следующим критериям: актуальность новости в заданный промежуток времени; определение самых популярных трендов; отсеивание новостей подходящих под определение плагиата. Проведя анализ ресурсов, мы можем заметить, что большинство новостей идентичны, а значит это заимствованные статьи или плагиат и в тиражирование поисковых систем такие новости будут на последнем месте. Поэтому было принято решение разработать систему, которая смогла бы отличать новость на плагиат с помощью собранных данных в базу через модуль сбора информации, а в дальнейшем провести машинное обучение для проверки новой информации путем скрыэпинга новостных ресурсов.