Details
| Title | Создание системы новостных рекомендаций, основанной на профилировании, с использованием методов обработки естественного языка: выпускная квалификационная работа бакалавра: направление 09.03.02 «Информационные системы и технологии» ; образовательная программа 09.03.02_02 «Информационные системы и технологии» = Creating a profiling-based news recommendation system using natural language processing methods |
|---|---|
| Creators | Хуснутдинов Роман Арсенович |
| Scientific adviser | Журавская Анжелика |
| Organization | Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и кибербезопасности |
| Imprint | Санкт-Петербург, 2025 |
| Collection | Выпускные квалификационные работы ; Общая коллекция |
| Subjects | рекомендательная система ; обработка естественного языка ; профилирование ; алгоритм рекомендаций ; новостной контент ; персонализация ; recommendation system ; natural language processing ; profiling ; recommendation algorithm ; news content ; personalization |
| Document type | Bachelor graduation qualification work |
| Language | Russian |
| Level of education | Bachelor |
| Speciality code (FGOS) | 09.03.02 |
| Speciality group (FGOS) | 090000 - Информатика и вычислительная техника |
| DOI | 10.18720/SPBPU/3/2025/vr/vr26-1287 |
| Rights | Доступ по паролю из сети Интернет (чтение, печать) |
| Additionally | New arrival |
| Record key | ru\spstu\vkr\40853 |
| Record create date | 7/1/2026 |
Allowed Actions
–
Action 'Прочитать' will be available if you login or access site from another network
| Group | Anonymous |
|---|---|
| Network | Internet |
Данная работа посвящена разработке системы на основе алгоритма, обеспечивающего персонализированную подачу новостного контента на основе анализа предпочтений и поведений пользователя. Задачи, которые решались в ходе работы: 1) Изучение особенностей рекомендательных систем и подходов к их построению; 2) Определение архитектуры системы новостных рекомендаций, выбор методов и средств реализации компонентов; 3) Разработка алгоритма оценки новостного контента и предоставления рекомендаций; 4) Программная реализация системы как совокупности взаимосвязанных компонентов; 5) Тестирование системы. В работе рассматриваются современные подходы к построению рекомендательных систем и анализу текстовой информации, применение методов обработки естественного языка для извлечения важных признаков и векторизации текста. Разработан алгоритм получения весового коэффициента, отражающего сходство текста новости с построенным профилем пользователя. В результате была реализована система, которая осуществляет сбор и обработку информации извне, взаимодействует с пользователем с помощью чат-бота, формирует его профиль. На основе извлечённых признаков корпуса текстов система составляет персонализированную подборку новостных публикаций. Проведённое тестирование выявило слабые места системы, предложены возможные варианты улучшений адаптации системы к непостоянным предпочтениям пользователей. Для достижения данных результатов в работе были использованы следующие информационные технологии: 1) Кроссплатформенная интегрированная среда разработки PyCharm; 2) Язык программирования Python; 3) Библиотеки для языка Python: Aiogram, AioMySQL, AioHTTP, BeautifulSoup, PyMySQL, Pandas, Natasha, Navec, NLTK, Numpy, Pytest, Pyrogram, Requests, Scipy, Scikit-learn, Unittest; 4) СУБД MySQL, инструмент визуального проектирования баз данных MySQL Workbench.
The given work is devoted to the development of a system based on an algorithm that provides personalized news content based on the analysis of user preferences and behaviors. Tasks that were solved during the work: 1) The study of the features of recommendation systems and approaches to their construction; 2) Defining the architecture of the news recommendation system, choosing methods and means of implementing components; 3) Development of an algorithm for evaluating news content and providing recommendations; 4) Software implementation of the system as a set of interrelated components; 5) System testing. The work examines modern approaches to the construction of recommendation systems and the analysis of textual information, the use of natural language processing methods to extract important features and vectorize text. An algorithm has been developed to obtain a weighting factor reflecting the similarity of the news text with the constructed user profile. As a result, a system was implemented that collects and processes information from the outside, interacts with the user using a chatbot, and forms his profile. Based on the extracted features of the corpus of texts, the system compiles a personalized selection of news publications. The conducted testing revealed the weaknesses of the system, and possible options for improving the adaptation of the system to the unstable preferences of users were proposed.
| Network | User group | Action |
|---|---|---|
| ILC SPbPU Local Network | All |
|
| Internet | Authorized users SPbPU |
|
| Internet | Anonymous |
|