Детальная информация

Цель работы: Сравнение различных подходов построения рекомендательных систем и их применение для прогнозирования предпочтений пользователей на основе данных о фильмах. Задачи исследования: 1. Провести анализ предметной области и существующих решений в области рекомендательных систем. 2. Изучить основные алгоритмы машинного обучения, применяемые в рекомендательных системах. 3. Реализовать и протестировать несколько моделей, включая матричную факторизацию, автоэнкодеры и полносвязные нейронные сети. 4. Сравнить производительность моделей по метрикам точности и ран-жирования. Методы: Использовались методы машинного обучения, включая неотрицательную матричную факторизацию, глубокие нейронные сети и автоэнкодеры. Анализ производился с использованием набора данных MovieLens Latest Datasets. Программная реализация выполнена на языке Python с использованием среды Google Colaboratory. Результаты работы: Исследование показало, что модель автоэнкодера обеспечивает наилучшие результаты по метрике NDCG, что делает её наиболее подходящей для задач, связанных с ранжированием. Матричная факторизация продемонстрировала минимальные ошибки предсказаний (по метрикам MSE и MAE), что говорит о её надёжности в задачах предсказания рейтингов. Полносвязная нейронная сеть показала промежуточные результаты, уступив автоэнкодеру в ранжировании и матричной факторизации в точности предсказаний. Практическая значимость: Полученные результаты имеют широкую область применения в разработке и оптимизации рекомендательных систем. Это включает такие направления, как стриминговые сервисы, интернет-магазины и образовательные платформы. Результаты работы могут быть использованы для повышения персонализации контента, улучшения пользовательского опыта и увеличения вовлечённости аудитории. Заключение: Работа показала, что выбор модели зависит от целей применения и технических ограничений. Матричная факторизация рекомендована для за-дач, где важна скорость и простота реализации. Автоэнкодеры подходят для сложных задач ранжирования, но требуют дополнительных вычисли-тельных ресурсов. Полносвязные нейронные сети могут быть полезны в системах, где требуется анализ сложных нелинейных зависимостей. Дальнейшие исследования могут быть направлены на интеграцию гибридных методов и решение проблемы холодного старта.

Objective: To compare various approaches to building recommendation systems and apply them to predict user preferences based on movie data. Research tasks: 2) Analyze the subject area and existing solutions in the field of recommen-dation systems. 3) Study the main machine learning algorithms used in recommendation systems. 4) Implement and test several models, including matrix factorization, auto-encoders, and fully connected neural networks. 5) Compare model performance using accuracy metrics (MSE and MAE) and ranking metrics (NDCG). Methods: The study utilized modern machine learning methods: non-negative matrix factorization, autoencoders, and fully connected neural networks. The analysis was conducted using the MovieLens Latest Datasets, which includes millions of user ratings and movie metadata. The implementation was carried out in Python using the Google Colaboratory environment. Results: The research demonstrated that the autoencoder model achieves the best results according to the NDCG metric, making it the most suitable for ranking tasks. Matrix factorization showed minimal prediction errors (MSE and MAE metrics), indicating its reliability for rating prediction tasks. The fully connected neural network produced intermediate results, underperforming the autoen-coder in ranking and matrix factorization in prediction accuracy. Practical significance: The obtained results have a broad application scope in the development and optimization of recommendation systems. These include areas such as streaming services, ecommerce platforms, and educational resources. The research findings can enhance content personalization, improve user experience, and increase audience engagement. Conclusion: The study revealed that the choice of model depends on the application objectives and technical constraints. Matrix factorization is recommended for tasks prioritizing speed and simplicity. Autoencoders are suitable for complex ranking tasks but require additional computational resources. Fully connected neural networks are beneficial for systems that require analyzing complex non-linear relationships. Future research could focus on integrating hybrid methods and addressing the cold-start problem.

• ВВЕДЕНИЕ
• ГЛАВА 1. АКТУАЛЬНОСТЬ ТЕМЫ ИССЛЕДОВАНИЯ
  • 1.1. Описание предметной области
  • 1.2. История развития рекомендательных системах
  • 1.3. Процесс создания рекомендательной системы
    • 1.3.1. Сбор информации
    • 1.3.2. Выбор и обучение модели
    • 1.3.3. Формирование рекомендации
• ГЛАВА 2. КЛАССИФИКАЦИЯ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ
  • 2.1. Коллаборативная фильтрация
  • 2.2. Метод фильтрации на основе содержимого
  • 2.3. Методы, основанные на знаниях
  • 2.4. Гибридные методы
  • 2.5. Метрики качества
• ГЛАВА 3. СРАВНИТЕЛЬНАЯ ОЦЕНКА ПРИМЕНЯЕМЫХ МОДЕЛЕЙ
  • 3.1. Набор данных
  • 3.2. Применяемые подходы
    • 3.2.1. Неотрицательная матричная факторизация (NMF)
    • 3.2.2. Автоэнкодер
    • 3.2.3. Полносвязная нейронная сеть
  • 3.3. Программная реализация на примере модели матричной факторизации
    • 3.3.1. Модули загрузки данных
    • 3.3.2. Модуль инициализации метрик
    • 3.3.3. Модуль оценки качества обученной модели
    • 3.3.4. Модуль обучения модели
    • 3.3.5. Получение рекомендаций на основе обученной модели
  • 3.4. Тестирование
• ЗАКЛЮЧЕНИЕ
• Список используемых источников
  • ПРИЛОЖЕНИЕ А. КОД ФАЙЛА LOSS_FUNCTION.PY
  • ПРИЛОЖЕНИЕ Б. КОД ФАЙЛА LOSS_FUNCTION.PY
  • ПРИЛОЖЕНИЕ В. КОД ФАЙЛА EVALUATE.PY
  • ПРИЛОЖЕНИЕ Г. КОД ФАЙЛА EVALUATE.PY
  • ПРИЛОЖЕНИЕ Д. КОД ФАЙЛА MOVIES.PY
  • ПРИЛОЖЕНИЕ Е. КОД ФАЙЛА AUTOENCODER.PY
  • ПРИЛОЖЕНИЕ Ж. КОД ФАЙЛА MATRIX_FACTORIZATION.PY
  • ПРИЛОЖЕНИЕ И. КОД ФАЙЛА DEEP_LEARNING.PY
  • ПРИЛОЖЕНИЕ К. КОД ФАЙЛА RECOMMEND_MOVIE.PY
  • ПРИЛОЖЕНИЕ Л. КОД ФАЙЛА SIMILARITY.PY