Details

В данной работе исследуется тематическое моделирование, а также ее использование для реализации системы информационного поиска релевантных статей Википедии, основанный на алгоритме скрытого размещения Дирихле (LDA). Также применяется вычисление расхождения Дженсона-Шеннона для вычисления сходства между двумя распределениями, которые представляют две разные статьи. В первой главе исследуется теория построения тематической модели LDA. Во второй главе рассматривается алгоритм обучения тематической модели на корпусе статей, и анализ результатов. В третей главе реализуется система информационного поиска, которая использует результаты обучения из второй главы, а также выдвигаются направления для дальнейших исследований.

In this paper, we investigate topic modeling, as well as its use for the implementation of an information retrieval system of relevant Wikipedia articles, based on the Latent Dirichlet Allocation (LDA). The Jenson-Shannon divergence calculation is also used to calculate the similarity between the two distributions, which are two different articles. The first chapter explores the theory of building a topic model LDA. In the second chapter, an algorithm for learning a topic model on the corpus of articles and an analysis of the results are considered. The third chapter implements the information retrieval system, which uses the learning outcomes from the second chapter, and also puts forward directions for further research.