Details

Выпускная квалификационная работа магистра посвящена исследованию существующих методов построения векторных моделей текста, применяющихся в задачах обработки и анализа текстов; разработке нового метода построения векторной модели текста на основе морфемного синтаксического анализа слов, а также применение его для решения задачи классификации текстов. В работе дан обзор существующих подходов к решению задачи классификации текстов, как одной из областей применения векторных моделей текстов. Описаны методы построения векторных моделей текстов, проведён их сравнительный анализ. Описаны подходы к морфемному анализу слов, проведено сравнение существующих алгоритмов разбиения слов на морфемы. Предложен и реализован в программном средстве новый метод построения векторной модели текста на основе морфемного анализа слов. Описаны придуманные и разработанные два алгоритма разбиения слов на морфемы: алгоритм разбиения слов на морфемы на основе вероятностного подхода и алгоритм разбиения слов на морфемы методом перебора. Обоснован выбор одного из придуманных алгоритмов для разбиения корпуса текстов на морфемы и построения на его основе морфемной векторной модели текста. Описывается применение полученной морфемной векторной модели текста для обучения классификатора текстов – рекуррентной нейронной сети с долгосрочной памятью. В работе приведено сравнение полученных результатов применения построенного классификатора для решения задачи классификации текстов на несколько заранее заданных классов с результатами применения классификатора, для обучения которого использовалась словная векторная модель текста. Сделаны соответствующие выводы.