Details

Title: Метод программного построения векторной модели неформализованного текста на естественном языке на основе морфемного синтаксического анализатора: выпускная квалификационная работа магистра: 09.04.04 - Программная инженерия ; 09.04.04_01 - Технология разработки и сопровождения качественного программного продукта
Creators: Коваленко Татьяна Викторовна
Scientific adviser: Никифоров Игорь Валерьевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2018
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: Нейронные сети; тексты; машинное обучение
UDC: 004.032.26; 004.912
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Speciality code (FGOS): 09.04.04
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
Links: Отзыв руководителя; Рецензия
DOI: 10.18720/SPBPU/2/v18-1447
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Выпускная квалификационная работа магистра посвящена исследованию существующих методов построения векторных моделей текста, применяющихся в задачах обработки и анализа текстов; разработке нового метода построения векторной модели текста на основе морфемного синтаксического анализа слов, а также применение его для решения задачи классификации текстов. В работе дан обзор существующих подходов к решению задачи классификации текстов, как одной из областей применения векторных моделей текстов. Описаны методы построения векторных моделей текстов, проведён их сравнительный анализ. Описаны подходы к морфемному анализу слов, проведено сравнение существующих алгоритмов разбиения слов на морфемы. Предложен и реализован в программном средстве новый метод построения векторной модели текста на основе морфемного анализа слов. Описаны придуманные и разработанные два алгоритма разбиения слов на морфемы: алгоритм разбиения слов на морфемы на основе вероятностного подхода и алгоритм разбиения слов на морфемы методом перебора. Обоснован выбор одного из придуманных алгоритмов для разбиения корпуса текстов на морфемы и построения на его основе морфемной векторной модели текста. Описывается применение полученной морфемной векторной модели текста для обучения классификатора текстов – рекуррентной нейронной сети с долгосрочной памятью. В работе приведено сравнение полученных результатов применения построенного классификатора для решения задачи классификации текстов на несколько заранее заданных классов с результатами применения классификатора, для обучения которого использовалась словная векторная модель текста. Сделаны соответствующие выводы.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users SPbPU Read Print Download
Internet Authorized users (not from SPbPU)
-> Internet Anonymous

Usage statistics

stat Access count: 218
Last 30 days: 0
Detailed usage statistics