Details
Title | Метод программного построения векторной модели неформализованного текста на естественном языке на основе морфемного синтаксического анализатора: выпускная квалификационная работа магистра: 09.04.04 - Программная инженерия ; 09.04.04_01 - Технология разработки и сопровождения качественного программного продукта |
---|---|
Creators | Коваленко Татьяна Викторовна |
Scientific adviser | Никифоров Игорь Валерьевич |
Organization | Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий |
Imprint | Санкт-Петербург, 2018 |
Collection | Выпускные квалификационные работы ; Общая коллекция |
Subjects | Нейронные сети ; тексты ; машинное обучение |
UDC | 004.032.26 ; 004.912 |
Document type | Master graduation qualification work |
File type | |
Language | Russian |
Level of education | Master |
Speciality code (FGOS) | 09.04.04 |
Speciality group (FGOS) | 090000 - Информатика и вычислительная техника |
Links | Отзыв руководителя ; Рецензия |
DOI | 10.18720/SPBPU/2/v18-1447 |
Rights | Доступ по паролю из сети Интернет (чтение, печать, копирование) |
Record key | RU\SPSTU\edoc\56149 |
Record create date | 11/9/2018 |
Allowed Actions
–
Action 'Read' will be available if you login or access site from another network
Action 'Download' will be available if you login or access site from another network
Group | Anonymous |
---|---|
Network | Internet |
Выпускная квалификационная работа магистра посвящена исследованию существующих методов построения векторных моделей текста, применяющихся в задачах обработки и анализа текстов; разработке нового метода построения векторной модели текста на основе морфемного синтаксического анализа слов, а также применение его для решения задачи классификации текстов. В работе дан обзор существующих подходов к решению задачи классификации текстов, как одной из областей применения векторных моделей текстов. Описаны методы построения векторных моделей текстов, проведён их сравнительный анализ. Описаны подходы к морфемному анализу слов, проведено сравнение существующих алгоритмов разбиения слов на морфемы. Предложен и реализован в программном средстве новый метод построения векторной модели текста на основе морфемного анализа слов. Описаны придуманные и разработанные два алгоритма разбиения слов на морфемы: алгоритм разбиения слов на морфемы на основе вероятностного подхода и алгоритм разбиения слов на морфемы методом перебора. Обоснован выбор одного из придуманных алгоритмов для разбиения корпуса текстов на морфемы и построения на его основе морфемной векторной модели текста. Описывается применение полученной морфемной векторной модели текста для обучения классификатора текстов – рекуррентной нейронной сети с долгосрочной памятью. В работе приведено сравнение полученных результатов применения построенного классификатора для решения задачи классификации текстов на несколько заранее заданных классов с результатами применения классификатора, для обучения которого использовалась словная векторная модель текста. Сделаны соответствующие выводы.
Network | User group | Action |
---|---|---|
ILC SPbPU Local Network | All |
|
Internet | Authorized users SPbPU |
|
Internet | Anonymous |
|
Access count: 724
Last 30 days: 0