Details

Title: Метод автоматического определения уязвимостей в текстовых данных на основе Word2Vec: бакалаврская работа: 09.03.04
Creators: Носов Павел Владимирович
Scientific adviser: Никифоров Игорь Валерьевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2017
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: автоматическое определение уязвимостей; векторное представление слов; семантическое соответствие текста
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Speciality code (FGOS): 09.03.04
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
DOI: 10.18720/SPBPU/2/v17-3722
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Данная работа на соискание степени бакалавра посвящена исследованию области автоматического определения уязвимостей в текстовых данных. В работе дан обзор систем автоматического определения уязвимостей. Был предложен метод определения семантического соответствия текста его заголовку. Метод был реализован на языке Java. Реализованный метод был аппробирован на демонстрационных примерах. Предоставлены результаты тестирования.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users SPbPU Read Print Download
Internet Authorized users (not from SPbPU)
-> Internet Anonymous

Table of Contents

  • Список рисунков
  • Список таблиц
  • Введение
  • Глава 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ
    • 1.1 Обзор статистических методов и методов машинного обучения
      • 1.1.1 Методы определения выбросов
      • 1.1.2 Методы машинного обучения без учителя
      • 1.1.3 Методы машинного обучения с учителем
    • 1.2 Обзор инструментов векторного представления слов
      • 1.2.1. Обзор Word2Vec
    • 1.3 Обзор систем автоматического определения уязвимостей
    • 1.4 Выводы
  • Глава 2. МЕТОД ОПРЕДЕЛЕНИЯ СООТВЕТСТВИЯ ЗАГОЛОВКА ТЕКСТА ЕГО СОДЕРЖАНИЮ НА ОСНОВЕ WORD2VEC


    • 2.1 Обоснование необходимости метода
    • 2.2 Описание метода
    • 2.3 Алгоритм
      • 2.3.1 Схема алгоритма
      • 2.3.2 Нормализация входного текста
      • 2.3.3 Применение модели Word2Vec
      • 2.3.4 Получение векторов предложений
      • 2.3.5 Подсчёт расстояний между векторами
    • 2.4 Проверка гипотезы о соответствии заголовка тексту
    • 2.5 Выводы
  • Глава 3. РЕАЛИЗАЦИЯ МЕТОДА ОПРЕДЕЛЕНИЯ СООТВЕТСТВИЯ ЗАГОЛОВКА ТЕКСТА ЕГО СОДЕРЖАНИЮ НА ОСНОВЕ WORD2VEC


    • 3.1 Структура класса
      • 3.1.1 Поля класса
      • 3.1.2 Конструкторы класса
    • 3.2 Нормализация текста
      • 3.2.1 Метод rusvecForm
      • 3.2.2 Метод engvecForm
    • 3.3 Метод detect
    • 3.4 Выводы
  • Глава 4. РЕЗУЛЬТАТЫ
    • 4.1 Примеры работы реализованной системы
    • 4.2 Тестирование реализованной системы
    • 4.3 Выводы
    • Заключение

Usage statistics

stat Access count: 145
Last 30 days: 0
Detailed usage statistics