Details

Нейронные сети и сети для генерации текста, такие как GPT-2, заработали большую популярность в разных областях применения. Нейронные сети такого типа часто используются исследователями и энтузиастами для получения ответов на заданные вопросы или для создания текстов по определённому формату. К примеру, такие модели могут использоваться при создании игр. В рамках квалификационной работы реализован алгоритм дополнительного обучения моделей генерации текста при помощи генеративно-состязательного метода. Одна из целей работы – определить, способны ли модели дополнительно обучиться особенностям данных при использовании данного метода. В будущем метод может быть улучшен и модифицирован. Анализ эффективности моделей будет проводиться на основании исследования опроса группы пользователей, которым была поставлена задача на выделение лучшего вывода сети. В качестве основной модели, в работе используется GPT-2. Данная модель используется как в качестве генератора, так и в виде классификатора в роли дискриминатора в генеративно-состязательной модели. Все модели были построены и обучены при помощи pyTorch. Тестовая страница в сети Интернет была создана при помощи Flask.

Neural networks, and text generation models like GPT-2, gained popularity in various applications. Text generation networks usually help researchers and enthusiasts to answer on given questions or to generate text like some style or format. For example, they can be used to generate ideas for games. In this paper will be covered complex algorithm of model training using standard fine-tuning and Generative Adversarial method. One objective is to evaluate, is this method can be used for text generation tuning and identify potential problems. In the future this algorithm can be modified further, to fit problems better. An analysis of algorithm effectivity will be evaluated with group of users that will be tasked to select most fitting text for given problem. In this paper GPT-2 was used as main model. GPT-2 language model was used for text generation and GPT-2 for sequence classification was used as discriminator in GAN method. All models were trained with pyTorch. Testing website was made with Flask.