Details

Данная работа посвящена исследованию подходов автоматической обработки эллипсисов с целью выявления основы системы генерации заданий для тестирования когнитивных способностей. Объект исследования – процесс генерации и восстановления эллиптических конструкций в русском языке. Задачи, которые решались в ходе исследования: A. экспериментальное исследование способности больших языковых моделей генерировать эллипсис из полных предложений, а также восстанавливать эллипсисы; B. проектирование и разработка системы обработки эллипсисов на основе анализа синтаксического дерева предложений; C. сравнение качества результатов обработки двумя подходами и выделение ядра будущей системы генерации заданий. Методы проведения работы: анализ научной литературы, эксперимент, анализ и синтез результатов эксперимента. В результате были проведены эксперименты с большими языковыми моделями по восстановлению и генерации эллипсисов в русскоязычных текстах. Эксперименты включают взаимодействие с LLM через простой запрос, а также с применением метода с дополненным контекстом RAG. Была разработана система модулей, один из которых восстанавливает эллипсис в предложениях, а другой – генерирует эллипсис. Модули работают на основе синтаксического дерева предложений. Сравнение результатов двух подходов показало, что LLM справляются с задачами обработки эллипсисов лучше, чем алгоритмический подход. Это связано с особенностью построения предложений в русском языке – синтаксический парсер не всегда верно проставляет связи между словами. Целевой областью применения является система генерации задания для тестирования когнитивных способностей. Также полученные результаты можно использовать в задачах автоматической обработки текстов на русском языке, где наличие эллипсиса мешает обработке. Например, построение чертежа по условию геометрической задачи.

This study focuses on investigating approaches to automatic ellipsis processing to identify the foundation for a task generation system aimed at testing cognitive abilities. The object of the study is the process of generating and restoring elliptical constructions in the Russian language. The objectives achieved during the research include: A. experimental investigation of the ability of large language models (LLMs) to generate ellipses from complete sentences, as well as to restore them; B. design and development of an ellipsis processing system based on sentence syntax tree analysis; C. comparison of the processing quality between the two approaches and identification of the core for the future task generation system. Research methods: scientific literature analysis, experiment, and the analysis and synthesis of experimental results. As a result, experiments were conducted using large language models to restore and generate ellipses in Russian texts. The experiments involved interacting with LLMs via simple prompting, as well as applying the Retrieval-Augmented Generation (RAG) approach. Furthermore, a modular system was developed, where one module restores ellipses in sentences, and the other generates them. These modules operate based on the syntactic tree of sentences. A comparison of the outcomes from both approaches demonstrated that LLMs outperform the algorithmic approach in ellipsis processing tasks. This is attributed to the specific structural features of Russian sentences, where the syntactic parser does not always correctly identify dependencies between words. The area of application is a task generation system for testing cognitive abilities. The results can also be used in automatic text processing tasks in Russian, where the presence of an ellipsis interferes with processing. For example, the construction of a drawing based on the condition of a geometric problem.

• Экспериментальное сравнение валидности обработки эллипсисов алгоритмическим подходом и большими языковыми моделями
  • Введение
  • 1. Анализ предметной области
  • 2. Проектирование и реализация экспериментов с LLM
  • 3. Проектирование и разработка модулей для автоматизированной обработки эллипсисов
  • 4. Сравнение валидности обработки эллипсисов различными подходами
  • Заключение
  • Список использованных источников
  • Приложение 1. Программный код метода RAG
  • Приложение 2. Код системы обработки эллипсисов