Details

Объект исследования – инструменты автоматической проверки письменных работ студентов при обучении английскому языку как иностранному. Предмет – предобученная нейросетевая модель для исправления грамматических ошибок. Цель исследования – разработка и оценка эффективности инструмента автоматизированной проверки письменных работ студентов, изучающих английский язык как иностранный. Задачи исследования: 1) проанализировать теоретические основы применения технологий в лингводидактике; 2) рассмотреть современные инструменты автоматизированной проверки текстов; 3) выбрать и дообучить модель на данных с ошибками из студенческих работ; 4) провести экспериментальную проверку качества системы в сравнении с экспертными оценками; 5) проанализировать результаты и сформулировать выводы. Методы: описательный, сравнительный, эксперимент, методы компьютерной лингвистики, NLP и машинного обучения. Результат: разработан инструмент на основе дообученной нейросетевой модели. Экспериментальная оценка подтвердила его пригодность для автоматизации первичной проверки, сокращения временных затрат преподавателя и предоставления студентам оперативной обратной связи.

The object of the research is automated tools for assessing students written assignments in the context of teaching English as a foreign language. The subject is a pre-trained neural network model designed for grammatical error correction. The objective of the study is to develop and evaluate an automated tool for assessing written assignments of students learning English as a foreign language. The research objectives are as follows: 1) to analyze the theoretical foundations of technology use in linguodidactics; 2) to review current tools for automated writing assessment; 3) to select and fine-tune a model on data containing errors from students written assignments; 4) to conduct an experimental evaluation by comparing its results with expert assessments; 5) to analyze the results and draw conclusions about the effectiveness of the developed tool. The research methods include descriptive and comparative methods, experiment, and methods of computational linguistics, natural language processing, and machine learning. As a result, an automated tool based on a fine-tuned neural network model was developed and experimentally evaluated. The findings demonstrate its potential for automating the initial assessment of written assignments, reducing teachers workload, and providing students with prompt and personalized feedback.

• ВВЕДЕНИЕ
• ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И КЛАССИФИКАЦИЯ ИНСТРУМЕНТОВ АВТОМАТИЗИРОВАННОЙ ПРОВЕРКИ ПИСЬМЕННЫХ РАБОТ
  • 1.1 Письменная речь и особенности ее оценивания при обучении английскому языку как иностранному
    • 1.1.1 Письмо как продуктивный вид речевой деятельности
    • 1.1.2. Критерии оценивания письменной речи
  • 1.2 Цифровые инструменты для автоматической проверки и оценки письменных текстов на английском языке в лингводидактике
    • 1.2.1 Цифровые инструменты в лингводидактике и программные решения для оценки письменного текста на английском языке (на основе правил и использования технологий ИИ) и формы обратной связи
    • 1.2.2 Онлайн-сервисы для проверки электронного текста Language tool, Write and Improve, Quillbot
    • 1.2.3 Оценка письменных работ на обучающих платформах Busuu, Puzzle English, Duolinguo
  • 1.3 Ограничения автоматизированной проверки письменных и печатных текстов
• ГЛАВА 2. РАЗРАБОТКА И АПРОБАЦИЯ МОДЕЛИ АВТОМАТИЗИРОВАННОЙ ПРОВЕРКИ ПИСЬМЕННЫХ ТЕКСТОВ НА АНГЛИЙСКОМ ЯЗЫКЕ
  • 2.1 Разработка инструмента автоматизированной проверки
    • 2.1.1 Выбор и обоснование инструментов разработки
    • 2.1.2 Формирование обучающей выборки
    • 2.1.3 Дообучение языковой модели
    • 2.1.4 Оценка точности обученной модели
  • 2.2 Инструменты аннотирования типов ошибок
    • 2.2.1 ERRANT: принцип работы и роль в системе
    • 2.2.2 LanguageTool: возможности и ограничения в контексте задачи
    • 2.3.3 Сравнение инструментов аннотирования
  • 2.3 Методика экспериментальной оценки
    • 2.3.1 Критерии и процедура оценки экспертами
    • 2.3.2 Процедура сравнения с результатами модели
  • 2.4 Анализ результатов и выводы
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ