Details

This master’s thesis investigates the effectiveness of using the ChatGPT-4o language model in combination with In-Context Learning (ICL) techniques to automate the assessment of oral monologue skills in English for Academic Purposes (EAP) among graduate students. The research addresses the persistent challenges of subjectivity, inconsistency, and high labor demands in traditional oral assessment practices. To achieve the aim the following research objectives were pursued: 1. Analyze current methodologies for oral language assessment using large language models in graduate education; 2. Explore the benefits and limitations of employing ChatGPT-4o and In-Context Learning in this context; 3. Design a tailored evaluation approach aligned with academic oral performance rubrics; 4. Develop and implement an automated system integrating Whisper-based transcription and ChatGPT-4o scoring via a custom-built Telegram chatbot; 5. Empirically validate the model’s scoring performance by comparing its output to expert human evaluations; and 6. Critically assess the strengths and limitations of the proposed solution and outline future development pathways. In the course of the study, speech transcription was performed using the Whisper model, while evaluation of oral responses was carried out with the ChatGPT-4o model employing the In-Context Learning approach. A Telegram-based interface was developed in Python for data collection and automated feedback. Human expert assessments were used as a reference point for validating the model’s performance against key evaluation criteria such as fluency, coherence, and grammatical accuracy.

Данная магистерская работа посвящена исследованию эффективности применения языковой модели ChatGPT-4o в сочетании с методами контекстного обучения для автоматической оценки устных монологических высказываний на академическом английском языке у студентов магистратуры. Для достижения цели были поставлены следующие задачи: 1. Проанализировать современные методики оценки устной речи с применением больших языковых моделей в магистратуре; 2. Выявить преимущества и ограничения использования ChatGPT-4o и In-Context Learning в данной области; 3. Разработать адаптированный подход к оцениванию, основанный на академических критериях устной речи; 4. Создать и внедрить автоматизированную систему, объединяющую распознавание речи на базе Whisper и оценивание с помощью ChatGPT-4o через специально разработанный Telegram-бот; 5. Провести эмпирическую проверку точности оценивания модели путём сравнения её результатов с оценками экспертов; 6. Критически проанализировать сильные и слабые стороны предложенного подхода и обозначить направления для его дальнейшего совершенствования. В ходе исследования транскрипция устных ответов выполнялась с помощью модели Whisper, а их оценка — с использованием ChatGPT-4o на основе обучения в контексте. Для сбора данных и автоматической обратной связи был разработан Telegram-бот на языке Python. Результаты модели сопоставлялись с экспертными оценками по критериям беглости, связности и грамматической точности. Полученные данные подтверждают потенциал искусственного интеллекта для масштабной и персонализированной оценки устных навыков и указывают направления для дальнейшего развития таких систем.