Details

Объект исследования – корпус видеоуроков курса по подготовке к ЕГЭ по английскому языку со смешанной русско-английской речью. Предмет исследования – методы и архитектурные решения RAG-систем для интеллектуального поиска и генерации ответов по мультиязычному корпусу видеоматериалов. Цель работы – разработка и оценка системы интеллектуального поиска на основе архитектуры RAG. В ходе работы решен ряд задач: проанализирована научная литература; дано описание методов обработки ЕЯ, архитектуры RAG и инструментов ее реализации; определены ключевые характеристики мультиязычных данных; сформирован и сегментирован корпус данных; построена векторная БД и реализован гибридный поиск с переранжированием; интегрирована LLM для генерации ответов; проведена оценка качества с RAGAS; разработан веб-интерфейс. В результате создана RAG-система, реализующая полный пайплайн обработки данных. Сравнение двух конфигураций на корпусе ограниченного объема показало, что архитектурное усложнение не приводит к измеримому приросту по метрикам, однако улучшает качество ответов на отдельных типах запросов. Выявленные ограничения формируют стратегию возможной доработки для коммерческой реализации. В работе использованы: модель ASR Whisper large-v3, модель эмбеддинга multilingual-e5-large-instruct, реранкер Cross-Encoder, LLM GigaChat Pro, векторная БД ChromaDB, фреймворки LangChain и RAGAS, библиотека Gradio, среда разработки Google Colaboratory.

The object of the research is a corpus of video lessons from an online course on Unified State Exam preparation in English, featuring mixed Russian-English speech. The subject of the research is the methods and architectural design choices of RAG systems applied to intelligent retrieval and answer generation over a multilingual video corpus. The objective of the work is to design and evaluate an intelligent retrieval system based on the RAG architecture. The following tasks were addressed: the relevant scientific literature was reviewed; a theoretical description of NLP methods, the RAG architecture, and its implementation tools was provided; the key properties of multilingual educational data were identified; a textual corpus was compiled and segmented; a vector database was built and hybrid retrieval with reranking was implemented; LLM for context-grounded answer generation was integrated; system quality was evaluated using RAGAS metrics; a demonstration web interface was developed. As a result, a RAG system was developed, covering the end-to-end pipeline for multilingual spoken-language data processing. A comparison of two system configurations on a corpus of limited size showed that increased architectural complexity does not yield a measurable gain in metrics, but does improve answer quality on certain query types. The identified limitations outline a strategy for possible development towards commercial deployment. The following technologies were used: the Whisper large-v3 ASR model, the multilingual-e5-large-instruct embedding model, the Cross-Encoder reranker, the GigaChat Pro LLM, the ChromaDB vector store, the LangChain and RAGAS frameworks, the Gradio library, and the Google Colaboratory cloud-based IDE.