Details

Данная работа посвящена разработке программной системы, снижающей трудозатраты на создание автоматизированных тестов. Система генерирует исполняемый тестовый код на основе текстовых описаний пользовательских сценариев и контекста кодовой базы проекта с применением больших языковых моделей (LLM) и технологии Retrieval-Augmented Generation (RAG). Задачи, которые решались в ходе исследования: Анализ существующих подходов к автоматизации написания тестов, включая классические методы и подходы на основе искусственного интеллекта. Разработка методологии генерации автотестов на основе текстового описания пользовательских сценариев и кодовой базы проекта. Проектирование и реализация программной платформы, реализующей предложенную методологию и поддерживающей несколько целевых платформ (iOS, Android, Web). Проведение сравнительного эксперимента для подтверждения снижения трудозатрат относительно ручной разработки тестов. Система реализована на языке программирования Python с использованием веб-фреймворка FastAPI. Поиск по кодовой базе основан на векторном индексе FAISS и модели эмбеддингов Sentence-BERT (all-MiniLM-L6-v2). Реализован гибридный двуязычный поиск, сочетающий семантический и лексический (BM25) подходы, и нейронный машинный перевод запросов (Helsinki-NLP/opus-mt-ru-en) для работы с русскоязычными сценариями. Формирование промптов выполняется шаблонизатором Jinja2. Пользовательский интерфейс разработан на базе React 18 (TypeScript, Vite). В результате проведённого сравнительного эксперимента на наборе из 30 реальных тестовых сценариев для мобильных и веб-платформ подтверждено снижение среднего времени подготовки одного автотеста с 45 до 13 минут (сокращение трудозатрат ~71 % относительно ручной разработки). Все поставленные задачи решены, цель работы достигнута. В процессе работы использованы следующие информационные технологии и программные средства: Python 3.12, FastAPI, Uvicorn, FAISS (Facebook AI Similarity Search), библиотека sentence-transformers (модель all-MiniLM-L6-v2), Jinja2, Helsinki-NLP/opus-mt-ru-en, React 18, TypeScript, Vite, Allure TestOps, GitLab. В качестве языковых моделей использовались OpenAI-совместимые API.

This work is devoted to the development of a software system that reduces the labour costs of automated test creation by generating executable test code from textual descriptions of user scenarios and the project codebase context using Large Language Models (LLMs) and Retrieval-Augmented Generation (RAG) technology. The research addressed the following objectives: Analysis of existing approaches to automated test writing optimisation, both with and without the use of artificial intelligence. Development of a methodology for test generation based on textual descriptions of user scenarios and the project codebase. Design and implementation of a software platform realising the proposed methodology and supporting multiple target platforms (iOS, Android, Web). Conducting a comparative experiment to confirm the reduction in labour costs compared to manual test development. The system was implemented in Python using the FastAPI web framework. Codebase retrieval is based on a FAISS vector index and Sentence-BERT embeddings (all-MiniLM-L6-v2 model). A hybrid bilingual search combining semantic and lexical (BM25) approaches was implemented, together with neural machine translation (Helsinki-NLP/opus-mt-ru-en) for handling Russian-language scenarios. Prompt construction is performed by the Jinja2 template engine. The user interface was built with React 18 (TypeScript, Vite). A comparative experiment on a set of 30 real test scenarios for mobile and web platforms confirmed a reduction in average test preparation time from 45 to 13 minutes (approximately 71 % reduction compared to manual development). The proportion of tests ready to run after minimal corrections was 81 %; compliance with corporate project templates was 86 %. All set objectives were accomplished and the goal of the work was achieved. The following information technologies and software tools were used: Python 3.12, FastAPI, Uvicorn, FAISS (Facebook AI Similarity Search), sentence-transformers library (all-MiniLM-L6-v2 model), Jinja2, Helsinki-NLP/opus-mt-ru-en, React 18, TypeScript, Vite, Allure TestOps, GitLab. OpenAI-compatible APIs.