Детальная информация

Данная работа посвящена разработке метода и программного инструмента автоматической генерации тест-кейсов для кастомизированных API-запросов на основе сочетания детерминированных комбинаторных методов с коррекцией со стороны большой языковой модели. Задачи, которые решались в ходе исследования: Систематический обзор существующих подходов к автоматизации тестирования RESTful API: полного перебора, комбинаторных и t-wise методов, тестирования на основе моделей, контрактного тестирования, методов машинного обучения и подходов на основе больших языковых моделей. Разработка двухэтапной методологии генерации тест-кейсов: детерминированного попарного покрытия параметров с включением граничных и негативных сценариев и последующей семантической коррекции набора с помощью большой языковой модели. Формализация математической модели задачи с расширением области значений параметров специальными элементами ABSENT и MISSING для моделирования опциональности параметров и негативных сценариев. Проектирование архитектуры и программная реализация инструмента в виде CLI-приложения с экспортом результатов в форматы Postman Collection v2.1 и JUnit/RestAssured. Проведение экспериментальной оценки разработанного инструмента на открытых OpenAPI-спецификациях нарастающей сложности. Программный инструмент реализован на языке Java 17 с использованием системы сборки Maven в виде CLI-приложения из пяти модулей: парсинга OpenAPI-спецификаций, генерации тест-кейсов (попарное покрытие на основе алгоритма IPOG-lite, генерация граничных и негативных сценариев), коррекции с помощью большой языковой модели, приоритизации и экспорта в целевые форматы. Экспериментальная оценка проведена на четырёх OpenAPI-спецификациях с числом параметров от 12 до 28. В результате исследования предложен интегративный метод, объединяющий формальное комбинаторное покрытие параметров с семантической коррекцией значений и обогащением тест-кейсов знаниями предметной области. Достигаемое попарное покрытие составляет 0,90–0,95; коррекция с помощью большой языковой модели добавляет в среднем 15–20 % дополнительных бизнес-логических сценариев без потери формального покрытия. Полученные результаты подтверждают практическую применимость инструмента для интеграции в процессы непрерывной интеграции и доставки. Для достижения данных результатов в работе были использованы/разработаны следующие информационные технологии: язык программирования Java 17, система сборки Maven, библиотека Swagger Parser для разбора OpenAPI-спецификаций, библиотека Picocli для построения CLI-интерфейса, библиотека Jackson для работы с JSON, фреймворки SLF4J и Logback для логирования, фреймворк JUnit 5 с библиотекой AssertJ для модульного тестирования, фреймворк RestAssured для экспорта исполняемых тестов, формат Postman Collection v2.1, публичный API компании Anthropic (модель семейства Claude Sonnet).

The given work is devoted to development of a method and a software tool for automatic generation of test cases for customized API requests that combines deterministic combinatorial methods with correction based on a large language model. The research set the following goals: Systematic review of existing approaches to RESTful API test automation: exhaustive testing, combinatorial and t-wise testing, model-based testing, contract testing, machine-learning methods and approaches based on large language models. Development of a two-stage test-case generation methodology: deterministic pairwise coverage of parameters with boundary and negative scenarios, followed by semantic correction of the test set with the help of a large language model. Formalization of the mathematical model of the task with extension of the parameter value domain by the special elements ABSENT and MISSING to model parameter optionality and negative scenarios. Design of the architecture and software implementation of the tool as a CLI application with export of results to the Postman Collection v2.1 and JUnit/RestAssured formats. Experimental evaluation of the developed tool on open OpenAPI specifications of increasing complexity. The work was fulfilled on the premises of Peter the Great St. Petersburg Polytechnic University, the Institute of Computer Science and Cybersecurity, the Higher School of Software Engineering. The software tool is implemented in Java 17 with the Maven build system as a CLI application consisting of five modules: OpenAPI specification parsing, test-case generation (pairwise coverage based on the IPOG-lite algorithm, boundary and negative scenario generation), correction with the help of a large language model, prioritization and export to the target formats. The experimental evaluation was conducted on four OpenAPI specifications with the number of parameters ranging from 12 to 28. The study resulted in an integrative method combining formal combinatorial coverage of parameters with semantic correction of values and enrichment of test cases with domain knowledge. The achieved pairwise coverage is 0.90–0.95; correction with the help of a large language model adds on average 15–20 % additional business-logic scenarios without any loss of formal coverage. The obtained results confirm the practical applicability of the tool for integration into continuous integration and delivery pipelines. To achieve these results, the following information technologies were used / developed in the work: Java 17 programming language, Maven build system, Swagger Parser library for OpenAPI specification parsing, Picocli library for CLI implementation, Jackson library for JSON processing, SLF4J and Logback frameworks for logging, JUnit 5 framework with AssertJ library for unit testing, RestAssured framework for export of executable tests, Postman Collection v2.1 format, public API of Anthropic (Claude Sonnet family model).