Details

Целью работы является автоматизация фаззинг-тестирования программного обеспечения с применением больших языковых моделей. Объектом исследования являются программы с графическим интерфейсом и закрытым исходным кодом, предметом – методы автоматизации фаззинг-тестирования. Задачи, решаемые в ходе исследования: 1. Проанализировать современные решения в области автоматизации фаззинг-тестирования. 2. Провести сравнительный анализ больших языковых моделей в контексте автоматизации процесса взаимодействия с ПО для выбора наиболее оптимальной модели. 3. Разработать метод, в основе которого лежит автоматизация взаимодействия с ПО при помощи большой языковой модели. 4. Разработать прототип программного средства, реализующий предлагаемый метод и оценить его работу. В ходе работы была исследована архитектура больших языковых моделей, а также возможность их применения для автоматизации фаззинг-тестирования программного обеспечения. В результате работы был разработан метод, позволяющий проводить фаззинг-тестирование для приложений с графическим интерфейсом на операционной системе Windows автоматически. Разработанный метод предоставляет возможность интеграции произвольных компонентов генерации данных для целей фаззинг-тестирования. Для достижения данных результатов была разработана программа, использующая средство автоматизации UI Automation, большую языковую модель Llama3.1-Instruct, а также средство распознавания текста Tesseract.

The goal of this work is the automation of fuzz testing of software using large language models. The object of the research is programs with a graphical user interface and closed source code; the subject is methods for automating fuzz testing. Tasks solved during the research: 1. Analyze current solutions in the field of fuzz testing automation. 2. Conduct a comparative analysis of large language models in the context of automating interaction with software to select the most optimal model. 3. Develop a method based on automating interaction with software using a large language model. 4. Develop a prototype software tool that implements the proposed method and evaluate its performance. During the course of the work, the architecture of large language models was studied, as well as the possibility of their application for automating fuzz testing of software. As a result of the work, a method was developed that enables automatic fuzz testing of applications with a graphical user interface on the Windows operating system. The developed method provides the ability to integrate arbitrary data generation components for fuzz testing purposes. To achieve these results, a program was developed using the UI Automation tool, the large language model Llama3.1-Instruct, and the text recognition tool Tesseract.