Details

В данной работе изложена сущность подхода к автоматической генерации текстовых описаний SQL-запросов на русском языке. Проведён анализ существующих решений задачи SQL-to-text, метрик оценки качества и доступных датасетов. На основе сравнительного анализа шести датасетов с применением расширенного метода TOPSIS выбран датасет Spider 1.0 для создания русскоязычного аналога. Разработан русскоязычный датасет RuSpider (7000 обучающих и 1034 валидационных примера) с разметкой по уровням сложности, выявлены проблемные конструкции, создан дополнительный датасет fix_dataset (769 запросов). Создана и адаптирована для русского языка метрика RuBLEC, оценивающая логическую согласованность между SQL-запросом и сгенерированным текстом с детекцией галлюцинаций и логических противоречий. Разработана модель RuSNOWBALL на основе архитектуры «Генератор-Оценщик» с использованием предобученной T5 (cointegrated/rut5-base, 244M параметров) и метрики RuBLEC в качестве оценщика. Реализована процедура аугментации данных с RuBLEC-фильтрацией. Проведено сравнительное тестирование трёх моделей (Rules-Based, T5-Baseline, RuSNOWBALL) на 73 запросах различной сложности. Финальная модель достигла RuBLEC = 90,8%, BERTScore = 83,1%, превзойдя T5-Baseline на 9% и 5% соответственно. Выполнено сравнение с оригинальным фреймворком SNOWBALL, подтвердившее эффективность адаптации для русского языка. Разработанная модель может использоваться в образовательных целях для обучения SQL, для документирования баз данных и автоматизации анализа SQL-кода.

This paper describes the essence of the approach to automatic generation of text descriptions of SQL queries in Russian. The analysis of existing solutions to the SQL-to-text problem, quality assessment metrics and available datasets is carried out. Based on a comparative analysis of six datasets using the advanced TOPSIS method, the Spider 1.0 dataset was selected to create a Russian-language analog. A RuSpider Russian-language dataset has been developed (7000 training and 1034 validation examples) with markup by difficulty levels, problematic constructions have been identified, and an additional fix_dataset dataset (769 queries) has been created. The RuBLEC metric has been created and adapted for the Russian language, evaluating the logical consistency between an SQL query and the generated text with the detection of hallucinations and logical contradictions. The RuSNOWBALL model has been developed based on the "Generator-Estimator" architecture using pre-trained T5 (cointegrated/rut5-base, 244M parameters) and the RuBLEC metric as an estimator. The data augmentation procedure with RuBLEC filtering has been implemented. Comparative testing of three models (Rules-Based, T5-Baseline, RuSNOWBALL) was carried out on 73 queries of varying complexity. The final model reached RuBLEC = 90.8%, BERTScore = 83.1%, surpassing the T5-Baseline by 9% and 5%, respectively. A comparison with the original SNOWBALL framework was performed, which confirmed the effectiveness of adaptation for the Russian language. The developed model can be used for educational purposes to teach SQL, document databases, and automate SQL code analysis.