Details

В данной работе рассматривается проблема оценки качества машинного перевода китайско-русских публицистических текстов в условиях активного развития нейросетевых систем перевода и больших языковых моделей. Особое внимание уделяется сравнению различных подходов к автоматической оценке качества перевода и определению возможностей их применения для языковой пары китайский–русский. Для проведения исследования был сформирован параллельный корпус публицистических текстов на китайском и русском языках объёмом 1399 сегментов на основе материалов официальных китайских дипломатических ресурсов. Для получения переводов использовались системы Google Translate, TranslateGemma и GPT-5. Оценка качества перевода проводилась с помощью автоматических метрик BLEU, BARTScore и COMET, отражаю-щих различные аспекты переводческой эквивалентности. В результате исследования было установлено, что Google Translate демонстрирует наилучшие показатели по метрикам BLEU и BARTScore, что свидетельствует о высокой степени совпадения переводов с референсными текстами на лексическом и семантическом уровнях. В свою очередь, TranslateGemma показала наивысший результат по метрике COMET, ориентированной на моделирование человеческой оценки качества перевода. Было также выявлено, что различные автоматические метрики по-разному интер-претируют качество перевода, поскольку оценивают различные параметры переводческой эквивалентности. Полученные результаты подтверждают необходимость комплексного использования нескольких метрик для объективной оценки качества машинного перевода китайско-русских публицистических текстов и могут быть использованы в дальнейших исследованиях в области компьютерной лингвистики, переводоведения и машинного перевода.

The paper examines the problem of assessing the quality of machine translation of Chinese-Russian journalistic texts in the context of the active development of neural network translation systems and large-scale language models. Particular attention is paid to comparing various approaches to automatic translation quality assessment and the feasibility of their application for the Chinese-Russian language pair. To conduct the study, a parallel corpus of journalistic texts in Chinese and Russian, comprising 1,399 segments, was compiled from of-ficial Chinese diplomatic resources. Google Translate, TranslateGemma, and GPT-5 were used to generate the translations. Translation quality was assessed using the automated BLEU, BARTScore, and COMET metrics, which reflect various aspects of translation equivalence. The study found that Google Translate demonstrated the best performance in BLEU and BARTScore, showing a high degree of agreement between the translations and the reference texts at the lexical and semantic levels. TranslateGemma, on the other hand, demonstrated the highest score for the COMET metric, which simulates human assessment of translation quality. It was also found that different automated metrics interpret translation quality differently, as they evaluate different parameters of translation equivalence. The obtained results confirm the need for the integrated use of several metrics for an objective assessment of the quality of machine translation of Chinese-Russian journalistic texts and can be used in further research in the field of computational linguistics, translation studies, and machine translation.