Details

Задачи исследования: изучить теоретические основы лексикографии и перевода лексических единиц; охарактеризовать современные нейросетевые системы машинного перевода; описать принципы автоматической оценки качества перевода и основные метрики (BLEU, METEOR, TER, ChrF); сформировать параллельный корпус словарных примеров; провести автоматическую оценку нейросетевого перевода и сопоставить его с человеческим; вы-явить особенности и ограничения применения метрик. Для решения поставленных задач использованы анализ теоретических и практических работ по теме, сравнительно-сопоставительный анализ и методы автоматической оценки качества перевода. Материалом послужил параллельный корпус из 50 пар «исходное предложение – эталонный перевод» из англо-испанской секции словаря Cambridge Dictionary; машинные переводы получены от Google Translate, Яндекс Переводчик и SalamandraTA 7B. В результате исследования разработана трехуровневая классификация эталонных переводческих решений. Обнаружена устойчивая кластерная структура метрик с коэффициентами ранговой корреляции 0,83-0,90. Показано, что традиционные метрики применимы для сравнения систем, но систематически занижают качество семантически корректных переводов, расходящихся с эталоном по форме, а потому на лексикографических задачах требуют дополнения.

Objectives of the study: to examine the theoretical foundations of lexicog-raphy and the translation of lexical units; to characterize modern neural machine translation systems; to describe the principles of automatic translation quality evaluation and the main metrics (BLEU, METEOR, TER, ChrF); to compile a parallel corpus of dictionary examples; to carry out an automatic evaluation of neural translation and compare it with human translation; to identify the features and limitations of applying the metrics. To address these objectives, the study employed an analysis of theoretical and applied works on the topic, comparative analysis, and methods of automatic translation quality evaluation. The material was a parallel corpus of 50 "source sentence – reference translation" pairs from the English–Spanish section of the Cambridge Dictionary; machine translations were obtained from Google Trans-late, Yandex Translate, and SalamandraTA 7B. As a result of the study, a three-level classification of reference translation decisions was developed. A stable cluster structure of the metrics was found, with rank correlation coefficients of 0.83-0.90. It was shown that traditional met-rics are applicable for comparing systems but systematically underrate the quali-ty of semantically correct translations that diverge from the reference in form, and therefore require supplementation for lexicographic tasks.