Details

В рамках данного исследования выявляются возможности и ограничения применения большой языковой модели Yandex Alisa в целях оценки качества перевода документального фильма для закадрового озвучивания. С этой целью решается задача изучения теоретического материала в области оценки качества перевода, переводческих ошибок, аудиовизуального перевода, а также в области применения БЯМ в переводческих и оценочных целях. На основе изученного материала предлагаются критерии оценки качества аудиовизуального перевода. Эмпирическим путѐм проверяется эффективность трѐх техник промптинжиниринга (zero-shot, few-shot, chain of thought). Результаты показывают низкую а) эффективность zero-shot и few-shot промптов, б) уменьшение количества галлюцинаций при использовании chain of thought промптинга, а также в) применимость большой языковой модели для выявления стилистических ошибок в переводах. Ограничения использования БЯМ Yandex Alisa заключаются в низком проценте выявленных ошибок, высоком проценте неверно охарактеризованных ошибок и частом галлюцинировании (при использовании zero-shot и few-shot промптов). По итогам исследования первая гипотеза – о прямой зависимости качества генерируемого текста от степени детализации промпта –подтвердилась полностью. Вторая гипотеза – о способности БЯМ выявлять технические и формальные неточности – подтвердилась частично.

The research identifies the opportunities and limitations of using the large language model Yandex Alisa in evaluation of voice-over translation of the documentary film. To this end, studies on translation quality evaluation, translation errors, audiovisual translation as well as studies on LLM implementation in translation and quality evaluation are explored. Based on the studied material, the author proposes criteria for evaluating quality of audiovisual translation. More than that, the effectiveness of three prompting techniques (zero-shot, few-shot, chain of thought) is empirically tested. According to the results, a) zero-shot prompt and few-shot prompt are not effective, b) chain of thought prompt helps prevent hallucinations, c) the large language model can identify violations of style consistency. Limitations of LLM Yandex Alisa involve low percentage of the identified errors, high percentage of mischaracterized errors, and frequent hallucination (when using zero-shot prompt and few-shot prompt). The findings of the study fully confirmed the first hypothesis, which posited a direct relationship between the quality of the generated text and the level of prompt detail. The second hypothesis, concerning the ability of LLMs to detect technical and formal inaccuracies, was only partially confirmed.