Details

В ходе работы были проанализированы существующие методики и метрики оценки машинного перевода и эффективность их использования при постредактировании текстов нефтегазовой отрасли.  Были определены критерии оценки машинного перевода. На основе рассмотренных критериев и способов были выбраны две методики оценки МП и представлено полное описание их систем расчета качества оценки МП. Также был произведен анализ существующих автоматических метрик МП. Рассмотрены их классификации и принцип работы и выбраны две метрики для последующей оценки МП. Выделены основные особенности технических текстов, к которым также относятся тексты нефтегазовой отрасли. В отобранных текстах для оценки качества МП были выделены ошибки и составлена статистика по наиболее часто встречающимся ошибкам. На основе анализа отобранных текстов была произведена оценка МП и выполнено сравнение полученных результатов, а также сделаны выводы о корреляции автоматических метрик и экспертных методик и их эффективности применительно к постредактированию.

The research studies the methods and metrics for MT evaluation, the efficiency of its application in post-editing of oil and gas industry texts. The evaluation criteria were determined for MT texts. The methods and metrics for MT quality evaluation were described. The analysis was conducted, comprising the methods classification and their full description. Two evaluation methods and two metrics were chosen based on the analysis. The key features of technical texts, including oil and gas industry texts, were highlighted. The errors of MT were determined that resulted in statistics of the errors ratio in the selected texts. Based on the analysis, the texts evaluation was carried out. The results were used to draw the comparisons between human evaluation methods and automated evaluation metrics as well as to determine the correlation between them. The conclusions were drawn on the efficiency of evaluation methods in post-editing.