Оценка качества учебного перевода на основе разметки по ошибкам: корпусный подход

Abstract

This paper sets out to develop a method of learner translation quality assessment, based on error statistics. It is used to rank student translations in descending order by their relative quality. It means that each translation is assessed in comparison with other translations of the same text. The resulting rating can be converted into absolute values such as grades or number of points earned if necessary. The authors use expert assessment conducted within a holistic approach as a quality standard. In this research the rank order of multiple translations to the same source is effected as a statistical approximation to the consensus rating produced for the same texts from independent ratings by three experts. This paper has a brief description of the error typology and its technical implementation, as well as of the corpus project behind this research. The agreement statistics used in the experiment show that the best results are achieved, if the error categories, discussed in the paper, are accounted for in the multiple sort of translations in the following order: 1) critical, 2) content and 3) total. The authors suggest that it makes sense to manually adjust the ranking to the number of annotated «good translational solutions». Finally, the authors outline the current and perspective uses of the learner translator corpus and its error-annotated part in translator education.

Целью статьи является выработка технологии относительной оценки качества учебного перевода на основе статистики ошибок, результаты которой максимально согласуются с экспертной оценкой. Для достижения этой цели авторы описывают существующие подходы к оценке качества учебного перевода, разрабатывают и обосновывают собственную классификацию ошибок, предлагают ее техническую реализацию в виде системы их разметки, а также проводят многоэтапный лингвостатистический эксперимент, на результатах которого основано предлагаемое решение. Материалом исследования являются: 1) данные о результатах экспертной оценки качества 22 студенческих переводов, проведенной тремя независимыми экспертами по единой шкале баллов, а также 2) статистика переводческих ошибок, размеченных на этом же материале с использованием предлагаемой классификации ошибок и компьютеризированной системы их разметки. В ходе исследования экспериментальным путем устанавливается относительная значимость основных категорий переводческих ошибок и выстраивается алгоритм многоуровневого ранжирования переводов по их количеству как статистическая аппроксимация согласованной экспертной оценки. Авторы показывают, что наибольшей статистической согласованностью с мнением экспертов характеризуется рейтинг студенческих работ, выстроенный при последовательном учете следующих категорий ошибок: 1) критические, 2) смысловые и 3) общее количество ошибок. Разметка по ошибкам реализована как часть корпусного проекта и позволяет накапливать и автоматически обрабатывать статистические данные о свойствах учебного перевода и особенностях процесса оценки качества перевода. Такие данные используются как для лонгитюдных исследований, нацеленных на определение эффективности изменений в образовательной программе, так и для выявления общих и индивидуальных особенностей формирования переводческой компетенции студентов. Авторы излагают теоретические и дидактические основы предлагаемой системы как элемента электронной образовательной технологии, применяемой в обучении переводчиков и способствующей повышению их ответственности, самостоятельности и мотивированности.