Please use this identifier to cite or link to this item: https://elib.utmn.ru/jspui/handle/ru-tsu/15291
Title: Оценка качества учебного перевода на основе разметки по ошибкам: корпусный подход
Other Titles: Corpus-Based Quality Assessment of Error-Tagged Learner Translations
Authors: Kunilovskaya, M. A.
Ilyushchenya, T. A.
Kovyazina, M. A.
Куниловская, М. А.
Ильющеня, Т. А.
Ковязина, М. А.
Keywords: RusLTC
translator training
RusLTC
parallel learner corpus
error-tagging
translation quality assessment
дидактика перевода
оценка качества перевода
учебный параллельный корпус
разметка по ошибкам
Issue Date: 2017
Publisher: Издательство Тюменского государственного университета
Citation: Куниловская, М. А. Оценка качества учебного перевода на основе разметки по ошибкам: корпусный подход / М. А. Куниловская, Т. А. Ильющеня, М. А. Ковязина // Вестник Тюменского государственного университета. Серия: Гуманитарные исследования. Humanitates / главный редактор Н. Н. Белозёрова. – Тюмень : Издательство Тюменского государственного университета, 2017. – Т. 3, № 3. – С. 94-112.
Abstract: This paper sets out to develop a method of learner translation quality assessment, based on error statistics. It is used to rank student translations in descending order by their relative quality. It means that each translation is assessed in comparison with other translations of the same text. The resulting rating can be converted into absolute values such as grades or number of points earned if necessary. The authors use expert assessment conducted within a holistic approach as a quality standard. In this research the rank order of multiple translations to the same source is effected as a statistical approximation to the consensus rating produced for the same texts from independent ratings by three experts. This paper has a brief description of the error typology and its technical implementation, as well as of the corpus project behind this research. The agreement statistics used in the experiment show that the best results are achieved, if the error categories, discussed in the paper, are accounted for in the multiple sort of translations in the following order: 1) critical, 2) content and 3) total. The authors suggest that it makes sense to manually adjust the ranking to the number of annotated «good translational solutions». Finally, the authors outline the current and perspective uses of the learner translator corpus and its error-annotated part in translator education.
Целью статьи является выработка технологии относительной оценки качества учебного перевода на основе статистики ошибок, результаты которой максимально согласуются с экспертной оценкой. Для достижения этой цели авторы описывают существующие подходы к оценке качества учебного перевода, разрабатывают и обосновывают собственную классификацию ошибок, предлагают ее техническую реализацию в виде системы их разметки, а также проводят многоэтапный лингвостатистический эксперимент, на результатах которого основано предлагаемое решение. Материалом исследования являются: 1) данные о результатах экспертной оценки качества 22 студенческих переводов, проведенной тремя независимыми экспертами по единой шкале баллов, а также 2) статистика переводческих ошибок, размеченных на этом же материале с использованием предлагаемой классификации ошибок и компьютеризированной системы их разметки. В ходе исследования экспериментальным путем устанавливается относительная значимость основных категорий переводческих ошибок и выстраивается алгоритм многоуровневого ранжирования переводов по их количеству как статистическая аппроксимация согласованной экспертной оценки. Авторы показывают, что наибольшей статистической согласованностью с мнением экспертов характеризуется рейтинг студенческих работ, выстроенный при последовательном учете следующих категорий ошибок: 1) критические, 2) смысловые и 3) общее количество ошибок. Разметка по ошибкам реализована как часть корпусного проекта и позволяет накапливать и автоматически обрабатывать статистические данные о свойствах учебного перевода и особенностях процесса оценки качества перевода. Такие данные используются как для лонгитюдных исследований, нацеленных на определение эффективности изменений в образовательной программе, так и для выявления общих и индивидуальных особенностей формирования переводческой компетенции студентов. Авторы излагают теоретические и дидактические основы предлагаемой системы как элемента электронной образовательной технологии, применяемой в обучении переводчиков и способствующей повышению их ответственности, самостоятельности и мотивированности.
URI: https://elib.utmn.ru/jspui/handle/ru-tsu/15291
https://elib.utmn.ru/jspui/handle/ru-tsu/15291
ISSN: 2411-197Х
2500-0896
Source: Вестник Тюменского государственного университета. Серия: Гуманитарные исследования. Humanitates. – 2017. – Т. 3, № 3
Appears in Collections:Вестник ТюмГУ: Гуманитарные исследования. Humanitates

Files in This Item:
File Description SizeFormat 
094_112.pdf918.38 kBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.