Определение семантического сходства текстов с использованием языковых моделей на основе трансформеров

Abstract

В работе рассматриваются результаты применения трех современных языковых моделей на основе нейросетей-трансформеров BERT для задачи определения семантического сходства текста ответа учащегося и эталонного ответа учителя. Эксперимент проведен на собственном корпусе текстов, состоящем из 1812 пар схожих фраз и словосочетаний. Качество решения задачи оценивалось с помощью пяти статистических метрик: точность, полнота, F-мера, P4, MCC.

The paper discusses the results of applying three modern language models based on BERT transformer neural networks to the task of determining the semantic similarity between a student's response text and a teacher's reference response. The experiment was conducted on a proprietary corpus of texts consisting of 1812 pairs of similar phrases and word combinations. The quality of the task solution was evaluated using five statistical metrics: accuracy, completeness, F-measure, P4, MCC.