Анализ применения больших языковых моделей для сравнения открытых ответов учащихся с эталонными

Abstract

В работе представлен анализ моделей естественного языка: трех моделей на основе трансформеров BERT и двух моделей на основе трансформеров GPT, в задаче сравнения открытых коротких ответов учащихся на русском языке с эталонных ответом учителя. Решение опирается на методы определения семантического сходства текстов, моделируемых числовыми характеристическими векторами. Представляются результаты сравнительного анализа в метрике косинусного сходства и с использованием логистической регрессии. Приводятся оценки результатов в статистических метриках качества бинарной классификации: точность (Precision), полнота (Recall), F-мера (F1).

The paper presents an analysis of natural language models: three models based on BERT transformers and two models based on GPT transformers, in the task of comparing open short answers of students in Russian with the reference teacher's answer. The solution is based on methods for determining the semantic similarity of texts modeled by numerical characteristic vectors. The results of a comparative analysis in the cosine similarity metric and using logistic regression are presented. Estimates of the results in statistical metrics of the quality of binary classification are given: accuracy (Precision), completeness (Recall), F-measure (F1).