Повышение качества ответов модели Chat GPT o-3 mini с помощью техник chain of thought и role prompting

Abstract

Данное исследование посвящено применению Chat GPT o-3 mini для оценивания ответов студентов на соответствие эталонному ответу преподавателя и изучению влияния промпта на качество оценок модели. Использовался подход «Zero-Shot Prompting» – модель не обучалась для данной задачи, а сразу получала на вход промпт со словесным описанием задачи исследования, а затем ответы для оценивания. Было проведено тестирование модели с различными промптами, включая ролевой промпт и промпт «цепочка мыслей». Результаты тестирования показали, что лучшим для данной задачи является промпт «цепочка мыслей». При его использовании, F-мера увеличивается с 0,44 до 0,77 по сравнению с простым промптом, а средняя квадратичная ошибка уменьшается с 0,55 до 0,22.

This study is devoted to the use of Chat GPT o-3 mini to evaluate student responses for compliance with the teacher's reference response and to study the effect of prompta on the quality of model evaluations. The «Zero-Shot Prompting» approach was used – the model was not trained for this task, but immediately received a prompt with a verbal description of the research task, and then answers for evaluation. The model was tested with various prompta, including the role-based prompta and the «chain of thought» prompta. The test results showed that the «chain of thought» prompt is the best for this task. When using it, the F-measure increases from 0.44 to 0.77 compared to a simple boost, and the average squared error decreases from 0.55 to 0.22.