Исследование применения LLM для аннотирования записей коммуникаций в рамках проектной деятельности на данных Большой математической мастерской ТюмГУ

Abstract

Работа посвящена исследованию особенностей аннотирования терминологически насыщенных записей коммуникаций студенческих проектных команд с заказчиками по разработке цифровых продуктов. Для оценки обогащенности терминами генерируемых аннотаций предложена и апробирована метрика TermEnrichScore. Представлены результаты вычислительного эксперимента открытых LLM-моделей с оценкой качества их работы и временных затрат на корпусе текстов Большой математической мастерской ТюмГУ.

The work is devoted to the study of the features of annotating terminologically rich records of communications between student project teams and customers for the development of digital products. The TermEnrichScore metric is proposed and tested to assess the enrichment of the generated annotations with terms. The results of a computational experiment of open LLM models with an assessment of the quality of their work and time spent on the corpus of texts of the TSU Large Mathematical Workshop are presented.