Оценка качества толкований, сгенерированных с использованием LLM

Abstract

Непрерывная эволюция языка требует поддержания актуальных толковых словарей. Развитие больших языковых моделей позволяет рассмотреть возможность автоматизации этой работы. Проведено сравнение сгенерированных толкований с толкованиями слов из Большого толкового словаря. Для оценки качества толкований проведен опрос среди носителей языка. К обнаруженным недостаткам генерируемых толкований следует отнести неполноту и несоответствие действительности.

The continuous evolution of the language requires the maintenance of up-to-date explanatory dictionaries. The development of large language models allows us to consider the possibility of automating this work. The generated interpretations are compared with the interpretations of words from a Large explanatory dictionary. To assess the quality of interpretations, a survey was conducted among native speakers. The discovered disadvantages of the generated interpretations include incompleteness and inconsistency of reality.