Подход к моделированию задачи автоматической классификации текстов (на примере их отнесения к определенной возрастной аудитории)

Abstract

The article considers the problem of automatic text classification as a case study of the audience age prediction from the text. The paper describes some possible ways to formalize the problem and discusses their advantages and disadvantages. It is proposed an approach to mathematical modeling of the domain, which implies the representation of a category as a set of classification features and their critical values and a text as a set of text features and their values. In such a case, the classification by a feature can be represented as a mapping of the set of texts in the set of permissible values for this feature. In the final part of the paper the possibility of using neural network technology as a tool for computer implementation of classification algorithms is proved and a brief review of the literature on the application of neural networks for automatic text classification is provided. The approach suggested by the authors is implemented using neural network technology in the form of a prototype software system.

В статье рассматривается задача автоматической классификации текстов на примере их отнесения к определенной возрастной аудитории. В работе приводятся несколько возможных путей формализации данной задачи, обсуждаются их преимущества и недостатки. Предлагается подход к математическому моделированию предметной области, подразумевающий представление категории как множества классификационных признаков и их критических значений, а текста соответственно – как множества признаков и значений признаков. В таком случае классификация множества текстов по некоторому признаку может быть представлена как отображение множества текстов во множество допустимых значений этого признака. В заключительной части работы обосновывается возможность использования нейросетевых технологий в качестве средства компьютерной реализации алгоритмов классификации и приводится краткий обзор работ, посвященных вопросам применения нейронных сетей для автоматической классификации текстов. Подход, предложенный авторами, реализован с использованием нейросетевых технологий в виде прототипа программного комплекса.