Конвейерный метод для распознавания комплексных действий объектов в системах видеонаблюдения

Abstract

Разработка интеллектуальных систем видеонаблюдения – это область активных исследований, в которой представлены решения для использования в определенных условиях. Кроме того, сформулирован ряд проблем, которые требуют решения. В частности, это проблема распознавания комплексных действий, которые состоят из последовательностей элементарных действий и, как правило, трудно поддаются классификации по одному кадру видеозаписи. Настоящее исследование посвящено решению задачи распознавания комплексных действий на видеозаписях. Целью работы является разработка конвейерного метода (пайплайна) для распознавания комплексных действий, которые совершает наблюдаемый объект на видеозаписях. Новизна работы заключается в подходе к моделированию действия с помощью последовательностей элементарных действий и сочетания нейронных сетей и стохастических моделей. Предлагаемое решение может быть использовано для разработки интеллектуальных систем видеонаблюдения с целью обеспечения безопасности на производственных объектах, включая объекты нефтегазовой отрасли. Было проведено исследование видеозаписей объектов, совершающих различные действия. Выделены признаки, описывающие комплексные действия, и их свойства. Сформулирована задача распознавания комплексных действий, представленных последовательностью элементарных действий. В результате был разработан пайплайн, реализующий комбинированный подход. Элементарные действия описываются с помощью скелетной модели в графической форме. Каждое элементарное действие распознается с помощью сверточной нейронной сети, затем комплексные действия моделируются с помощью скрытой марковской модели. Разработанный пайплайн был протестирован на видеозаписях студентов, действия которых были разделены на две категории: списывание и обычные действия. В результате экспериментов точность классификации элементарных действий составила 0,69 по метрике accuracy, точность бинарной классификации комплексных действий составила 0,71. Кроме того, были указаны ограничения разработанного пайплайна и выделены дальнейшие пути развития и исследования применяемых подходов, в частности исследование помехоустойчивости.

The development of intelligent video surveillance systems is an area of active research, presenting solutions for use in specifc environments. In addition, several problems have been formulated that need to be addressed. This is the problem of recognizing complex actions, which consist of sequences of elementary actions and, as a rule, are difcult to classify from a single frame of a video recording. The present study is devoted to solving the problem of recognizing complex actions on video recordings. The aim of the work is to develop a pipeline for recognizing complex actions that an observed object performs on video recordings. The novelty of the work lies in the approach to action modeling using sequences of elementary actions and a combination of neural networks and stochastic models. The proposed solution can be used to develop intelligent video surveillance systems to ensure security at production facilities, including oil and gas industry facilities. We analyzed video recordings of objects performing various actions. The features describing complex actions and their properties are singled out. The problem of recognition of complex actions represented by a sequence of elementary actions is formulated. As a result, we developed a pipeline implements a combined approach. Elementary actions are described using a skeletal model in graphical form. Each elementary action is recognized using a convolutional neural network, then complex actions are modeled using a hidden Markov model. The developed pipeline was tested on videos of students, whose actions were divided into two categories: cheating and ordinary actions. As a result of the experiments, the classifcation accuracy of elementary actions was 0.69 according to the accuracy metric, the accuracy of the binary classifcation of complex actions was 0.71. In addition, the constraints of the developed pipeline were indicated and further ways of enhancing the applied approaches were highlighted, in particular, the study of noise immunity.