Nose, eyes and ears: head pose estimation by locating facial keypoints

Abstract

Монокулярная оценка позы головы требует изучения модели, которая вычисляет внутренние углы Эйлера для позы (рысканье, тангаж, крен) из входного изображения человеческого лица. Обозначать углы позы головы в реальной ситуации для изображений на практике сложно и требует специальных процедур подгонки. Это подчеркивает необходимость подходов, которые могут тренироваться на данных, полученных в контролируемой среде, и обобщать изображения в естественной среде (с различным внешним видом и освещением лица). Авторы статьи предлагают использовать представление более высокого уровня, чтобы регрессировать позу головы при использовании архитектур глубокого обучения. Более конкретно, они используем карты неопределенности в виде двухмерных изображений тепловой карты мягкой локализации для пяти ключевых точек лица, а именно левого уха, правого уха, левого глаза, правого глаза и носа, и пропускаем их через сверточную нейронную сеть для регрессии позы головы. Результаты оценки позы головы показываются на двух сложных контрольных показателях BIWI и AFLW.

Monocular head pose estimation requires learning a model that computes the intrinsic Euler angles for pose (yaw, pitch, roll) from an input image of human face. Annotating ground truth head pose angles for images in the wild is difficult and requires ad-hoc fitting procedures. This highlights the need for approaches which can train on data captured in controlled environment and generalize on the images in the wild (with varying appearance and illumination of the face). The authors of the article propose to use a higher level representation to regress the head pose while using deep learning architectures. More specifically, they use the uncertainty maps in the form of 2D soft localization heatmap images over five facial key points, namely left ear, right ear, left eye, right eye and nose, and pass them through a convolutional neural network to regress the head-pose. The authors show head pose estimation results on two challenging benchmarks BIWI and AFLW.