Характеристика древнескандинавского языка с точки зрения автоматизации частеречной разметки

Abstract

This article dwells upon automatic PoS-tagging of Old Norse by computational means, including machine learning. It analyzes the available language material in diachrony from the standpoint of how language evolution might have affected the quality of automatic PoStagging. This article further describes the phonetic traits that have assumingly led to any classification errors. The research material is an Old Norwegian educational text titled Konungs skuggsj?, or “King’s Mirror”, vectorized by the moving average method and then used to train an AdaBoosted random forest model. The resulting classification accuracy is about 97%. However, being non-contextual, this vectorization method enables no complete differentiation of morphologically similar parts of speech: verbs, nouns, adjectives, and adverbs. This becomes evident when digging into the identified high-weight classification features, each being a vectoral dimension corresponding to a specific alphabet character; another indicative factor comprises Morfessor-identified high-rank morphs, analyzing which reveals the morphogrammatic units that cause the most classification errors. Historical consideration of these morphs shows that their collision is due to them being inherited from Proto-Germanic (PG) while undergoing rhotacism, or conversion from PG /z/ to ON /r/. However, the same process effectively prevents the collision of rhotacized finite verbal forms with the genitive case that inherits the PG suffix -s. The key finding is that such morphological collision being unavoidable, character-based vectorization might not suffice when using a small training set or when trying to classify not only by parts of speech, but also by specific forms in the paradigm.

В настоящей статье рассматривается проблема частеречной разметки древнескандинавского языка средствами ЭВМ, в том числе машинного обучения, с позиции исторического языкознания. Анализируются диахронические особенности исследуемого языкового материала с точки зрения их влияния на качество осуществляемой автоматизации процесса внесения такой разметки. Описывается характер фонетических аспектов языка, обусловивших возникшие ошибки классификации. В качестве материала исследования используется текст древненорвежского трактата Konungs skuggsj?, векторизованный методом скользящего среднего, затем примененный для обучения модели случайного леса, усиленной алгоритмом AdaBoost. Моделирование обеспечивает высокую выходную точность порядка 97%. Не будучи контекстуально уточненной, применяемая векторизация не обеспечивает полное различение морфологически схожих частей речи: глагола, существительного, прилагательного и наречия. На это указывают как определенные в качестве ключевых параметров классификации векторные измерения, каждое из которых соответствует определенному символу, так и выделенные алгоритмом Morfessor наиболее частотные морфы. Анализ этих морфов позволяет определить перечень морфограмматических единиц, вызывающих наибольшее число ошибок классификации. Рассматривая выделенные морфы в историческом аспекте, отмечаем, что их коллизия обусловлена наследованием аналогично схожих морфов из протогерманского языка в контексте процесса, известного как ротацизм, т. е. преобразования ПГ /z/ в древнескандинавский /r/. Однако тот же самый процесс позволяет избежать коллизии личных глагольных форм, подвергшихся ротацизму, и родительного падежа существительных, унаследовавшего протогерманское окончание -s. Основной вывод заключается в том, что, ввиду неизбежности морфологической коллизии, посимвольной векторной репрезентации может оказаться недостаточно при обучении на малой выборке или при постановке задачи по различению не только частей речи, но и словоформ.