Вывод параметрических функций активации нейронной сети для эффективной аппроксимации решений краевых задач дифференциальных уравнений параболического типа

Abstract

В последнее время приобретает популярность применение нейронных сетей для аппроксимации решений краевых задач дифференциальных уравнений. Метод позволяет получить бессеточную аппроксимацию решения при заранее заданных начально-краевых условиях. Однако для обучения нейронной сети, при произвольной функции активации, требуется использование контрольных точек в области решения, в которых производится проверка выполнения дифференциального уравнения и заданных начально-краевых условий. Качество итоговой нейросетевой аппроксимации складывается из двух факторов: точности выполнения начально-краевых условий и точности аппроксимации дифференциального уравнения. У данного подхода есть ограничения: выполнение дифференциального уравнения в контрольных точках не гарантирует выполнения дифференциального уравнения в произвольных точках решения, отличных от контрольных. Ограничение можно нивелировать за счет проведения перекрестной проверки качества сходимости нейронной сети на тестовых точках, не входящих в обучающий набор, но полностью исключить данный эффект таким методом невозможно. В работе предложен новый подход с использованием параметрических функций активаций, позволяющих эффективно аппроксимировать решения краевых задач линейных дифференциальных уравнений параболического типа. Подход рассмотрен на примере аппроксимации решений краевой задачи уравнения пьезопроводности.

Recently, the use of neural networks for approximating solutions to boundary value problems of differential equations has become popular. The method allows to obtain a grid-free approximation of the solution under predefined initial boundary conditions. However, for training a neural network with an arbitrary activation function, it is necessary to use control points in the solution area, where the fulfillment of the differential equation and the specified initial boundary conditions is checked. The quality of the final neural network approximation consists of two factors: the accuracy of the initial boundary conditions and the accuracy of the approximation of the differential equation. This approach has limitations: performing the differential equation at control points does not guarantee performing the differential equation at arbitrary solution points other than the control points. The limitation can be offset by cross-checking the quality of convergence of the neural network on test points that are not included in the training set, but it is impossible to completely eliminate this effect using this method. A new approach using parametric activation functions is proposed, which makes it possible to efficiently approximate solutions to boundary value problems of linear differential equations of parabolic type. The approach is described on the example of approximation of solutions to the boundary value problem of the diffusivity equation.