Physical modelling based on neural network approaches with orthogonal activation functions

Abstract

In dieser Diplomarbeit werden zwei physikalische Modelle, der Bouncing Ball und das Pendel, mit neuronalen Netzen modelliert. Dabei werden verschiedene Klassen von orthogonalen Polynome für die Berechnung des Eingangs und den daraus resultierenden Ausgang verwendet. Die Klassen der orthogonalen Polynome sind die Chebyshev, Hermite, Laguerre und Legendre Polynome. Unabhängig von der Polynomgruppe werden diese Art von neuronalen Netzen als Neural networks with orthogonal activation functions (OAFNN) bezeichnet. Im ersten Kapitel der Arbeit werden die Grundlagen der Modellbildung und Simulation sowie der künstlichen Intelligenz erläutert, gefolgt von der allgemeinen Struktur neuronaler Netze. Hierbei wird der genaue Aufbau von OAFNNs skizziert. Außerdem wird eine Klasse von neuronalen Netzen, die High order neural networks (HONNs) als Vergleich zur Bewertung der Ergebnisse herangezogen. Für das detaillierte Verständnis von OAFNNs werden lineare, quadratische Funktionen, sowie die Sinusfunktion und die gedämpfte Sinusfunktion approximiert. Hierbei werden die verschiedenen Klassen von Polynomen miteinander verglichen. Es wird sich herausstellen, dass die Chebyshevpolynome die beste Performance haben. Daher werden diese Polynome bei der Approximation der physikalischen Probleme für die OAFNNs verwendet. Die Arbeit vergleicht zudem HONNs und OAFNNs aufgrund ihrere Ähnlichkeit im Aufbau. Diese Ähnlichkeiten ergeben sich, wenn für das OAFNN die Polynome mit der Monombasis verwendet werden. Der Vergleich zeigt, dass das OAFNN niedrigere Fehler erreicht als das HONN. Mit den erlangten Erkenntnissen wird am Schluss das Verhalten des Bouncing Balls und des Pendels modelliert und approximiert. Das Verhalten des Bouncing Balls wird für einen konkreten Startwert modelliert, dabei ist im Allgemeinen eine bessere Performance zu beobachten, wenn man das System in kleinere Subsysteme aufteilt. Für das Pendel gilt: die beschriebenen OAFNNs approximieren das Pendelproblem ohne freien Fall sehr gut, jedoch ist ein OAFNN ungeeignet für die Modellierung des Pendels mit freien Fallphasen.

The purpose of this thesis is to use neural networks based on orthogonal activation functions (OAFNN) to approximate the behaviour of two examples from physical modelling, namely the bouncing ball and the rotating pendulum. In general, neural networks can be used to compute a specific output for a given input. The networks in this thesis evaluate different classes of orthogonal polynomials as orthogonal activation functions of the input. Theses activation functions are given by classes of orthogonal polynomials, Chebyshev, Hermite, Laguerre and Legendre polynomials. First part of the thesis are the basics of modelling and Artificial Intelligence. Furthermore, general neural network structures, including OAFNNs and high order neural networks (HONN), are introduced in detail. In order to obtain satisfactory approximations for the examples from physical modelling, the different performances of polynomials in the OAFNNs are analysed for linear, quadratic, sinoide and damped sinoide functions. The main goal is to evaluate performances of the different orthogonal polynomials and to decipher optimal parameter settings. Since Chebyshev polynomials lead to the most desireable results regarding function approximation, they are used for modelling the physical problems henceforth. Based on the similarities of HONNs and OAFNNs using polynomials with monomial basis, the results of the HONNs are used for comparison in the case of a trigonometric function and a damped sine function. It turns out that the OAFNN with monomial basis achieves better results. Insights and findings gained by this research are combined and used in the testing for the approximation of the bouncing ball and pendulum. For the bouncing ball, it can be shown that it is possible to model the behaviour for one chosen start value. The evaluation of the settings shows that better approximations are received if the system is split into continous subsystems. For the pendulum, the OAFNNs are able to approximate the behaviour of a starting value without free fall phases. However, one class of OAFNNs does not perform satisfactorily within the approximation of free fall. To sum up, it can be said that the performance of the OAFNNs depend more on the parameters within the neural network than on the problem itself. Therefore, the parameters have to be chosen for each problem individually for receiving the good performance.