System theoretic properties of nonlinear systems in discrete time

Abstract

Diese Arbeit befaßt sich mit bestimmten Klassen von dynamischen nichtlinearen Systemen, die beide natürliche Erweiterungen linearer dynamischer Systeme darstellen. Das sind zum einen die sogenannten Hybrid Systems und zum anderen die sogenannten Rekurrenten Neuronalen Netze (RNNs).<br />Dabei wird das Problem der Identifizierung dieser Systeme behandelt, dieses gliedert sich in 3 Teile: Strukturtheorie, Parameter-Schätzung und Ordnungsschätzung.<br />Hybrid Systems entstanden aus einer Kombination von linearen Systemen mit zellulären Automaten. Dadurch sollen physikalische oder technische Prozesse modelliert werden, deren (lineares) Verhalten in Abhängigkeit vom Zustand des Systems wechseln kann. Sind die Komponenten des Zustandsraums, die eine einheitliche Dynamik bilden, durch lineare Restriktionen darstellbar, spricht man von Piecewise Linear Systems (PWL Systems).<br />Rekurrente Neuronale Netze sind nichtlineare Input-Output Systeme mit Rückkopplungen, durch die ein dynamisches System entsteht. Dabei haben die nichtlinearen Funktionen eine bestimmte, meist sigmoide Gestalt, die einen Sättigungseffekt gut modellieren können.<br />Es werden zuerst strukturtheoretische Konzepte eingeführt, sowohl für Hybrid Systems (1, 2), als auch für RNNs. Danach werden weitere Eigenschaften von RNNs beschrieben, meist exemplarisch für den Fall des Elman Netzes. Schließlich wird für einen einfachen Fall ein Ansatz beschrieben, unter welchen Bedingungen man eine konsistente Parameterschätzung erreichen kann.<br />

This thesis deals with certain classes of dynamical nonlinear systems in discrete time, which can be considered natural extensions of linear dynamical systems, especially a class called recurrent neural networks (RNN) as well as piecewise linear systems (being part of a general class of so-called Hybrid Systems).<br />The framework is the problem of identication of a nonlinear system, where in at least one of the system equation a nonlinearity is built in.<br />Hybrid Systems have been created as a combination of linear systems with cellular automata. If the state changes, the behaviour could switch (in a nonlinear fashion) to another linear behaviour. Piecewise Linear Systems (PWL) and Piecewise Anffine Systems (PWA), respectively, are Hybrid Systems, where the subsets of the state space with equal linear dynamics can be described by linear (affine) restrictions.<br />Using a smooth transfer function instead leads to a typical class of so-called Recurrent Neural Networks (RNN), a class of state space-like systems. The nonlinearity resembles activation of a neuron by a signal transmission that must have a certain intensity to be transferred.<br />Typical functions used are S-shaped ones like tanh(x).<br />Identication of such systems consists of three modules, which are structure theory, parameter estimation and order estimation. Structure Theory addresses the questions of identiability, observability, minimality and observational equivalence. Parameter estimation is about choosing a particular system that best describes observed noisy inputs and outputs. This thesis deals with the first two of the three modules.