Group Sparsity in Multivariate Ordinal Regression Models

Abstract

Regressionsmodelle mit Sparsity sind zur Modellregularisierung weit verbreitet. Die Erweiterung zu multivariaten ordinalen Antwortvariablen wurde bislang kaum untersucht. Diese Arbeit analysiert existierende Methoden multivariater Regressionsmodelle mit gruppierter Sparsity und ordinaler Regressionsmodelle, um ein multivariates ordinales Regressionsmodell mit gruppierter Sparsity zu entwickeln. Das modellinduzierte Optimierungsproblem verwendet einen verschachtelten Algorithmus, welcher iterativ die quadratische Approximation der Log-likelihood berechnet und das resultierende vereinfachte Problem in einer inneren Schleife löst. Es gibt keine Einschränkung für die Gruppenstrukturen und jede Kombination von Parametern kann verwendet werden. Das Modell ist als Klasse in R implementiert. Simulationen demonstrieren die Effektivität der Regularisierung des Modells bezüglich der Parameterschätzung, Vorhersagegenauigkeit und Interpretierbarkeit insbesondere bei Abweichungen von den Modellannahmen. Das präsentierte Modell bietet einen vielversprechenden Rahmen für die weitere Forschung von multivariaten ordinalen Antwortvariablen.

Sparse regression models are widely used for model regularization, but extending them to multivariate ordinal responses remains underexplored. This thesis analyzes existing methods for group sparse multivariate linear regression models and ordinal regression models to develop a group sparse multivariate ordinal regression model. The model-induced optimization problem is addressed using a nested algorithm that iteratively computes the quadratic approximation of the log-likelihood and solves the resulting surrogate problem in an inner loop. The group structures are not restricted and may contain any combination of parameters. The model is implemented as a class in R. Simulations demonstrate the effectiveness of regularization of the model in terms of parameter estimation, prediction accuracy and interpretability, in particular when model assumptions are violated. The proposed model offers a promising framework for multivariate ordinal response settings, opening the door to further research.