Statistical inference based on empirical integral transforms

Abstract

Empirical integral transform methods are powerful yet relatively little-known tools of statistical inference. They offer a framework for designing estimators and tests in parametric and non-parametric settings. The procedures typically rely on a distance measure between the transform of a model and its empirical counterpart, or employ empirical versions of some unique transform properties that hold under null hypotheses.This work advances parametric estimation of probability distributions using their Laplace transforms and characteristic functions. Specifically, differential equations satisfied by the transforms are used to construct estimators that are both robust and explicit, while retaining comparatively high efficiency - a rare feature among diverse types of existing estimators. A method is presented for deriving the equations, enabling applications to distributions with intractable transform expressions.The main analytical effort lies in establishing the asymptotic normality and robustness theory of the proposed estimators, with robustness examined through influence functions.Expressions for asymptotic covariance matrices and influence functions often involve intricate integrals, which appears to be the cost for achieving explicitness in the estimators themselves.The thesis places equal emphasis on empirical evidence. Extensive simulations are conducted to compare the proposed estimators with popular robust and non-robust techniques. Various distribution types are considered, including symmetric and skewed ones,with light and heavy tails, further in the presence of outliers and model misspecifications.The combination of experiments and theoretical analysis reveals a crucial finding: an optimal trade-off between efficiency and robustness of the estimators, along with their numerical reliability, can be consistently achieved by pre-estimating the scale of the estimators’ weight function from the sample. The author contends that this aspect has been overlooked in early constructions of transform-based and other minimum distance estimators relying on weighted integrated distances.The transform methods, especially based on the differential-equations, moreover enable inference for a variety of non-standard distributions. Prominent instances include mixed, compound, and non-normalized distributions encountered across diverse application fields. In addition, families of distributions, such as the Pearson or Katz family,are often characterized by differential equations, either in the variable’s or transform domains. Therefore, the presented methods support estimation and identification within entire families. While non-standard models and the families are not our primary focus, numerous examples are given to demonstrate a wider spectrum of applications and motivate further research.A separate chapter is dedicated to goodness-of-fit testing, introducing a novel test for the log-normal distribution based on the Laplace transform. In particular, the procedure utilizes a functional differential equation satisfied by the transform. The test com-pares well in terms of power with several famous tests (e.g., Shapiro-Wilk, Jarque-Bera,Anderson-Darling). Importantly, it tends to be uniformly powerful across distributiona lalternatives and remains quite stable concerning its tuning parameter’s value. Aspects such as consistency, asymptotic distribution of the test statistic, and bootstrap-based determination of critical points, are addressed.

Empirische Integraltransformationstechniken sind leistungsstarke, jedoch vergleichsweise wenig bekannte Werkzeuge der statistischen Inferenz. Sie bieten einen Rahmen für die Entwicklung von Schätzern und Tests in parametrischen und nicht-parametrischen Szenarien. Die Verfahren stützen sich in der Regel auf ein Distanzmaß zwischen der Transformation eines Modells und ihrer empirischen Entsprechung oder verwenden empirische Versionen einiger Transformationseigenschaften, die unter der Nullhypothese gelten.Diese Arbeit zielt darauf ab, die parametrische Schätzung voranzutreiben, indem sie speziell die Differentialgleichungen nutzt, die von den Transformationen von Wahrscheinlichkeitsverteilungen erfüllt werden, insbesondere der Laplace-Transformation und der charakteristischen Funktion. Der Ansatz liefert Schätzer, die sowohl robust als auch explizit sind und dabei eine relativ hohe Effizienz beibehalten - eine seltene Eigenschaft unter verschiedenen Arten von bestehenden Schätzern. Es wird eine Methode zur Ableitung der Gleichungen präsentiert, die Anwendungen auf Verteilungen ermöglicht, derenTransformationen keine Ausdrücke in geschlossener Form aufweisen.Unser primärer analytischer Fokus liegt darauf, die asymptotische Normalität und Robustheitstheorie der vorgeschlagenen Schätzer zu etablieren, wobei die Robustheit durch Einflussfunktionen untersucht wird. Ausdrücke für asymptotische Kovarianzmatrizen und Einflussfunktionen beinhalten oft aufwendige Integrale, was als Preis für die Explizitheit der Schätzer selbst erscheint. Die Dissertation legt gleichen Wert auf empirische Evidenz. Umfangreiche Simulationen werden durchgeführt, um die Leistung der vorgeschlagenen Schätzer mit bekannten robusten und nicht-robusten Schätztechniken zu vergleichen. Verschiedene Verteilungstypen werden berücksichtigt, darunter symmetrische und schief verteilte, mit leichten und schweren Rändern, außerdem in Anwesenheit von Ausreißern und bei Modellspezifikationsfehlern. Die Kombination von Experimenten und theoretischer Analyse enthüllt eine wichtige Erkenntnis: Ein optimaler Ausgleich zwischen Effizienz und Robustheit sowie die numerische Zuverlässigkeit der Schätzer können durch vorherige Schätzung der Skalierung der Gewichtsfunktion der Schätzer konsequent erreicht werden. Der Autor räumt ein, dass dieser Aspekt bei früheren Konstruktionen von transformationsbasierten und anderen Minimum-Abstands-Schätzern, die auf gewichteten integrierten Abständen beruhen, übersehen wurde.Die Transformationsmethoden, insbesondere jene, die auf Differentialgleichungen basieren, ermöglichen zudem Schlussfolgerungen für verschiedene weniger gebräuchliche Verteilungen. Prominente Beispiele umfassen gemischte, zusammengesetzte und nichtnormalisierte Verteilungen, die in verschiedenen Anwendungsbereichen vorkommen. Darüber hinaus werden Verteilungsfamilien wie die Pearson- oder Katz-Familie oft durch Differentialgleichungen charakterisiert, entweder im Verteilungs- oder im Transformationsbereich. Daher unterstützen die vorgestellten Methoden Schätzungen und Identifikationen innerhalb ganzer Familien. Obwohl nicht-standard Modelle und Familien nicht unser Hauptaugenmerk sind, werden zahlreiche Beispiele präsentiert, um ein breiteres Anwendungsspektrum zu veranschaulichen und weitere Forschung zu motivieren.Ein eigenes Kapitel ist Anpassungstests gewidmet und führt einen neuartigen Test für die log-normale Verteilung ein. Dieser Test schneidet in Bezug auf die Teststärke gut ab im Vergleich zu mehreren etablierten Tests (z. B. Shapiro-Wilks, Jarque-Bera, Anderson-Darling). Besonders wichtig ist, dass er dazu neigt, gleichmäßig leistungsstark über verschiedene Verteilungsalternativen zu sein und stabil in Bezug auf den Wert seines Einstellparameters bleibt. Aspekte wie Konsistenz, asymptotische Verteilung und bootstrap-basierte Bestimmung von kritischen Werten werden behandelt.