Requirements-Driven Tests for Cognitive Architectures: AERA as a Case Study

Abstract

Vom Turing-Test bis hin zu modernen Benchmarks wie ARC-AGI ist aufgabenbasiertes Testen ein zentrales Mittel zur Evaluation von KI-Systemen. Moderne KI-Systeme können Aufgaben lösen, die für Menschen allgemeine Intelligenz erfordern würden, zeigen aber selbst keine allgemeine Intelligenz. Kognitive Architekturen werden erforscht, um die Lücke zwischen statistischen Methoden und natürlicher Intelligenz zu schließen. Die Intelligenzanforderungen an solche Architekturen sind jedoch oft vage definiert und werden beim Testen von Softwareimplementierungen solcher Systeme nicht berücksichtigt. Bestehende Aufgabenumgebungen sind typischerweise ad hoc entworfen, was eine systematische Bewertung und einen Vergleich verschiedener Architekturen erschwert. Wir präsentieren eine Methode, die die Intelligenzanforderungen einer kognitiven Architektur als Softwarespezifikation behandelt und diese Anforderungen spezifischen Architekturmechanismen zuordnet, um konkrete Testaufgaben abzuleiten. Wir haben diesen Ansatz auf die Autonomous Empirical Reasoning Architecture (AERA) angewendet und 20 ihrer 32 Anforderungen in 57 Aufgabenumgebungen getestet. Die resultierende Testsuite deckt große Teile der AERA-Dokumentation ab und unterstützt Evaluierung, Entwicklung und Lehre. Unser Ansatz ist auf jede kognitive Architektur mit explizit spezifizierten Intelligenzanforderungen und einer White-Box-Softwareimplementierung erweiterbar.

From the Turing Test to modern benchmarks such as ARC-AGI, task-based testing has remained central to the software evaluation of AI systems. Contemporary AI systems can solve tasks that would require general intelligence if done by humans, yet do not exhibit general intelligence themselves. Cognitive architectures have been pursued by researchers to bridge the gap between statistical methods and natural intelligence. However, intelligence requirements for such architectures are often loosely defined and not taken into account when testing software implementations of such systems. Existing task-environments are typically designed ad hoc, making principled evaluation and comparison across architectures difficult. We present a method that treats a cognitive architecture's intelligence requirements as a software specification, mapping these requirements to specific architectural mechanisms to derive concrete test tasks. We have applied this approach to the Autonomous Empirical Reasoning Architecture (AERA), testing 20 of its 32 requirements across 57 unit task-environments. The resulting test suite covers large parts of AERA's documentation and supports evaluation, development, and education. Our approach is extensible to any cognitive architecture with explicitly specified intelligence requirements and a white-box software implementation.