A vision-based sensing system for sentient building models

Abstract

Die Qualität und Kosteneffektivität von Dienstleistungen in der Bauindustrie haben ein grosses Verbesserungspotenzial. Eine mögliche Strategie zur Umsetzung dieses Potenzials besteht darin, Gebäude als sentiente Einheiten zu verstehen, welche sich kontinuierlich an Veränderungen in der Umgebung anpassen. Um sentiente Gebäude zu realisieren, müssen umfassende Modelle der physischen und Verhaltensaspekte von Gebäuden über den Lebenszyklus generiert werden.<br />Eine händische Wartung führt jedoch zu Engpässen, welche das Erreichen von Echtzeit-Unterstützung des Gebäudebetriebs verunmöglichen. Deshalb sollte ein Modell die Fähigkeit haben, sich selber zu aktualisieren. Das bedingt einen vielseitigen Sensormechanismus, welcher Echtzeit-Information über den Zustand eines Gebäudes liefert.<br />Deshalb hat sich die Abteilung für Bauphysik und Bauökologie an der Technischen Universität Wien darauf konzentriert, einen Prototyp eines selbstaktualisierenden Raummodells für den Gebäudebetrieb zu entwickeln.<br />Als Demonstrationsprototyp wurde ein Lichtregelungssystem umgesetzt im Rahmen eines FWF (Fonds zur Förderung der wissenschaftlichen Forschung) Projekts. Das Ziel des Projekts bestand darin, die bestmöglichen Lichtverhältnisse in einem Büroraum zu erzeugen. Für die Generation eines umfassenden, selbst-aktualisierenden Modells ist es notwendig, dass der Systemprototyp Objekte identifizieren, ihre Position bestimmen, sowie die Anwesenheit von Personen im Raum (occupancy) erkennen kann.<br />Zusätzlich zu diesen Erfassungsaktivitäten soll eine mögliche Lösung gebäudespezifische Anforderungen erfüllen, d.h. es soll kostengünstig, wartungsarm und skalierbar sein. In dieser Dissertation wird die Umsetzung von diesen Anforderungen beschrieben. Vor der Beschreibung der Umsetzung werden bestehende Technologien beurteilt. Mit Blick auf die Anforderungen wurden computer-vision-basierte Lösungsansätze als vielversprechend eingeschätzt bezüglich der vorhandenen Software und Anpassbarkeit. Im Rahmen unserer Arbeit mit dem Ziel der Realisierung einer solchen Lösung wurde ein Vision-based Object Location and Occupancy Sensing system (VIOLAS) entwickelt.<br />VIOLAS funktioniert nach dem bekannten Barcode-Leseprinzip und setzt eine Kombination von visuellen Markierungen (Tags) und Videokameras ein.<br />Anders als bei einem Barcode ermöglicht die Struktur der Tags zusätzlich zur Identifikationsnummer die Extraktion von Positionsinformation. Durch bildverarbeitende Methoden erfasst das System in Echtzeit Identifikation und Position eines markierten Objekts. Durch den Einsatz von Videokameras kann es ebenfalls die Anwesenheit von Personen basierend auf Bewegungsanalyse erkennen.<br />Zusätzlich zu diesen primären Zielen soll die Softwareumsetzung von VIOLAS die erwähnten gebäudespezifischen Anforderungen erfüllen. Deshalb wird in dieser Dissertation eine verteilte Systemarchitektur vorgeschlagen, in welcher die Hardware (Kameras) und die Software (bildverarbeitende Programme) über das Internet miteinander verküpft werden. Neben der Skalierbarkeit und inkrementellen Erweiterbarkeit verbessert die verteilte Systemarchitektur die Performance durch parallele Operationen. Die resultierende flexible und anpassbare Struktur ist sehr geeignet für die Anforderungen von Steuerungsandwendungen in sentienten Gebäuden.<br />

The quality and cost effectiveness of services in the building industry possess high potential for improvement. One significant approach in bringing out this potential is to conceive buildings as sentient entities that continuously adapt to changes in the environment.<br />A sentient building possesses a multi-faceted internal representation of its own context, structure, components, systems, and processes. This representation enables the self-regulatory determination of such a building's indoor-environmental status in accordance with the needs of its occupants. However, towards the realization of the sentient buildings, already acquired scientific foundations (theories, methods, and tools) must be transformed into a technically mature and industrially promising level. Specifically, such transformation must occur in three critical areas.<br />Firstly, the representational core of sentient buildings must integrate rather static building component class hierarchies (product models) with process-oriented systems controller hierarchies (process models).<br />Secondly, to achieve real-time building operation support and to avoid bottleneck situations resulting from manual model input and updating activities, the underlying product-process model must possess the capability to autonomously update itself. Finally, given the specific features and challenges of the building systems control domain (e.g.<br />multiple domains/systems, multiple levels of spatial hierarchy, contingencies of outdoor climate and occupancy behavior), proper control semantics (methods, rules, algorithms) must allow for scalable implementation schemes.<br />To provide a proof of concept for the feasibility of this transformation towards the realization of sentient buildings, a lighting control system is developed within the scope of a FWF project. The aim of the project is, concisely, to provide and maintain the most desirable lighting conditions in an office space. The research described in this thesis focuses on the second challenging item of the transformation within the project context. The second item implies that the associated representations must be self-updating, if they are to be applied effectively in the course of building operation and maintenance activities. This requires capabilities in the areas of contextual and indoor-environmental monitoring. In the lighting control system, the required monitoring capabilities arise in three major fields. Objects in the space must be identified, their locations must be sensed and occupancy information must be obtained. In addition to these monitoring activities, the prospective solution must comply with the building-specific requirements, where low-cost, low-maintenance, and scalability are crucial. In this dissertation, the study towards the realization of these capabilities is described. Prior to the implementation of a solution, available technologies are reviewed. With respect to the requirements, vision-based approaches were found to be preferable in terms of being software supported and system customizable. In our efforts for realizing such a solution, a Vision-based Object Location and Occupancy Sensing system (VIOLAS) is developed. VIOLAS extracts context information from the environment using image processing methods applied to the scenes captured by the cameras. VIOLAS utilizes network cameras for this purpose. These new technology cameras are feasible for buildings. They make use of the existing network installation without requiring additional infrastructure. They act like regular network devices, and convey camera images with standard Internet protocols. Through the same communication channel, they also enable the control of third-party devices like pan-tilt units that effectively increase the monitoring ranges. In addition to its primary objectives, the software implementation of VIOLAS must fulfill the aforementioned building-specific requirements.<br />Towards this end, the research proposes a common model that integrates hardware and software whereby the components are tied together via Internet. Network cameras constitute the hardware part of the system, and fit in this structure by conveying video images like as distributed network devices on Internet. Image Processing Units (IPUs) form the distributed software components. They are the programs that perform vision-based sensing and extract the context information by applying optimized image-processing and computer-vision methods on the images captured from the cameras. IPUs, implemented on different computers scattered across the facility, convey the context information to a central Application Server, where the parallel incoming results are combined, displayed to the operator, and concurrently conveyed to the lighting control system. In addition to enabling scalability and incremental growth, the distributed structure of the model enhances performance resulting from the parallel operations.<br />Additional function of the Application Server is to control the status of the components and dynamically assign active network cameras to active IPUs in such a manner that the workload is constantly balanced within the system. This arrangement provides a kind of self-organizing capability, and minimizes operator overhead. The resulting flexible and adaptive structure is highly suited to the requirements of control applications for sentient buildings.<br />