Optimizing the scenario eliciting process in scenario-based software architecture evaluations

Abstract

Projekt- und Qualität- Manager im Software-Engineering Umfeld müssen sich mit einem enormen Kosten-, Zeit- und Qualitätsdruck auseinandersetzen, speziell wenn es zu späten Anforderungsänderungen an der System Architektur kommt. Aus diesem Grund ist es sinnvoll sich von Anfang an mit der System Architektur zu beschäftigen. Software Architektur ist ein effektiver und effizienter Ansatz um kritische Bereiche während eines Entwicklungsprozesses bewältigen zu können. Die Implementierung und Durchführung eines Architektur- Review ist eine zeit- und kostenkonsumierende Aufgabe. Hinzu kommt dass die positiven Effekte einer Architektur Evaluierung erst in späteren Projektphasen zum Tragen kommen. Szenarios sind ein etabliertes Mittel um mögliche potentielle Änderungen in der Architektur identifizieren zu können. Sie werden verwendet um kritische und/oder sehr wahrscheinliche Änderungen bereits im Frühstadion der Entwicklung zu identifizieren und ermöglichen es dementsprechende Handlungen zu setzen. Szenarios werden benutzt um verschiedene Varianten der Software Architektur zu analysieren (beispielsweise mit der Architecture Tradeoff Analysis Method ATAM) und zu evaluieren. Die Identifikation der wichtigsten Szenarios stellt eine Hauptaufgabe in der szenario- basierten Software Architektur Evaluation dar. Typischerweise sind höher qualifizierte Mitarbeiter effizienter und effektiver in der Durchführung von Szenario Entwicklungs- Prozessen während eines Reviews. Natürlich sind höher qualifizierte Mitarbeiter auch entsprechend teurer. Aus diesem Grund ist es sinnvoll, schlechter qualifizierte Mitarbeiter Methoden zur Verfügung zu stellen, welche sie bei der Abhaltung von Architektur Reviews unterstützen und in weiterer Folge ihre Evaluierungs- Fähigkeiten optimieren. Ein Ziel dieser Arbeit ist es die Auswirkungen von unterstützen Reviews während des Szenario- Brainstorming Prozesses zu untersuchen und besonderen Augenmerk auf die Effizienz der selbigen zu richten. Allerdings gehen wir auch von negativen Effekten aus, welche in direkter Abhängigkeit zu der "Brainstorming Guidance" Methodik stehen. Aus diesem Grund schlagen wir eine Kombination aus "Brainstorming Guidance" und Ad-Hoc Ansatz (keinerlei Hilfe während der Szenario-Findung) vor. Im Detail analysieren wir Review Teams welche aus Mitgliedern bestehen welche aus beiden Gruppen (Brainstorming Guidance und Ad-Hoc Ansatz) zusammengesetzt wurden. Das zweite Hauptthema dieser Arbeit stellt die Analyse der Ergebnisse dieser kombinierten Teams dar. Basierend auf der empirischen Studie stellt diese Diplomarbeit die Untersuchung der Auswirkungen von Szenario Brainstorming Guidance in das Zentrum mit speziellen Blick auf (a) positive und (b) negative Effekte und (c) den Einfluss von dem neuen Ansatz, der Kombination dieser beiden Methoden. Die Analyse zeigt den Trend dass der Einsatz von "Brainstorming Guidance" zu besseren Ergebnissen verglichen mit dem Ad- Hoc Ansatz führt, allerdings nicht auf statistisch signifikantem Niveau.<br />Nichtsdestotrotz, kann die die "Brainstorming Guidance"- Methode nicht einfach verworfen werden. Die Kombination beider Methoden liefert mit Abstand die besten Resultate. Die Ergebnisse dieser Arbeit können Projekt- und Qualitätsmanager dabei unterstützen effektive und effiziente Szenario Brainstorming Teams zusammenzustellen um Projekt- respektive Produkt- Eigenschaften zu verbessern.

Project and quality managers in software engineering projects have to face high cost, time constraints and quality pressure owing to late changes in requirements regarding the underlying system architecture. Thus, it seems reasonable to focus on software architecture early in the development process. Architecture reviews promise to be effective and efficient approaches for handling this critical issue. The implementation and execution of software architecture review are a time- and effort-consuming activity and are therefore expensive. Additionally, the benefits of early software architecture reviews typically have a positive effect even late in the development project (if customer requirement changes have a strong impact on the architecture) and in maintenance phases (after years of operation).<br />Scenarios are well-established approaches to address possible changes in the architecture. Scenarios spot critical and probable changes in the future, either in later development stages or during maintenance.<br />Scenarios are used to analyse and to evaluate various software architecture variants in architecture analysis processes like ATAM (architecture trade-off analysis method). Thus, the identification of most valuable scenarios is a key issue in architecture evaluation. Typically, more highly qualified engineers are more efficient and effective in conducting scenario brainstorming processes compared with less well-qualified reviewers; higher qualified reviewers are also more expensive. It therefore seems a reasonable idea to help lower qualified reviewers to increase their brainstorming efficiency and effectiveness by providing appropriate methodological guidance. One goal of this thesis is to investigate the impact of guiding reviewers through the scenario brainstorming process with respect to architecture evaluation performance. We also suppose negative effects resulting from the supply of brainstorming guidance. For that reason we propose a combination of brainstorming guidance and an ad-hoc approach (no help during scenario brainstorming). In particular, we analyse review teams which are arranged out of members of both groups. The second major topic of this thesis deals with the investigation of this combined method compared with pure brainstorming guidance. Based on an empirical study this thesis focuses on the investigation of the impact of scenario brainstorming guidance with respect to (a) positive effects and (b) potential negative effects, and (c) the impact of a new approach, the combination of brainstorming guidance and an ad hoc method.<br />The analysis shows a trend for brainstorming guidance to lead to better results, but not on a significant level, and there are negative effects, too. Nevertheless, in the light of the results, brainstorming guidance cannot be rejected. The combination of both methods (use of guidance and ad-hoc approach) leads to the best results by far. The results of this work could support project and quality managers in setting up effective and efficient scenario brainstorming teams for deployment in software architecture to increase maintainability and modifiability.<br />