TY - THES A1 - Sawade, Christoph T1 - Active evaluation of predictive models T1 - Aktive Evaluierung von Vorhersagemodellen N2 - The field of machine learning studies algorithms that infer predictive models from data. Predictive models are applicable for many practical tasks such as spam filtering, face and handwritten digit recognition, and personalized product recommendation. In general, they are used to predict a target label for a given data instance. In order to make an informed decision about the deployment of a predictive model, it is crucial to know the model’s approximate performance. To evaluate performance, a set of labeled test instances is required that is drawn from the distribution the model will be exposed to at application time. In many practical scenarios, unlabeled test instances are readily available, but the process of labeling them can be a time- and cost-intensive task and may involve a human expert. This thesis addresses the problem of evaluating a given predictive model accurately with minimal labeling effort. We study an active model evaluation process that selects certain instances of the data according to an instrumental sampling distribution and queries their labels. We derive sampling distributions that minimize estimation error with respect to different performance measures such as error rate, mean squared error, and F-measures. An analysis of the distribution that governs the estimator leads to confidence intervals, which indicate how precise the error estimation is. Labeling costs may vary across different instances depending on certain characteristics of the data. For instance, documents differ in their length, comprehensibility, and technical requirements; these attributes affect the time a human labeler needs to judge relevance or to assign topics. To address this, the sampling distribution is extended to incorporate instance-specific costs. We empirically study conditions under which the active evaluation processes are more accurate than a standard estimate that draws equally many instances from the test distribution. We also address the problem of comparing the risks of two predictive models. The standard approach would be to draw instances according to the test distribution, label the selected instances, and apply statistical tests to identify significant differences. Drawing instances according to an instrumental distribution affects the power of a statistical test. We derive a sampling procedure that maximizes test power when used to select instances, and thereby minimizes the likelihood of choosing the inferior model. Furthermore, we investigate the task of comparing several alternative models; the objective of an evaluation could be to rank the models according to the risk that they incur or to identify the model with lowest risk. An experimental study shows that the active procedure leads to higher test power than the standard test in many application domains. Finally, we study the problem of evaluating the performance of ranking functions, which are used for example for web search. In practice, ranking performance is estimated by applying a given ranking model to a representative set of test queries and manually assessing the relevance of all retrieved items for each query. We apply the concepts of active evaluation and active comparison to ranking functions and derive optimal sampling distributions for the commonly used performance measures Discounted Cumulative Gain and Expected Reciprocal Rank. Experiments on web search engine data illustrate significant reductions in labeling costs. N2 - Maschinelles Lernen befasst sich mit Algorithmen zur Inferenz von Vorhersagemodelle aus komplexen Daten. Vorhersagemodelle sind Funktionen, die einer Eingabe – wie zum Beispiel dem Text einer E-Mail – ein anwendungsspezifisches Zielattribut – wie „Spam“ oder „Nicht-Spam“ – zuweisen. Sie finden Anwendung beim Filtern von Spam-Nachrichten, bei der Text- und Gesichtserkennung oder auch bei der personalisierten Empfehlung von Produkten. Um ein Modell in der Praxis einzusetzen, ist es notwendig, die Vorhersagequalität bezüglich der zukünftigen Anwendung zu schätzen. Für diese Evaluierung werden Instanzen des Eingaberaums benötigt, für die das zugehörige Zielattribut bekannt ist. Instanzen, wie E-Mails, Bilder oder das protokollierte Nutzerverhalten von Kunden, stehen häufig in großem Umfang zur Verfügung. Die Bestimmung der zugehörigen Zielattribute ist jedoch ein manueller Prozess, der kosten- und zeitaufwendig sein kann und mitunter spezielles Fachwissen erfordert. Ziel dieser Arbeit ist die genaue Schätzung der Vorhersagequalität eines gegebenen Modells mit einer minimalen Anzahl von Testinstanzen. Wir untersuchen aktive Evaluierungsprozesse, die mit Hilfe einer Wahrscheinlichkeitsverteilung Instanzen auswählen, für die das Zielattribut bestimmt wird. Die Vorhersagequalität kann anhand verschiedener Kriterien, wie der Fehlerrate, des mittleren quadratischen Verlusts oder des F-measures, bemessen werden. Wir leiten die Wahrscheinlichkeitsverteilungen her, die den Schätzfehler bezüglich eines gegebenen Maßes minimieren. Der verbleibende Schätzfehler lässt sich anhand von Konfidenzintervallen quantifizieren, die sich aus der Verteilung des Schätzers ergeben. In vielen Anwendungen bestimmen individuelle Eigenschaften der Instanzen die Kosten, die für die Bestimmung des Zielattributs anfallen. So unterscheiden sich Dokumente beispielsweise in der Textlänge und dem technischen Anspruch. Diese Eigenschaften beeinflussen die Zeit, die benötigt wird, mögliche Zielattribute wie das Thema oder die Relevanz zuzuweisen. Wir leiten unter Beachtung dieser instanzspezifischen Unterschiede die optimale Verteilung her. Die entwickelten Evaluierungsmethoden werden auf verschiedenen Datensätzen untersucht. Wir analysieren in diesem Zusammenhang Bedingungen, unter denen die aktive Evaluierung genauere Schätzungen liefert als der Standardansatz, bei dem Instanzen zufällig aus der Testverteilung gezogen werden. Eine verwandte Problemstellung ist der Vergleich von zwei Modellen. Um festzustellen, welches Modell in der Praxis eine höhere Vorhersagequalität aufweist, wird eine Menge von Testinstanzen ausgewählt und das zugehörige Zielattribut bestimmt. Ein anschließender statistischer Test erlaubt Aussagen über die Signifikanz der beobachteten Unterschiede. Die Teststärke hängt von der Verteilung ab, nach der die Instanzen ausgewählt wurden. Wir bestimmen die Verteilung, die die Teststärke maximiert und damit die Wahrscheinlichkeit minimiert, sich für das schlechtere Modell zu entscheiden. Des Weiteren geben wir eine Möglichkeit an, den entwickelten Ansatz für den Vergleich von mehreren Modellen zu verwenden. Wir zeigen empirisch, dass die aktive Evaluierungsmethode im Vergleich zur zufälligen Auswahl von Testinstanzen in vielen Anwendungen eine höhere Teststärke aufweist. Im letzten Teil der Arbeit werden das Konzept der aktiven Evaluierung und das des aktiven Modellvergleichs auf Rankingprobleme angewendet. Wir leiten die optimalen Verteilungen für das Schätzen der Qualitätsmaße Discounted Cumulative Gain und Expected Reciprocal Rank her. Eine empirische Studie zur Evaluierung von Suchmaschinen zeigt, dass die neu entwickelten Verfahren signifikant genauere Schätzungen der Rankingqualität liefern als die untersuchten Referenzverfahren. KW - Aktive Evaluierung KW - Vorhersagemodelle KW - Maschinelles Lernen KW - Fehlerschätzung KW - Statistische Tests KW - Active Evaluation KW - Predictive Models KW - Machine Learning KW - Error Estimation KW - Statistical Tests Y1 - 2012 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-65583 SN - 978-3-86956-255-1 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - THES A1 - Grimm-Seyfarth, Annegret T1 - Effects of climate change on a reptile community in arid Australia T1 - Auswirkungen von Klimawandel auf eine Reptiliengemeinschaft im ariden Australien BT - exploring mechanisms and processes in a hot, dry, and mysterious ecosystem BT - eine Untersuchung von Mechanismen und Prozessen in einem heißen, trockenen, und rätselhaften Ökosystem N2 - Dies ist eine kumulative Dissertation, die drei Originalstudien umfasst (eine publiziert, eine in Revision, eine eingereicht; Stand Dezember 2017). Sie untersucht, wie Reptilienarten im ariden Australien auf verschiedene klimatische Parameter verschiedener räumlicher Skalen reagieren und analysiert dabei zwei mögliche zugrunde liegende Hauptmechanismen: Thermoregulatorisches Verhalten und zwischenartliche Wechselwirkungen. In dieser Dissertation wurden umfassende, individuenbasierte Felddaten verschiedener trophischer Ebenen kombiniert mit ausgewählten Feldexperimenten, statistischen Analysen, und Vorhersagemodellen. Die hier erkannten Mechanismen und Prozesse können nun genutzt werden, um mögliche Veränderungen der ariden Reptiliengesellschaft in der Zukunft vorherzusagen. Dieses Wissen wird dazu beitragen, dass unser Grundverständnis über die Konsequenzen des globalen Wandels verbessert und Biodiversitätsverlust in diesem anfälligen Ökosystem verhindert wird. N2 - This is a cumulative dissertation comprising three original studies (one published, one in revision, one submitted; Effective December 2017) investigating how reptile species in arid Australia respond to various climatic parameters at different spatial scales and analysing the two potential main underlying mechanisms: thermoregulatory behaviour and species interactions. This dissertation combines extensive individual-based field data across trophic levels, selected field experiments, statistical analyses, and predictive modelling techniques. Mechanisms and processes detected in this dissertation can now be used to predict potential future changes in the community of arid-zone lizards. This knowledge will help improving our fundamental understanding of the consequences of global change and thereby prevent biodiversity loss in a vulnerable ecosystem. KW - Australien KW - Reptilien KW - Australia KW - reptiles KW - Populationsökologie KW - population ecology KW - Thermoregulationsverhalten KW - thermoregulatory behaviour KW - interspezifische Wechselwirkungen KW - interspecific interactions KW - Vorhersagemodelle KW - predictive modelling KW - Klimawandel KW - climate change KW - Wüste KW - desert Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-412655 ER - TY - THES A1 - Ghahremani, Sona T1 - Incremental self-adaptation of dynamic architectures attaining optimality and scalability T1 - Inkrementelle Selbstanpassung dynamischer Architekturen zum Erreichen von Optimalität und Skalierbarkeit N2 - The landscape of software self-adaptation is shaped in accordance with the need to cost-effectively achieve and maintain (software) quality at runtime and in the face of dynamic operation conditions. Optimization-based solutions perform an exhaustive search in the adaptation space, thus they may provide quality guarantees. However, these solutions render the attainment of optimal adaptation plans time-intensive, thereby hindering scalability. Conversely, deterministic rule-based solutions yield only sub-optimal adaptation decisions, as they are typically bound by design-time assumptions, yet they offer efficient processing and implementation, readability, expressivity of individual rules supporting early verification. Addressing the quality-cost trade-of requires solutions that simultaneously exhibit the scalability and cost-efficiency of rulebased policy formalism and the optimality of optimization-based policy formalism as explicit artifacts for adaptation. Utility functions, i.e., high-level specifications that capture system objectives, support the explicit treatment of quality-cost trade-off. Nevertheless, non-linearities, complex dynamic architectures, black-box models, and runtime uncertainty that makes the prior knowledge obsolete are a few of the sources of uncertainty and subjectivity that render the elicitation of utility non-trivial. This thesis proposes a twofold solution for incremental self-adaptation of dynamic architectures. First, we introduce Venus, a solution that combines in its design a ruleand an optimization-based formalism enabling optimal and scalable adaptation of dynamic architectures. Venus incorporates rule-like constructs and relies on utility theory for decision-making. Using a graph-based representation of the architecture, Venus captures rules as graph patterns that represent architectural fragments, thus enabling runtime extensibility and, in turn, support for dynamic architectures; the architecture is evaluated by assigning utility values to fragments; pattern-based definition of rules and utility enables incremental computation of changes on the utility that result from rule executions, rather than evaluating the complete architecture, which supports scalability. Second, we introduce HypeZon, a hybrid solution for runtime coordination of multiple off-the-shelf adaptation policies, which typically offer only partial satisfaction of the quality and cost requirements. Realized based on meta-self-aware architectures, HypeZon complements Venus by re-using existing policies at runtime for balancing the quality-cost trade-off. The twofold solution of this thesis is integrated in an adaptation engine that leverages state- and event-based principles for incremental execution, therefore, is scalable for large and dynamic software architectures with growing size and complexity. The utility elicitation challenge is resolved by defining a methodology to train utility-change prediction models. The thesis addresses the quality-cost trade-off in adaptation of dynamic software architectures via design-time combination (Venus) and runtime coordination (HypeZon) of rule- and optimization-based policy formalisms, while offering supporting mechanisms for optimal, cost-effective, scalable, and robust adaptation. The solutions are evaluated according to a methodology that is obtained based on our systematic literature review of evaluation in self-healing systems; the applicability and effectiveness of the contributions are demonstrated to go beyond the state-of-the-art in coverage of a wide spectrum of the problem space for software self-adaptation. N2 - Die Landschaft der Software-Selbstanpassungen ist von der Notwendigkeit geprägt, zur Laufzeit und angesichts dynamischer Betriebsbedingungen kosteneffizient (Software-)Qualität zu erreichen und aufrechtzuerhalten. Optimierungsbasierte Lösungen führen eine umfassende Suche im Anpassungsraum durch und können daher Qualitätsgarantien bieten. Allerdings machen diese Lösungen das Erreichen optimaler Anpassungspläne zeitintensiv und behindern dadurch die Skalierbarkeit. Umgekehrt führen deterministische regelbasierte Lösungen nur zu suboptimalen Anpassungsentscheidungen, da sie typischerweise an Annahmen zur Entwurfszeit gebunden sind. Sie bieten jedoch eine effiziente Verarbeitung und Implementierung, Lesbarkeit und Ausdruckskraft einzelner Regeln und unterstützen so eine frühzeitige Überprüfung der Korrektheit. Um den Kompromiss zwischen Qualität und Kosten anzugehen, sind Lösungen erforderlich, die gleichzeitig die Skalierbarkeit und Kosteneffizienz des regelbasierten Strategieformalismus und die Optimalität des optimierungsbasierten Strategieformalismus als explizite Artefakte für die Anpassung berücksichtigen. Utility-Funktionen, d.h. Spezifikationen auf abstrakter Ebene, die Systemziele erfassen, unterstützen die explizite Behandlung des Qualität-Kosten-Kompromisses. Dennoch sind Nichtlinearitäten, komplexe dynamische Architekturen, Black-Box-Modelle und Laufzeitunsicherheit, die das Vorwissen überflüssig macht, einige der Quellen von Unsicherheit und Subjektivität, die die Utility-Erhöhung nicht trivial machen. Diese Arbeit schlägt eine zweifältige Lösung für die inkrementelle Selbstanpassung dynamischer Architekturen vor. Zunächst stellen wir Venus vor, eine Lösung, die in ihrem Design einen regel- und optimierungsbasierten Formalismus kombiniert und so eine optimale und skalierbare Anpassung dynamischer Architekturen ermöglicht. Venus enthält regelartige Konstrukte und nutzt die Utility-Theorie für die Entscheidungsfindung. Mithilfe einer graphbasierten Darstellung der Architektur erfasst Venus Regeln als Graphmuster, die Architekturfragmente darstellen, und ermöglicht so die Erweiterbarkeit zur Laufzeit und damit die Unterstützung dynamischer Architekturen. Die Architektur wird bewertet, indem den Fragmenten Utility-Werte zugewiesen werden. Die graphbasierte Definition von Regeln und Utility ermöglicht die inkrementelle Berechnung von Änderungen der Utility, die sich aus Regelausführungen ergeben, anstatt die gesamte Architektur zu bewerten, was die Skalierbarkeit verbessert. Des weiteren stellen wir HypeZon vor, eine Hybridlösung zur Laufzeitkoordination mehrerer Standardanpassungsstrategien, die typischerweise nur eine partielle Erfüllung der Qualitäts- und Kostenanforderungen bieten. HypeZon wurde auf der Grundlage der meta-selbstwahrnehmenden Architekturen umgesetzt und ergänzt Venus durch die Wiederverwendung bestehender Strategien zur Laufzeit, um den Kompromiss zwischen Qualität und Kosten auszubalancieren. Die zweifältige Lösung aus dieser Dissertation ist in eine Anpassungs-Engine integriert, die zustands- und ereignisbasierte Prinzipien für die inkrementelle Ausführung nutzt und daher für große und dynamische Softwarearchitekturen mit wachsender Größe und Komplexität skalierbar ist. Die Herausforderung der Erhöhung der Utility wird durch die Definition einer Methodik gelöst, die zum Trainieren von Modellen zur Vorhersage von Utility-Änderungen verwendet wird. Die Dissertation befasst sich mit dem Qualität-Kosten-Kompromiss bei der Anpassung dynamischer Softwarearchitekturen durch Entwurfszeitkombination (Venus) und Laufzeitkoordination (HypeZon) von regel- und optimierungsbasierten Strategieformalismen und bietet gleichzeitig unterstützende Mechanismen für optimale, kosteneffektive, skalierbare und robuste Anpassung. Die Lösungen werden nach einer Methodik bewertet, die auf unserer systematischen Literaturrecherche zur Bewertung von selbstheilenden Systemen basiert. Die Anwendbarkeit und Wirksamkeit der Lösungen geht nachweislich über den Stand der Technik hinaus und deckt ein breites Spektrum des Problembereichs der Software-Selbstanpassung ab. KW - self-healing KW - self-adaptive systems KW - architecture-based software adaptation KW - utility functions KW - prediction models KW - meta self-adaptation KW - model-driven engineering KW - scalable KW - architekturbasierte Softwareanpassung KW - Meta-Selbstanpassung KW - modellgesteuerte Entwicklung KW - Vorhersagemodelle KW - skalierbar KW - selbstanpassende Systeme KW - selbstheilende Systeme KW - Utility-Funktionen Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-624232 ER -