TY - JOUR A1 - Delgrande, James Patrick A1 - Schaub, Torsten H. A1 - Tompits, Hans A1 - Woltran, Stefan T1 - On computing solutions to belief change scenarios Y1 - 2001 SN - 3-540- 42464-4 ER - TY - THES A1 - Rätsch, Gunnar T1 - Robust boosting via convex optimization N2 - In dieser Arbeit werden statistische Lernprobleme betrachtet. Lernmaschinen extrahieren Informationen aus einer gegebenen Menge von Trainingsmustern, so daß sie in der Lage sind, Eigenschaften von bisher ungesehenen Mustern - z.B. eine Klassenzugehörigkeit - vorherzusagen. Wir betrachten den Fall, bei dem die resultierende Klassifikations- oder Regressionsregel aus einfachen Regeln - den Basishypothesen - zusammengesetzt ist. Die sogenannten Boosting Algorithmen erzeugen iterativ eine gewichtete Summe von Basishypothesen, die gut auf ungesehenen Mustern vorhersagen. Die Arbeit behandelt folgende Sachverhalte: o Die zur Analyse von Boosting-Methoden geeignete Statistische Lerntheorie. Wir studieren lerntheoretische Garantien zur Abschätzung der Vorhersagequalität auf ungesehenen Mustern. Kürzlich haben sich sogenannte Klassifikationstechniken mit großem Margin als ein praktisches Ergebnis dieser Theorie herausgestellt - insbesondere Boosting und Support-Vektor-Maschinen. Ein großer Margin impliziert eine hohe Vorhersagequalität der Entscheidungsregel. Deshalb wird analysiert, wie groß der Margin bei Boosting ist und ein verbesserter Algorithmus vorgeschlagen, der effizient Regeln mit maximalem Margin erzeugt. o Was ist der Zusammenhang von Boosting und Techniken der konvexen Optimierung? Um die Eigenschaften der entstehenden Klassifikations- oder Regressionsregeln zu analysieren, ist es sehr wichtig zu verstehen, ob und unter welchen Bedingungen iterative Algorithmen wie Boosting konvergieren. Wir zeigen, daß solche Algorithmen benutzt werden koennen, um sehr große Optimierungsprobleme mit Nebenbedingungen zu lösen, deren Lösung sich gut charakterisieren laesst. Dazu werden Verbindungen zum Wissenschaftsgebiet der konvexen Optimierung aufgezeigt und ausgenutzt, um Konvergenzgarantien für eine große Familie von Boosting-ähnlichen Algorithmen zu geben. o Kann man Boosting robust gegenüber Meßfehlern und Ausreissern in den Daten machen? Ein Problem bisheriger Boosting-Methoden ist die relativ hohe Sensitivität gegenüber Messungenauigkeiten und Meßfehlern in der Trainingsdatenmenge. Um dieses Problem zu beheben, wird die sogenannte 'Soft-Margin' Idee, die beim Support-Vector Lernen schon benutzt wird, auf Boosting übertragen. Das führt zu theoretisch gut motivierten, regularisierten Algorithmen, die ein hohes Maß an Robustheit aufweisen. o Wie kann man die Anwendbarkeit von Boosting auf Regressionsprobleme erweitern? Boosting-Methoden wurden ursprünglich für Klassifikationsprobleme entwickelt. Um die Anwendbarkeit auf Regressionsprobleme zu erweitern, werden die vorherigen Konvergenzresultate benutzt und neue Boosting-ähnliche Algorithmen zur Regression entwickelt. Wir zeigen, daß diese Algorithmen gute theoretische und praktische Eigenschaften haben. o Ist Boosting praktisch anwendbar? Die dargestellten theoretischen Ergebnisse werden begleitet von Simulationsergebnissen, entweder, um bestimmte Eigenschaften von Algorithmen zu illustrieren, oder um zu zeigen, daß sie in der Praxis tatsächlich gut funktionieren und direkt einsetzbar sind. Die praktische Relevanz der entwickelten Methoden wird in der Analyse chaotischer Zeitreihen und durch industrielle Anwendungen wie ein Stromverbrauch-Überwachungssystem und bei der Entwicklung neuer Medikamente illustriert. N2 - In this work we consider statistical learning problems. A learning machine aims to extract information from a set of training examples such that it is able to predict the associated label on unseen examples. We consider the case where the resulting classification or regression rule is a combination of simple rules - also called base hypotheses. The so-called boosting algorithms iteratively find a weighted linear combination of base hypotheses that predict well on unseen data. We address the following issues: o The statistical learning theory framework for analyzing boosting methods. We study learning theoretic guarantees on the prediction performance on unseen examples. Recently, large margin classification techniques emerged as a practical result of the theory of generalization, in particular Boosting and Support Vector Machines. A large margin implies a good generalization performance. Hence, we analyze how large the margins in boosting are and find an improved algorithm that is able to generate the maximum margin solution. o How can boosting methods be related to mathematical optimization techniques? To analyze the properties of the resulting classification or regression rule, it is of high importance to understand whether and under which conditions boosting converges. We show that boosting can be used to solve large scale constrained optimization problems, whose solutions are well characterizable. To show this, we relate boosting methods to methods known from mathematical optimization, and derive convergence guarantees for a quite general family of boosting algorithms. o How to make Boosting noise robust? One of the problems of current boosting techniques is that they are sensitive to noise in the training sample. In order to make boosting robust, we transfer the soft margin idea from support vector learning to boosting. We develop theoretically motivated regularized algorithms that exhibit a high noise robustness. o How to adapt boosting to regression problems? Boosting methods are originally designed for classification problems. To extend the boosting idea to regression problems, we use the previous convergence results and relations to semi-infinite programming to design boosting-like algorithms for regression problems. We show that these leveraging algorithms have desirable theoretical and practical properties. o Can boosting techniques be useful in practice? The presented theoretical results are guided by simulation results either to illustrate properties of the proposed algorithms or to show that they work well in practice. We report on successful applications in a non-intrusive power monitoring system, chaotic time series analysis and a drug discovery process. --- Anmerkung: Der Autor ist Träger des von der Mathematisch-Naturwissenschaftlichen Fakultät der Universität Potsdam vergebenen Michelson-Preises für die beste Promotion des Jahres 2001/2002. KW - Boosting KW - Klassifikation mit großem Margin KW - Support-Vector Lernen KW - Regression KW - Regularisierung KW - Mathematische Optimierung KW - Stromverbrauchüberwachung KW - Boosting KW - Large Margin Classification KW - Support Vectors KW - Regression KW - Regularization KW - Mathematical Optimization KW - Power Monitoring KW - Time Series Analysis Y1 - 2001 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-0000399 ER - TY - BOOK A1 - Börner, Ferdinand A1 - Gössel, Michael ED - Gössel, Michael T1 - Grundlagen digitaler Systeme Y1 - 2001 SN - 3-935024-34-7 SN - 978-3-935024-34-1 PB - Univ.-Bibliothek Publ.-Stelle CY - Potsdam ER - TY - BOOK A1 - Sapoznikov, V. V. A1 - Sapoznikov, VL. V. A1 - Gössel, Michael T1 - Samodvojstvennye diskretnye ustrojstva Y1 - 2001 SN - 5-283-04748-2 PB - ?nergoatomizdat CY - Sankt-Peterburg ER - TY - BOOK A1 - Aydin, Suna A1 - Jürgensen, Helmut A1 - Robbins, L. E. T1 - Dialogues as co-operating grammars T3 - Preprint / Universität Potsdam, Institut für Informatik Y1 - 2001 SN - 0946-7580 VL - 2001, 1 PB - Univ. CY - Potsdam ER - TY - JOUR A1 - Wang, Kewen T1 - A comparative study of disjunctive well-founded semantics Y1 - 2001 SN - 3-540-42593-4 ER - TY - THES A1 - Hartje, Hendrik T1 - Schaltungsoptimierung durch Logiktransformationen während des Layoutentwurfs Y1 - 2001 ER - TY - JOUR A1 - Roessner, Ute A1 - Luedemann, A. A1 - Brust, D. A1 - Fiehn, Oliver A1 - Linke, Thomas A1 - Willmitzer, Lothar A1 - Fernie, Alisdair R. T1 - Metabolic profiling allows comprehensive phenotyping of genetically or environmentally modified plant systems Y1 - 2001 SN - 1040-4651 ER - TY - BOOK ED - Benferhat, Salem ED - Besnard, Philippe T1 - Symbolic and quantitative approaches to reasoning with uncertainty : 6th European conference, ECSQARU 2001, Toulouse, France, September 19 - 21, 2001 ; proceedings T3 - Lecture notes in computer science Y1 - 2001 SN - 3-540-42464-4 U6 - https://doi.org/10.1007/3-540-44652-4 VL - 2143 PB - Springer CY - Berlin, Heidelberg ER - TY - JOUR A1 - Schaub, Torsten H. A1 - Wang, Kewen T1 - A comparative study of logic programs with preference Y1 - 2001 ER - TY - JOUR A1 - Wang, Kewen T1 - Disjunctive well-founded semantics revisited Y1 - 2001 ER - TY - JOUR A1 - Wang, Kewen T1 - A top-down procedure for disjucntive well-founded semantics Y1 - 2001 ER - TY - JOUR A1 - Wang, Kewen A1 - Zhou, Lizhu T1 - An extension to GCWA and query evaluation for disjunctive deductive databases Y1 - 2001 ER - TY - JOUR A1 - Anger, Christian A1 - Konczak, Kathrin A1 - Linke, Thomas T1 - A system for non-monotonic reasoning under answer set semantics Y1 - 2001 SN - 3-540-42593-4 ER - TY - JOUR A1 - Besnard, Philippe A1 - Hunter, Anthony T1 - A logic-based theory of deductive arguments Y1 - 2001 SN - 0004-3702 ER - TY - JOUR A1 - Delgrande, James Patrick A1 - Schaub, Torsten H. T1 - How to reason credulously and skeptically within a single extension. Y1 - 2001 SN - 3-540- 42464-4 ER - TY - JOUR A1 - Delgrande, James Patrick A1 - Schaub, Torsten H. A1 - Tompits, Hans T1 - A generic compiler for ordered logic programs Y1 - 2001 SN - 3-540-42593-4 ER - TY - JOUR A1 - Linke, Thomas T1 - Graph theoretical characterization and computation of answer sets Y1 - 2001 SN - 1-558-60777-3 SN - 1045-0823 ER - TY - JOUR A1 - Schaub, Torsten H. A1 - Wang, Kewen T1 - A comparative study of logic programs with preference Y1 - 2001 SN - 1-558-60777-3 SN - 1045-0823 ER - TY - JOUR A1 - Delgrande, James Patrick A1 - Schaub, Torsten H. T1 - How to reason credulously and skeptically within a single extension Y1 - 2001 ER -