TY - THES A1 - Tan, Jing T1 - Multi-Agent Reinforcement Learning for Interactive Decision-Making T1 - Multiagenten Verstärkendes Lernen für Interaktive Entscheidungsfindung N2 - Distributed decision-making studies the choices made among a group of interactive and self-interested agents. Specifically, this thesis is concerned with the optimal sequence of choices an agent makes as it tries to maximize its achievement on one or multiple objectives in the dynamic environment. The optimization of distributed decision-making is important in many real-life applications, e.g., resource allocation (of products, energy, bandwidth, computing power, etc.) and robotics (heterogeneous agent cooperation on games or tasks), in various fields such as vehicular network, Internet of Things, smart grid, etc. This thesis proposes three multi-agent reinforcement learning algorithms combined with game-theoretic tools to study strategic interaction between decision makers, using resource allocation in vehicular network as an example. Specifically, the thesis designs an interaction mechanism based on second-price auction, incentivizes the agents to maximize multiple short-term and long-term, individual and system objectives, and simulates a dynamic environment with realistic mobility data to evaluate algorithm performance and study agent behavior. Theoretical results show that the mechanism has Nash equilibria, is a maximization of social welfare and Pareto optimal allocation of resources in a stationary environment. Empirical results show that in the dynamic environment, our proposed learning algorithms outperform state-of-the-art algorithms in single and multi-objective optimization, and demonstrate very good generalization property in significantly different environments. Specifically, with the long-term multi-objective learning algorithm, we demonstrate that by considering the long-term impact of decisions, as well as by incentivizing the agents with a system fairness reward, the agents achieve better results in both individual and system objectives, even when their objectives are private, randomized, and changing over time. Moreover, the agents show competitive behavior to maximize individual payoff when resource is scarce, and cooperative behavior in achieving a system objective when resource is abundant; they also learn the rules of the game, without prior knowledge, to overcome disadvantages in initial parameters (e.g., a lower budget). To address practicality concerns, the thesis also provides several computational performance improvement methods, and tests the algorithm in a single-board computer. Results show the feasibility of online training and inference in milliseconds. There are many potential future topics following this work. 1) The interaction mechanism can be modified into a double-auction, eliminating the auctioneer, resembling a completely distributed, ad hoc network; 2) the objectives are assumed to be independent in this thesis, there may be a more realistic assumption regarding correlation between objectives, such as a hierarchy of objectives; 3) current work limits information-sharing between agents, the setup befits applications with privacy requirements or sparse signaling; by allowing more information-sharing between the agents, the algorithms can be modified for more cooperative scenarios such as robotics. N2 - Die Verteilte Entscheidungsfindung untersucht Entscheidungen innerhalb einer Gruppe von interaktiven und eigennützigen Agenten. Diese Arbeit befasst sich insbesondere mit der optimalen Folge von Entscheidungen eines Agenten, der das Erreichen eines oder mehrerer Ziele in einer dynamischen Umgebung zu maximieren versucht. Die Optimierung einer verteilten Entscheidungsfindung ist in vielen alltäglichen Anwendungen relevant, z.B. zur Allokation von Ressourcen (Produkte, Energie, Bandbreite, Rechenressourcen etc.) und in der Robotik (heterogene Agenten-Kooperation in Spielen oder Aufträgen) in diversen Feldern wie Fahrzeugkommunikation, Internet of Things, Smart Grid, usw. Diese Arbeit schlägt drei Multi-Agenten Reinforcement Learning Algorithmen kombiniert mit spieltheoretischen Ansätzen vor, um die strategische Interaktion zwischen Entscheidungsträgern zu untersuchen. Dies wird am Beispiel einer Ressourcenallokation in der Fahrzeug-zu-X-Kommunikation (vehicle-to-everything) gezeigt. Speziell wird in der Arbeit ein Interaktionsmechanismus entwickelt, der auf Basis einer Zweitpreisauktion den Agenten zur Maximierung mehrerer kurz- und langfristiger Ziele sowie individueller und Systemziele anregt. Dabei wird eine dynamische Umgebung mit realistischen Mobilitätsdaten simuliert, um die Leistungsfähigkeit des Algorithmus zu evaluieren und das Agentenverhalten zu untersuchen. Eine theoretische Analyse zeigt, dass bei diesem Mechanismus das Nash-Gleichgewicht sowie eine Maximierung von Wohlfahrt und Pareto-optimaler Ressourcenallokation in einer statischen Umgebung vorliegen. Empirische Untersuchungen ergeben, dass in einer dynamischen Umgebung der vorgeschlagene Lernalgorithmus den aktuellen Stand der Technik bei ein- und mehrdimensionaler Optimierung übertrifft, und dabei sehr gut auch auf stark abweichende Umgebungen generalisiert werden kann. Speziell mit dem langfristigen mehrdimensionalen Lernalgorithmus wird gezeigt, dass bei Berücksichtigung von langfristigen Auswirkungen von Entscheidungen, als auch durch einen Anreiz zur Systemgerechtigkeit, die Agenten in individuellen als auch Systemzielen bessere Ergebnisse liefern, und das auch, wenn ihre Ziele privat, zufällig und zeitveränderlich sind. Weiter zeigen die Agenten Wettbewerbsverhalten, um ihre eigenen Ziele zu maximieren, wenn die Ressourcen knapp sind, und kooperatives Verhalten, um Systemziele zu erreichen, wenn die Ressourcen ausreichend sind. Darüber hinaus lernen sie die Ziele des Spiels ohne vorheriges Wissen über dieses, um Startschwierigkeiten, wie z.B. ein niedrigeres Budget, zu überwinden. Für die praktische Umsetzung zeigt diese Arbeit auch mehrere Methoden auf, welche die Rechenleistung verbessern können, und testet den Algorithmus auf einem handelsüblichen Einplatinencomputer. Die Ergebnisse zeigen die Durchführbarkeit von inkrementellem Lernen und Inferenz innerhalb weniger Millisekunden auf. Ausgehend von den Ergebnissen dieser Arbeit könnten sich verschiedene Forschungsfragen anschließen: 1) Der Interaktionsmechanismus kann zu einer Doppelauktion verändert und dabei der Auktionator entfernt werden. Dies würde einem vollständig verteilten Ad-Hoc-Netzwerk entsprechen. 2) Die Ziele werden in dieser Arbeit als unabhängig betrachtet. Es könnte eine Korrelation zwischen mehreren Zielen angenommen werden, so wie eine Zielhierarchie. 3) Die aktuelle Arbeit begrenzt den Informationsaustausch zwischen Agenten. Diese Annahme passt zu Anwendungen mit Anforderungen an den Schutz der Privatsphäre oder bei spärlichen Signalen. Indem der Informationsaustausch erhöht wird, könnte der Algorithmus auf stärker kooperative Anwendungen wie z.B. in der Robotik erweitert werden. KW - V2X KW - distributed systems KW - reinforcement learning KW - game theory KW - auction KW - decision making KW - behavioral sciences KW - multi-objective KW - V2X KW - Verteilte Systeme KW - Spieltheorie KW - Auktion KW - Entscheidungsfindung KW - Verhaltensforschung KW - verstärkendes Lernen KW - Multiziel Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-607000 ER - TY - THES A1 - Henike, Tassilo T1 - Cognition and entrepreneurial business modelling BT - the impacts of cognitive dispositions, search activities and visual framing BT - Die Einflüsse kognitiver Dispositionen, Suchaktivitäten und visuellen Framings N2 - Although the search for promising business models (BMs) is crucial for every profit-oriented venture, searching for those challenges in particular entrepreneurs. Limited resources, missing expertise and absolute uncertainty call entrepreneurs to strongly rely on their cognition in searching for a promising BM. However, as prior studies have examined cognitive search activities in isolation and neglected cognitive differences, explanations of how cognitive factors affect the BM process and outcomes are thus far insufficient. Addressing the overall question of how BMs emerge, the dissertation contributes to the cognitive perspective in entrepreneurship and BM research. Building on the dual-process theory from cognitive psychology, the micro-foundations of managerial decision-making and insights from framing literature, this dissertation explicitly investigates the impacts of different cognitive dispositions, search activities and visual framing effects. The core assumption is that cognitive dispositions and entrepreneurs’ searches for information determine their BM decision-making. Furthermore, BM visualisations have become popular instruments with which to explain and manage today’s complex business interactions. As they abstract from reality, they can also unfold impacts on the cognitive processes. This dissertation offers new explanations to these aspects and consists of three studies and one reflective article. The first study explores the impacts of differences in search activities and cognitive dispositions in a qualitative study with 70 entrepreneurship students. The second qualitative study explores the cognitive impacts of 103 BM visualisations. Third, a quantitative PLS-SEM experiment with 197 entrepreneurs illuminates the link between BM visualisations and cognition. The reflective article expresses the results’ meaning for the teaching of BMs. In sum, the studies have resulted in a new theory of stabilising factors explaining how cognitive dispositions, search activities and visual framing determine entrepreneurs’ decisions to imitate or deviate from existing BMs. It indicates that the decision depends on the context-dependent strategic orientation and cognitive disposition-dependent cognitive safety, that is the correspondence between characteristics of cognitive dispositions and search activities. Moreover, the studies identified five visual framing effects that are independent of cognitive dispositions and prior experiences. This provides fertile contributions to the literature on BM methods and how BM visualisations affect decisions. Most importantly, BM visualisations provide an emotionally stabilising function to rational entrepreneurs, a cognitively stabilising function to experiential participants and do not affect indifferent participants in general. N2 - Die Suche nach vielversprechenden Geschäftsmodellen (GMen) ist für jedes gewinn-orientierte Unternehmen essenziell. Die Suche fordert vor allem Neugründer heraus. Aufgrund begrenzter Ressourcen, fehlender Erfahrungen und hoher Unsicherheit beruht deren Suche stark auf deren Kognition. Die bisherigen Erklärungen, wie sich kognitive Faktoren auf GM-Prozesse und -Ergebnisse auswirken, sind jedoch unzureichend. Diese vernachlässigen indivi¬duelle Unterschiede und betrachten ausschließlich einzelne, kognitive Suchaktivitäten. Diese Dissertation befasst sich folglich mit der allgemeinen Frage, wie GMe entstehen. Aufbauend auf der Dual-Process-Theorie, den Mikro-Grundlagen der Entscheidungsfindung und Framingeffekten werden die Auswirkungen verschiedener kognitiver Dispositionen, Suchaktivitäten und visueller Framingeffekte auf GM-Prozesse und -Ergebnisse untersucht. Grundlegend bestimmen die kognitive Disposition und Suchaktivitäten den Prozess. Darüber hinaus können auch GM-Visualisierungen Einflüsse entfalten, da sie von der Realität abstrahieren. Die Beantwortung der Frage, welche Einflüsse sie ausüben, ist bedeutend, da sie genutzt werden, um heutige, komplexe Geschäftsbeziehungen zu erklären und zu steuern. Die Dissertation bietet neue Erklärungen zu diesen Aspekten und besteht aus drei Studien und einem Reflexionsartikel. Die erste Studie untersucht die Auswirkungen von Unterschieden bei Suchaktivitäten und kognitiven Dispositionen in einer qualitativen Studie mit 70 Entrepre¬neurship-Studierenden. Die zweite, qualitative Studie untersucht die kognitiven Auswirkungen von 103 GM-Visualisierungen. Drittens beleuchtet ein quantitatives PLS-SEM-Experiment mit 197 Gründern die Beziehung zwischen GM-Visualisierungen und Kognition. Der Reflexions¬artikel beschreibt die Bedeutung der Ergebnisse für die GM-Lehre. Zusammenfassend trägt diese Dissertation zur kognitiven Perspektive der GM- und Ent¬repreneurship-Forschung bei. Die Ergebnisse eröffnen eine neue theoretische Erklärung und erweitern das Wissen über GM-Methoden. Sta¬bilisierende Faktoren wie der Zusammenhang zwischen Disposition und Suchaktivitäten sind Grundvoraussetzung für Gründer, um neuartige GMe zu entwickeln. Diese neue Erkenntnis wird durch das neue Konzept, kognitive Sicherheit, als kontext-unabhängige GM-Auswirkung be¬schrieben. Die strategische Orientierung wirkt sich kontextabhängig aus. Des Weiteren wurden fünf visuelle Framingeffekte identifiziert, die unabhängig von Disposition und Vorwissen Entscheidungen beeinflussen. Am bedeutendsten zeigt sich, dass GM-Visualisierungen emotional-stabilisierende Auswirkungen auf rationale und kognitiv-stabilisierende Auswirkungen auf erfahrungsgetriebene Gründer haben. T2 - Kognition und unternehmerische Geschäftsmodellierung KW - business models KW - cognition KW - visual tools KW - entrepreneurship KW - decision-making KW - Geschäftsmodelle KW - Kognition KW - visuelle Instrumente KW - Entrepreneurship KW - Entscheidungsfindung Y1 - 2019 ER - TY - THES A1 - Bazhenova, Ekaterina T1 - Discovery of Decision Models Complementary to Process Models T1 - Das Konstruieren von Entscheidungsmodellen als Ergänzung zu Prozessmodellen N2 - Business process management is an acknowledged asset for running an organization in a productive and sustainable way. One of the most important aspects of business process management, occurring on a daily basis at all levels, is decision making. In recent years, a number of decision management frameworks have appeared in addition to existing business process management systems. More recently, Decision Model and Notation (DMN) was developed by the OMG consortium with the aim of complementing the widely used Business Process Model and Notation (BPMN). One of the reasons for the emergence of DMN is the increasing interest in the evolving paradigm known as the separation of concerns. This paradigm states that modeling decisions complementary to processes reduces process complexity by externalizing decision logic from process models and importing it into a dedicated decision model. Such an approach increases the agility of model design and execution. This provides organizations with the flexibility to adapt to the ever increasing rapid and dynamic changes in the business ecosystem. The research gap, identified by us, is that the separation of concerns, recommended by DMN, prescribes the externalization of the decision logic of process models in one or more separate decision models, but it does not specify this can be achieved. The goal of this thesis is to overcome the presented gap by developing a framework for discovering decision models in a semi-automated way from information about existing process decision making. Thus, in this thesis we develop methodologies to extract decision models from: (1) control flow and data of process models that exist in enterprises; and (2) from event logs recorded by enterprise information systems, encapsulating day-to-day operations. Furthermore, we provide an extension of the methodologies to discover decision models from event logs enriched with fuzziness, a tool dealing with partial knowledge of the process execution information. All the proposed techniques are implemented and evaluated in case studies using real-life and synthetic process models and event logs. The evaluation of these case studies shows that the proposed methodologies provide valid and accurate output decision models that can serve as blueprints for executing decisions complementary to process models. Thus, these methodologies have applicability in the real world and they can be used, for example, for compliance checks, among other uses, which could improve the organization's decision making and hence it's overall performance. N2 - Geschäftsprozessmanagement ist eine anerkannte Strategie, um Unternehmen produktiv und nachhaltig zu führen. Einer der wichtigsten Faktoren des Geschäftsprozessmanagements ist die Entscheidungsfindung – tagtäglich und auf allen Ebenen. In den letzten Jahren wurden – zusätzlich zu existierenden Geschäftsprozessmanagementsystemen – eine Reihe von Frameworks zum Entscheidungsmanagement entwickelt. Um die weit verbreitete Business Process Model and Notation (BPMN) zu ergänzen, hat das OMG-Konsortium kürzlich die Decision Model and Notation (DMN) entwickelt. Einer der Treiber für die Entwicklung der DMN ist das wachsende Interesse an dem aufstrebenden Paradigma der “Separation of Concerns” (Trennung der Sichtweisen). Dieses Prinzip besagt, dass die Prozesskomplexität reduziert wird, wenn Entscheidungen komplementär zu den Prozessen modelliert werden, indem die Entscheidungslogik von Prozessmodellen entkoppelt und in ein dediziertes Entscheidungsmodel aufgenommen wird. Solch ein Ansatz erhöht die Agilität von Modelentwurf und –ausführung und bietet Unternehmen so die Flexibilität, auf die stetig zunehmenden, rasanten Veränderungen in der Unternehmenswelt zu reagieren. Während die DMN die Trennung der Belange empfiehlt und die Entkopplung der Entscheidungslogik von den Prozessmodellen vorschreibt, gibt es bisher keine Spezifikation, wie dies erreicht werden kann. Diese Forschungslücke ist der Ausgangspunkt der vorliegenden Arbeit. Das Ziel dieser Doktorarbeit ist es, die beschriebene Lücke zu füllen und ein Framework zur halbautomatischen Konstruktion von Entscheidungsmodellen zu entwickeln, basierend auf Informationen über existierende Prozessentscheidungsfindung. In dieser Arbeit werden die entwickelten Methoden zur Entkopplung von Entscheidungsmodellen dargestellt. Die Extraktion der Modelle basiert auf folgenden Eingaben: (1) Kontrollfluss und Daten aus Prozessmodellen, die in Unternehmen existieren; und (2) von Unternehmensinformationssystemen aufgezeichnete Ereignisprotokolle der Tagesgeschäfte. Außerdem stellen wir eine Erweiterung der Methode vor, die es ermöglicht, auch in von Unschärfe geprägten Ereignisprotokollen Entscheidungsmodelle zu entdecken. Hier wird mit Teilwissen über die Prozessausführung gearbeitet. Alle vorgestellten Techniken wurden implementiert und in Fallstudien evaluiert – basierend auf realen und künstlichen Prozessmodellen, sowie auf Ereignisprotokollen. Die Evaluierung der Fallstudien zeigt, dass die vorgeschlagenen Methoden valide und akkurate Entscheidungsmodelle produzieren, die als Blaupause für das Vollziehen von Entscheidungen dienen können und die Prozessmodelle ergänzen. Demnach sind die vorgestellten Methoden in der realenWelt anwendbar und können beispielsweise für Übereinstimmungskontrollen genutzt werden, was wiederum die Entscheidungsfindung in Unternehmen und somit deren Gesamtleistung verbessern kann. KW - business process management KW - decision management KW - process models KW - decision models KW - decision mining KW - Geschäftsprozessmanagement KW - Entscheidungsmanagement KW - Entscheidungsfindung KW - Entscheidungsmodelle KW - Prozessmodelle Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-410020 ER -