TY - THES A1 - Panzer, Marcel T1 - Design of a hyper-heuristics based control framework for modular production systems T1 - Design eines auf Hyperheuristiken basierenden Steuerungsframeworks für modulare Produktionssysteme N2 - Volatile supply and sales markets, coupled with increasing product individualization and complex production processes, present significant challenges for manufacturing companies. These must navigate and adapt to ever-shifting external and internal factors while ensuring robustness against process variabilities and unforeseen events. This has a pronounced impact on production control, which serves as the operational intersection between production planning and the shop- floor resources, and necessitates the capability to manage intricate process interdependencies effectively. Considering the increasing dynamics and product diversification, alongside the need to maintain constant production performances, the implementation of innovative control strategies becomes crucial. In recent years, the integration of Industry 4.0 technologies and machine learning methods has gained prominence in addressing emerging challenges in production applications. Within this context, this cumulative thesis analyzes deep learning based production systems based on five publications. Particular attention is paid to the applications of deep reinforcement learning, aiming to explore its potential in dynamic control contexts. Analysis reveal that deep reinforcement learning excels in various applications, especially in dynamic production control tasks. Its efficacy can be attributed to its interactive learning and real-time operational model. However, despite its evident utility, there are notable structural, organizational, and algorithmic gaps in the prevailing research. A predominant portion of deep reinforcement learning based approaches is limited to specific job shop scenarios and often overlooks the potential synergies in combined resources. Furthermore, it highlights the rare implementation of multi-agent systems and semi-heterarchical systems in practical settings. A notable gap remains in the integration of deep reinforcement learning into a hyper-heuristic. To bridge these research gaps, this thesis introduces a deep reinforcement learning based hyper- heuristic for the control of modular production systems, developed in accordance with the design science research methodology. Implemented within a semi-heterarchical multi-agent framework, this approach achieves a threefold reduction in control and optimisation complexity while ensuring high scalability, adaptability, and robustness of the system. In comparative benchmarks, this control methodology outperforms rule-based heuristics, reducing throughput times and tardiness, and effectively incorporates customer and order-centric metrics. The control artifact facilitates a rapid scenario generation, motivating for further research efforts and bridging the gap to real-world applications. The overarching goal is to foster a synergy between theoretical insights and practical solutions, thereby enriching scientific discourse and addressing current industrial challenges. N2 - Volatile Beschaffungs- und Absatzmärkte sowie eine zunehmende Produktindividualisierung konfrontieren Fertigungsunternehmen mit beträchtlichen Herausforderungen. Diese erfordern eine Anpassung der Produktion an sich ständig wechselnde externe Einflüsse und eine hohe Prozessrobustheit gegenüber unvorhersehbaren Schwankungen. Ein Schlüsselelement in diesem Kontext ist die Produktionssteuerung, die als operative Schnittstelle zwischen der Produktions- planung und den Fertigungsressourcen fungiert und eine effiziente Handhabung zahlreicher Prozessinterdependenzen sicherstellen muss. Angesichts dieser gesteigerten Produktionsdynamik und Produktvielfalt rücken innovative Steuerungsansätze in den Vordergrund. In jüngerer Zeit wurden daher verstärkt Industrie-4.0-Ansätze und Methoden des maschinellen Lernens betrachtet. Im Kontext der aktuellen Forschung analysiert die vorliegende kumulative Arbeit Deep-Learning basierte Produktionssysteme anhand von fünf Publikationen. Hierbei wird ein besonderes Augenmerk auf die Anwendungen des Deep Reinforcement Learning gelegt, um dessen Potenzial zu ergründen. Die Untersuchungen zeigen, dass das Deep Reinforcement Learning in vielen Produktionsanwendungen sowohl herkömmlichen Ansätzen als auch an- deren Deep-Learning Werkzeugen überlegen ist. Diese Überlegenheit ergibt sich vor allem aus dem interaktiven Lernprinzip und der direkten Interaktion mit der Umwelt, was es für die dynamische Produktionssteuerung besonders geeignet macht. Dennoch werden strukturelle, organisatorische und algorithmische Forschungslücken identifiziert. Die überwiegende Mehrheit der untersuchten Ansätze fokussiert sich auf Werkstattfertigungen und vernachlässigt dabei potenzielle Prozesssynergien modularer Produktionssysteme. Ferner zeigt sich, dass Multi- Agenten- und Mehr-Ebenen-Systeme sowie die Kombination verschiedener algorithmischer Ansätze nur selten zur Anwendung kommen. Um diese Forschungslücken zu adressieren, wird eine auf Deep Reinforcement Learning basierende Hyper-Heuristik für die Steuerung modularer Produktionssysteme vorgestellt, die nach der Design Science Research Methodology entwickelt wird. Ein semi-heterarchisches Multi-Agenten-System ermöglicht eine dreifache Reduktion der Steuerungs- und Optimierungs- komplexität und gewährleistet gleichzeitig eine hohe Systemadaptabilität und -robustheit. In Benchmarks übertrifft das Steuerungskonzept regelbasierte Ansätze, minimiert Durchlaufzeiten und Verspätungen und berücksichtigt kunden- sowie auftragsorientierte Kennzahlen. Die ent- wickelte Steuerungsmethodik ermöglicht einen schnellen Szenarienentwurf, um dadurch weitere Forschungsbemühungen zu stimulieren und die bestehende Transferlücke zur Realität weiter zu überbrücken. Das Ziel dieser Forschungsarbeit ist es, eine Synergie zwischen theoretischen Erkenntnissen und Praxis-relevanten Lösungen zu schaffen, um sowohl den wissenschaftlichen Diskurs zu bereichern als auch Antworten auf aktuelle industrielle Herausforderungen zu bieten. KW - modular production KW - deep learning KW - modulare Produktion KW - Produktionssteuerung KW - Deep Learning KW - Reinforcement Learning KW - Simulation KW - production control KW - reinforcement learning KW - simulation Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-633006 ER - TY - THES A1 - Lilienkamp, Henning T1 - Enhanced computational approaches for data-driven characterization of earthquake ground motion and rapid earthquake impact assessment T1 - Fortgeschrittene Berechnungsansätze für die datengestützte Charakterisierung von Erdbeben-Bodenbewegungen und die schnelle Einschätzung von Erdbebenauswirkungen N2 - Rapidly growing seismic and macroseismic databases and simplified access to advanced machine learning methods have in recent years opened up vast opportunities to address challenges in engineering and strong motion seismology from novel, datacentric perspectives. In this thesis, I explore the opportunities of such perspectives for the tasks of ground motion modeling and rapid earthquake impact assessment, tasks with major implications for long-term earthquake disaster mitigation. In my first study, I utilize the rich strong motion database from the Kanto basin, Japan, and apply the U-Net artificial neural network architecture to develop a deep learning based ground motion model. The operational prototype provides statistical estimates of expected ground shaking, given descriptions of a specific earthquake source, wave propagation paths, and geophysical site conditions. The U-Net interprets ground motion data in its spatial context, potentially taking into account, for example, the geological properties in the vicinity of observation sites. Predictions of ground motion intensity are thereby calibrated to individual observation sites and earthquake locations. The second study addresses the explicit incorporation of rupture forward directivity into ground motion modeling. Incorporation of this phenomenon, causing strong, pulse like ground shaking in the vicinity of earthquake sources, is usually associated with an intolerable increase in computational demand during probabilistic seismic hazard analysis (PSHA) calculations. I suggest an approach in which I utilize an artificial neural network to efficiently approximate the average, directivity-related adjustment to ground motion predictions for earthquake ruptures from the 2022 New Zealand National Seismic Hazard Model. The practical implementation in an actual PSHA calculation demonstrates the efficiency and operational readiness of my model. In a follow-up study, I present a proof of concept for an alternative strategy in which I target the generalizing applicability to ruptures other than those from the New Zealand National Seismic Hazard Model. In the third study, I address the usability of pseudo-intensity reports obtained from macroseismic observations by non-expert citizens for rapid impact assessment. I demonstrate that the statistical properties of pseudo-intensity collections describing the intensity of shaking are correlated with the societal impact of earthquakes. In a second step, I develop a probabilistic model that, within minutes of an event, quantifies the probability of an earthquake to cause considerable societal impact. Under certain conditions, such a quick and preliminary method might be useful to support decision makers in their efforts to organize auxiliary measures for earthquake disaster response while results from more elaborate impact assessment frameworks are not yet available. The application of machine learning methods to datasets that only partially reveal characteristics of Big Data, qualify the majority of results obtained in this thesis as explorative insights rather than ready-to-use solutions to real world problems. The practical usefulness of this work will be better assessed in the future by applying the approaches developed to growing and increasingly complex data sets. N2 - Das rapide Wachstum seismischer und makroseismischer Datenbanken und der vereinfachte Zugang zu fortschrittlichen Methoden aus dem Bereich des maschinellen Lernens haben in den letzen Jahren die datenfokussierte Betrachtung von Fragestellungen in der Seismologie ermöglicht. In dieser Arbeit erforsche ich das Potenzial solcher Betrachtungsweisen im Hinblick auf die Modellierung erdbebenbedingter Bodenerschütterungen und der raschen Einschätzung von gesellschaftlichen Erdbebenauswirkungen, Disziplinen von erheblicher Bedeutung für den langfristigen Erdbebenkatastrophenschutz in seismisch aktiven Regionen. In meiner ersten Studie nutze ich die Vielzahl an Bodenbewegungsdaten aus der Kanto Region in Japan, sowie eine spezielle neuronale Netzwerkarchitektur (U-Net) um ein Bodenbewegungsmodell zu entwickeln. Der einsatzbereite Prototyp liefert auf Basis der Charakterisierung von Erdbebenherden, Wellenausbreitungspfaden und Bodenbeschaffenheiten statistische Schätzungen der zu erwartenden Bodenerschütterungen. Das U-Net interpretiert Bodenbewegungsdaten im räumlichen Kontext, sodass etwa die geologischen Beschaffenheiten in der Umgebung von Messstationen mit einbezogen werden können. Auch die absoluten Koordinaten von Erdbebenherden und Messstationen werden berücksichtigt. Die zweite Studie behandelt die explizite Berücksichtigung richtungsabhängiger Verstärkungseffekte in der Bodenbewegungsmodellierung. Obwohl solche Effekte starke, impulsartige Erschütterungen in der Nähe von Erdbebenherden erzeugen, die eine erhebliche seismische Beanspruchung von Gebäuden darstellen, wird deren explizite Modellierung in der seismischen Gefährdungsabschätzung aufgrund des nicht vertretbaren Rechenaufwandes ausgelassen. Mit meinem, auf einem neuronalen Netzwerk basierenden, Ansatz schlage ich eine Methode vor, umdieses Vorhaben effizient für Erdbebenszenarien aus dem neuseeländischen seismischen Gefährdungsmodell für 2022 (NSHM) umzusetzen. Die Implementierung in einer seismischen Gefährdungsrechnung unterstreicht die Praktikabilität meines Modells. In einer anschließenden Machbarkeitsstudie untersuche ich einen alternativen Ansatz der auf die Anwendbarkeit auf beliebige Erdbebeszenarien abzielt. Die abschließende dritte Studie befasst sich mit dem potenziellen Nutzen der von makroseismischen Beobachtungen abgeleiteten pseudo-Erschütterungsintensitäten für die rasche Abschätzung von gesellschaftlichen Erdbebenauswirkungen. Ich zeige, dass sich aus den Merkmalen solcher Daten Schlussfolgerungen über die gesellschaftlichen Folgen eines Erdbebens ableiten lassen. Basierend darauf formuliere ich ein statistisches Modell, welches innerhalb weniger Minuten nach einem Erdbeben die Wahrscheinlichkeit für das Auftreten beachtlicher gesellschaftlicher Auswirkungen liefert. Ich komme zu dem Schluss, dass ein solches Modell, unter bestimmten Bedingungen, hilfreich sein könnte, um EntscheidungsträgerInnen in ihren Bestrebungen Hilfsmaßnahmen zu organisieren zu unterstützen. Die Anwendung von Methoden des maschinellen Lernens auf Datensätze die sich nur begrenzt als Big Data charakterisieren lassen, qualifizieren die Mehrheit der Ergebnisse dieser Arbeit als explorative Einblicke und weniger als einsatzbereite Lösungen für praktische Fragestellungen. Der praktische Nutzen dieser Arbeit wird sich in erst in Zukunft an der Anwendung der erarbeiteten Ansätze auf wachsende und zunehmend komplexe Datensätze final abschätzen lassen. KW - seismology KW - machine learning KW - deep learning KW - ground motion modeling KW - seismic hazard KW - rapid earthquake impact assessment KW - geophysics KW - Deep Learning KW - Geophysik KW - Bodenbewegungsmodellierung KW - maschinelles Lernen KW - schnelle Einschätzung von Erdbebenauswirkungen KW - seismische Gefährdung KW - Seismologie Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-631954 ER - TY - THES A1 - Pfrang, Konstantin Johannes T1 - Search for light primordial black holes with VERITAS using gamma γ-ray and optical observations T1 - Suche nach leichten primordialen Schwarzen Löchern mit VERITAS anhand von Gammastrahlen- und optischen Beobachtungen N2 - The Very Energetic Radiation Imaging Telescope Array System (VERITAS) is an array of four imaging atmospheric Cherenkov telescopes (IACTs). VERITAS is sensitive to very-high-energy gamma-rays in the range of 100 GeV to >30 TeV. Hypothesized primordial black holes (PBHs) are attractive targets for IACTs. If they exist, their potential cosmological impact reaches beyond the candidacy for constituents of dark matter. The sublunar mass window is the largest unconstrained range of PBH masses. This thesis aims to develop novel concepts searching for light PBHs with VERITAS. PBHs below the sublunar window lose mass due to Hawking radiation. They would evaporate at the end of their lifetime, leading to a short burst of gamma-rays. If PBHs formed at about 10^15 g, the evaporation would occur nowadays. Detecting these signals might not only confirm the existence of PBHs but also prove the theory of Hawking radiation. This thesis probes archival VERITAS data recorded between 2012 and 2021 for possible PBH signals. This work presents a new automatic approach to assess the quality of the VERITAS data. The array-trigger rate and far infrared temperature are well suited to identify periods with poor data quality. These are masked by time cuts to obtain a consistent and clean dataset which contains about 4222 hours. The PBH evaporations could occur at any location in the field of view or time within this data. Only a blind search can be performed to identify these short signals. This thesis implements a data-driven deep learning based method to search for short transient signals with VERITAS. It does not depend on the modelling of the effective area and radial acceptance. This work presents the first application of this method to actual observational IACT data. This thesis develops new concepts dealing with the specifics of the data and the transient detection method. These are reflected in the developed data preparation pipeline and search strategies. After correction for trial factors, no candidate PBH evaporation is found in the data. Thus, new constraints of the local rate of PBH evaporations are derived. At the 99% confidence limit it is below <1.07 * 10^5 pc^-3 yr^-1. This constraint with the new, independent analysis approach is in the range of existing limits for the evaporation rate. This thesis also investigates an alternative novel approach to searching for PBHs with IACTs. Above the sublunar window, the PBH abundance is constrained by optical microlensing studies. The sampling speed, which is of order of minutes to hours for traditional optical telescopes, is a limiting factor in expanding the limits to lower masses. IACTs are also powerful instruments for fast transient optical astronomy with up to O(ns) sampling. This thesis investigates whether IACTs might constrain the sublunar window with optical microlensing observations. This study confirms that, in principle, the fast sampling speed might allow extending microlensing searches into the sublunar mass window. However, the limiting factor for IACTs is the modest sensitivity to detect changes in optical fluxes. This thesis presents the expected rate of detectable events for VERITAS as well as prospects of possible future next-generation IACTs. For VERITAS, the rate of detectable microlensing events in the sublunar range is ~10^-6 per year of observation time. The future prospects for a 100 times more sensitive instrument are at ~0.05 events per year. N2 - Das Very Energetic Radiation Imaging Telescope Array System (VERITAS) ist ein Instrument mit vier atmosphärischen Cherenkov-Teleskopen (IACTs). VERITAS ist empfindlich für sehr hoch-energetische gamma-Strahlung im Bereich von 100 GeV bis >30 TeV. Hypothetische primordiale Schwarze Löcher (PBHs) sind interessante Ziele für IACTs. Falls sie existieren, könnte ihr potentieller kosmologischer Einfluss über die Möglichkeit, dass sie ein Bestandteil der dunklen Materie sind, hinausgehen. Der größte nicht eingeschränkte Bereich der PBH-Massen ist das sublunare Fenster. Das Ziel dieser Arbeit ist es, neue Konzepte für die Suche nach leichten PBHs mit VERITAS zu entwickeln. Durch die Hawking-Strahlung verlieren PBHs unterhalb des sublunaren Fensters an Masse. Am Ende ihrer Lebenszeit verdampfen diese, was einen kurzen Ausbruch an gamma-Strahlung verursacht. Falls PBHs mit ~10^15 g entstanden sind, würde sich dieser Ausbruch in der heutigen Zeit ereignen. Der Nachweis dieser Signale könnte nicht nur die Existenz von PBHs bestätigen, sondern auch die Theorie der Hawking-Strahlung beweisen. In dieser Arbeit werden VERITAS-Daten aus den Jahren 2012 bis 2021 auf mögliche PBH-Signale untersucht. Es wird ein neuer automatisierter Ansatz zur Beurteilung der Qualität der VERITAS-Daten vorgestellt. Die Array-Trigger-Rate und die ferne Infrarot-Temperatur sind gut geeignet, um Zeiträume mit schlechter Datenqualität zu identifizieren. Diese werden maskiert, um einen konsistenten Datensatz zu erhalten, der etwa 4222 Stunden umfasst. Die PBH-Verdampfungen könnten an jeder beliebigen Stelle im Sichtfeld oder zu jeder beliebigen Zeit innerhalb dieser Daten auftreten. Zur Identifizierung dieser kurzen Signale kann nur eine Blindsuche durchgeführt werden. In dieser Arbeit wird eine datengestützte, auf Deep Learning basierende Methode zur Suche nach kurzen vorübergehenden Signalen mit VERITAS implementiert. Die Methode ist nicht von der Modellierung der effektiven Fläche und der radialen Akzeptanz abhängig. Diese Arbeit präsentiert die erste Anwendung dieser Methode mit echten IACT-Beobachtungsdaten. In dieser Arbeit werden neue Konzepte entwickelt, die sich mit den Besonderheiten der Daten und der Methode befassen. Sie spiegeln sich in der entwickelten Datenvorbereitung und den Suchstrategien wider. Nach Korrektur der Versuchsfaktoren wird in den Daten kein Kandidat für PBH-Verdampfung gefunden. Daher wird die lokale Rate von PBH-Verdampfungen auf unter <1.07 * 10^5 pc^-3 yr^-1 an der 99%-Konfidenzgrenze beschränkt. Dieses Limit, welches mit dem neuen, unabhängigen Analyseansatz erreicht wurde, liegt im Bereich der bestehenden Grenzwerte für die Verdunstungsrate. In dieser Arbeit wird auch ein alternativer neuer Ansatz für die Suche nach PBHs mit IACTs untersucht. Oberhalb des sublunaren Fensters wird die Existenz von PBHs durch optische Mikrolensing-Studien eingeschränkt. Für niedrige Massen ist die Abtastgeschwindigkeit, die bei herkömmlichen optischen Teleskopen in der Größenordnung von Minuten bis Stunden liegt, ein limitierender Faktor. IACTs sind auch leistungsstarke Instrumente für die schnelle optische Astronomie mit Abtastraten von bis zu O(ns). In dieser Arbeit wird untersucht, ob IACTs das sublunare Fenster mit optischen Mikrolensing-Beobachtungen beschränken könnten. Diese Studie bestätigt, dass die schnelle Abtastgeschwindigkeit eine Ausweitung der Mikrolensing-Suche auf das sublunare Massenfenster ermöglichen könnte. Der begrenzende Faktor für IACTs ist jedoch die eingeschränkte Empfindlichkeit, um Änderungen im optischen Fluss zu detektieren. In dieser Arbeit werden die erwarteten Raten der nachweisbaren Ereignisse für VERITAS sowie für mögliche zukünftige IACTs der nächsten Generation vorgestellt. Für VERITAS beträgt die Rate der nachweisbaren Microlensing-Ereignisse im sublunaren Bereich ~10^-6 pro Jahr. Die Zukunftsaussichten für ein 100-mal empfindlicheres Instrument liegen bei ~0,05 Ereignissen pro Jahr. KW - PBH KW - dark matter KW - primordial black holes KW - microlensing KW - gamma-rays KW - deep learning KW - LSTM KW - LSTM KW - PBH KW - Dunkle Materie KW - Deep Learning KW - Gammastrahlung KW - Microlensing KW - Primordiale Schwarzen Löchern Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-587266 ER - TY - THES A1 - Böken, Björn T1 - Improving prediction accuracy using dynamic information N2 - Accurately solving classification problems nowadays is likely to be the most relevant machine learning task. Binary classification separating two classes only is algorithmically simpler but has fewer potential applications as many real-world problems are multi-class. On the reverse, separating only a subset of classes simplifies the classification task. Even though existing multi-class machine learning algorithms are very flexible regarding the number of classes, they assume that the target set Y is fixed and cannot be restricted once the training is finished. On the other hand, existing state-of-the-art production environments are becoming increasingly interconnected with the advance of Industry 4.0 and related technologies such that additional information can simplify the respective classification problems. In light of this, the main aim of this thesis is to introduce dynamic classification that generalizes multi-class classification such that the target class set can be restricted arbitrarily to a non-empty class subset M of Y at any time between two consecutive predictions. This task is solved by a combination of two algorithmic approaches. First, classifier calibration, which transforms predictions into posterior probability estimates that are intended to be well calibrated. The analysis provided focuses on monotonic calibration and in particular corrects wrong statements that appeared in the literature. It also reveals that bin-based evaluation metrics, which became popular in recent years, are unjustified and should not be used at all. Next, the validity of Platt scaling, which is the most relevant parametric calibration approach, is analyzed in depth. In particular, its optimality for classifier predictions distributed according to four different families of probability distributions as well its equivalence with Beta calibration up to a sigmoidal preprocessing are proven. For non-monotonic calibration, extended variants on kernel density estimation and the ensemble method EKDE are introduced. Finally, the calibration techniques are evaluated using a simulation study with complete information as well as on a selection of 46 real-world data sets. Building on this, classifier calibration is applied as part of decomposition-based classification that aims to reduce multi-class problems to simpler (usually binary) prediction tasks. For the involved fusing step performed at prediction time, a new approach based on evidence theory is presented that uses classifier calibration to model mass functions. This allows the analysis of decomposition-based classification against a strictly formal background and to prove closed-form equations for the overall combinations. Furthermore, the same formalism leads to a consistent integration of dynamic class information, yielding a theoretically justified and computationally tractable dynamic classification model. The insights gained from this modeling are combined with pairwise coupling, which is one of the most relevant reduction-based classification approaches, such that all individual predictions are combined with a weight. This not only generalizes existing works on pairwise coupling but also enables the integration of dynamic class information. Lastly, a thorough empirical study is performed that compares all newly introduced approaches to existing state-of-the-art techniques. For this, evaluation metrics for dynamic classification are introduced that depend on corresponding sampling strategies. Thereafter, these are applied during a three-part evaluation. First, support vector machines and random forests are applied on 26 data sets from the UCI Machine Learning Repository. Second, two state-of-the-art deep neural networks are evaluated on five benchmark data sets from a relatively recent reference work. Here, computationally feasible strategies to apply the presented algorithms in combination with large-scale models are particularly relevant because a naive application is computationally intractable. Finally, reference data from a real-world process allowing the inclusion of dynamic class information are collected and evaluated. The results show that in combination with support vector machines and random forests, pairwise coupling approaches yield the best results, while in combination with deep neural networks, differences between the different approaches are mostly small to negligible. Most importantly, all results empirically confirm that dynamic classification succeeds in improving the respective prediction accuracies. Therefore, it is crucial to pass dynamic class information in respective applications, which requires an appropriate digital infrastructure. N2 - Klassifikationsprobleme akkurat zu lösen ist heutzutage wahrscheinlich die relevanteste Machine-Learning-Aufgabe. Binäre Klassifikation zur Unterscheidung von nur zwei Klassen ist algorithmisch einfacher, hat aber weniger potenzielle Anwendungen, da in der Praxis oft Mehrklassenprobleme auftreten. Demgegenüber vereinfacht die Unterscheidung nur innerhalb einer Untermenge von Klassen die Problemstellung. Obwohl viele existierende Machine-Learning-Algorithmen sehr flexibel mit Blick auf die Anzahl der Klassen sind, setzen sie voraus, dass die Zielmenge Y fest ist und nicht mehr eingeschränkt werden kann, sobald das Training abgeschlossen ist. Allerdings sind moderne Produktionsumgebungen mit dem Voranschreiten von Industrie 4.0 und entsprechenden Technologien zunehmend digital verbunden, sodass zusätzliche Informationen die entsprechenden Klassifikationsprobleme vereinfachen können. Vor diesem Hintergrund ist das Hauptziel dieser Arbeit, dynamische Klassifikation als Verallgemeinerung von Mehrklassen-Klassifikation einzuführen, bei der die Zielmenge jederzeit zwischen zwei aufeinanderfolgenden Vorhersagen zu einer beliebigen, nicht leeren Teilmenge eingeschränkt werden kann. Diese Aufgabe wird durch die Kombination von zwei algorithmischen Ansätzen gelöst. Zunächst wird Klassifikator-Kalibrierung eingesetzt, mittels der Vorhersagen in Schätzungen der A-Posteriori-Wahrscheinlichkeiten transformiert werden, die gut kalibriert sein sollen. Die durchgeführte Analyse zielt auf monotone Kalibrierung ab und korrigiert insbesondere Falschaussagen, die in Referenzarbeiten veröffentlicht wurden. Außerdem zeigt sie, dass Bin-basierte Fehlermaße, die in den letzten Jahren populär geworden sind, ungerechtfertigt sind und nicht verwendet werden sollten. Weiterhin wird die Validität von Platt Scaling, dem relevantesten, parametrischen Kalibrierungsverfahren, genau analysiert. Insbesondere wird seine Optimalität für Klassifikatorvorhersagen, die gemäß vier Familien von Verteilungsfunktionen verteilt sind, sowie die Äquivalenz zu Beta-Kalibrierung bis auf eine sigmoidale Vorverarbeitung gezeigt. Für nicht monotone Kalibrierung werden erweiterte Varianten der Kerndichteschätzung und die Ensemblemethode EKDE eingeführt. Schließlich werden die Kalibrierungsverfahren im Rahmen einer Simulationsstudie mit vollständiger Information sowie auf 46 Referenzdatensätzen ausgewertet. Hierauf aufbauend wird Klassifikator-Kalibrierung als Teil von reduktionsbasierter Klassifikation eingesetzt, die zum Ziel hat, Mehrklassenprobleme auf einfachere (üblicherweise binäre) Entscheidungsprobleme zu reduzieren. Für den zugehörigen, während der Vorhersage notwendigen Fusionsschritt wird ein neuer, auf Evidenztheorie basierender Ansatz eingeführt, der Klassifikator-Kalibrierung zur Modellierung von Massefunktionen nutzt. Dies ermöglicht die Analyse von reduktionsbasierter Klassifikation in einem formalen Kontext sowie geschlossene Ausdrücke für die entsprechenden Gesamtkombinationen zu beweisen. Zusätzlich führt derselbe Formalismus zu einer konsistenten Integration von dynamischen Klasseninformationen, sodass sich ein theoretisch fundiertes und effizient zu berechnendes, dynamisches Klassifikationsmodell ergibt. Die hierbei gewonnenen Einsichten werden mit Pairwise Coupling, einem der relevantesten Verfahren für reduktionsbasierte Klassifikation, verbunden, wobei alle individuellen Vorhersagen mit einer Gewichtung kombiniert werden. Dies verallgemeinert nicht nur existierende Ansätze für Pairwise Coupling, sondern führt darüber hinaus auch zu einer Integration von dynamischen Klasseninformationen. Abschließend wird eine umfangreiche empirische Studie durchgeführt, die alle neu eingeführten Verfahren mit denen aus dem Stand der Forschung vergleicht. Hierfür werden Bewertungsfunktionen für dynamische Klassifikation eingeführt, die auf Sampling-Strategien basieren. Anschließend werden diese im Rahmen einer dreiteiligen Studie angewendet. Zunächst werden Support Vector Machines und Random Forests auf 26 Referenzdatensätzen aus dem UCI Machine Learning Repository angewendet. Im zweiten Teil werden zwei moderne, tiefe neuronale Netze auf fünf Referenzdatensätzen aus einer relativ aktuellen Referenzarbeit ausgewertet. Hierbei sind insbesondere Strategien relevant, die die Anwendung der eingeführten Verfahren in Verbindung mit großen Modellen ermöglicht, da eine naive Vorgehensweise nicht durchführbar ist. Schließlich wird ein Referenzdatensatz aus einem Produktionsprozess gewonnen, der die Integration von dynamischen Klasseninformationen ermöglicht, und ausgewertet. Die Ergebnisse zeigen, dass Pairwise-Coupling-Verfahren in Verbindung mit Support Vector Machines und Random Forests die besten Ergebnisse liefern, während in Verbindung mit tiefen neuronalen Netzen die Unterschiede zwischen den Verfahren oft klein bis vernachlässigbar sind. Am wichtigsten ist, dass alle Ergebnisse zeigen, dass dynamische Klassifikation die entsprechenden Erkennungsgenauigkeiten verbessert. Daher ist es entscheidend, dynamische Klasseninformationen in den entsprechenden Anwendungen zur Verfügung zu stellen, was eine entsprechende digitale Infrastruktur erfordert. KW - dynamic classification KW - multi-class classification KW - classifier calibration KW - evidence theory KW - Dempster–Shafer theory KW - Deep Learning KW - Deep Learning KW - Dempster-Shafer-Theorie KW - Klassifikator-Kalibrierung KW - dynamische Klassifikation KW - Evidenztheorie KW - Mehrklassen-Klassifikation Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-585125 ER - TY - THES A1 - Galetzka, Fabian T1 - Investigating and improving background context consistency in neural conversation models N2 - Neural conversation models aim to predict appropriate contributions to a (given) conversation by using neural networks trained on dialogue data. A specific strand focuses on non-goal driven dialogues, first proposed by Ritter et al. (2011): They investigated the task of transforming an utterance into an appropriate reply. Then, this strand evolved into dialogue system approaches using long dialogue histories and additional background context. Contributing meaningful and appropriate to a conversation is a complex task, and therefore research in this area has been very diverse: Serban et al. (2016), for example, looked into utilizing variable length dialogue histories, Zhang et al. (2018) added additional context to the dialogue history, Wolf et al. (2019) proposed a model based on pre-trained Self-Attention neural networks (Vasvani et al., 2017), and Dinan et al. (2021) investigated safety issues of these approaches. This trend can be seen as a transformation from trying to somehow carry on a conversation to generating appropriate replies in a controlled and reliable way. In this thesis, we first elaborate the meaning of appropriateness in the context of neural conversation models by drawing inspiration from the Cooperative Principle (Grice, 1975). We first define what an appropriate contribution has to be by operationalizing these maxims as demands on conversation models: being fluent, informative, consistent towards given context, coherent and following a social norm. Then, we identify different targets (or intervention points) to achieve the conversational appropriateness by investigating recent research in that field. In this thesis, we investigate the aspect of consistency towards context in greater detail, being one aspect of our interpretation of appropriateness. During the research, we developed a new context-based dialogue dataset (KOMODIS) that combines factual and opinionated context to dialogues. The KOMODIS dataset is publicly available and we use the data in this thesis to gather new insights in context-augmented dialogue generation. We further introduced a new way of encoding context within Self-Attention based neural networks. For that, we elaborate the issue of space complexity from knowledge graphs, and propose a concise encoding strategy for structured context inspired from graph neural networks (Gilmer et al., 2017) to reduce the space complexity of the additional context. We discuss limitations of context-augmentation for neural conversation models, explore the characteristics of knowledge graphs, and explain how we create and augment knowledge graphs for our experiments. Lastly, we analyzed the potential of reinforcement and transfer learning to improve context-consistency for neural conversation models. We find that current reward functions need to be more precise to enable the potential of reinforcement learning, and that sequential transfer learning can improve the subjective quality of generated dialogues. N2 - Neuronale Konversationsmodelle versuchen einen angemessenen Beitrag zu einer (gegebenen) Konversation zu erzeugen, indem neuronale Netze auf Dialogdaten trainiert werden. Ein spezieller Forschungszweig beschäftigt sich mit den nicht-zielgeführten Dialogen, erstmals vorgestellt von Ritter et al. (2011): Das Team untersuchte die Aufgabe der Transformation einer Äußerung in eine angemessene Antwort. Im Laufe der Zeit hat dieser Zweig Dialogsystem-Ansätze hervorgebracht, die lange Konversationen und zusätzlichen Kontext verarbeiten können. Einen sinnvollen und angemessenen Beitrag zu einem Gespräch zu leisten, ist eine komplexe Aufgabe, und daher war die Forschung auf diesem Gebiet sehr vielfältig: Serban et al. (2016) untersuchten beispielsweise die Verwendung von Dialogverläufen variabler Länge, Zhang et al. (2018) fügten der Dialoggeschichte zusätzlichen Kontext hinzu, Wolf et al. (2019) schlugen ein Modell vor, das auf vortrainierten neuronalen Self-Attention Schichten basiert (Vasvani et al., 2017), und Dinan et al. (2021) untersuchten Ansätze zur Kontrolle von unangebrachten Inhalten, wie zum Beispiel Beleidigungen. Dieser Trend kann als Transformation gesehen werden, der vom Versuch, ein Gespräch irgendwie fortzuführen, hin zum kontrollierten und zuverlässigen Generieren angemessener Antworten reicht. In dieser Arbeit untersuchen wir den Aspekt der Kontextkonsistenz genauer, der ein Aspekt unserer Interpretation von einem angemessenen Konversationsbeitrag ist. Während der Untersuchungen haben wir einen neuen kontextbasierten Dialogdatensatz (KOMODIS) entwickelt, der sachlichen und meinungsbezogenen Kontext zu Dialogen kombiniert. Der KOMODIS Datensatz ist öffentlich verfügbar, und wir verwenden die Daten in dieser Arbeit, um neue Einblicke in die kontextunterstützte Dialoggenerierung zu gewinnen. Wir haben außerdem eine neue Methode zur Eingabe von Kontext auf Self-Attention basierenden neuronalen Netzen entwickelt. Dazu erörtern wir zunächst das Problem der begrenzten Eingabelänge für Sequenzen aus Wissensgraphen in solche Modelle, und schlagen eine effiziente Codierungsstrategie für strukturierten Kontext vor, die von Graph Neural Networks inspiriert ist (Gilmer et al., 2017), um die Komplexität des zusätzlichen Kontexts zu reduzieren. Wir diskutieren die Grenzen der Kontexterweiterung für neuronale Konversationsmodelle, untersuchen die Eigenschaften von Wissensgraphen und erklären, wie wir Wissensgraphen für unsere Experimente erstellen und erweitern können. Schließlich haben wir das Potenzial von Reinforcement Learning und Transfer Learning analysiert, um die Kontextkonsistenz für neuronale Konversationsmodelle zu verbessern. Wir stellen fest, dass aktuelle Reward Funktionen präziser sein müssen, um das Potenzial von Reinforcement Learning zu nutzen, und dass Sequential Transfer Learning die subjektive Qualität der generierten Dialoge verbessern kann. KW - conversational ai KW - neural conversation models KW - context consistency KW - gpt KW - conversation KW - dialogue KW - deep learning KW - knowledge graphs KW - Kontextkonsistenz KW - Konversation KW - Dialog KI KW - Deep Learning KW - Dialog KW - GPT KW - Wissensgraph KW - neuronale Konversationsmodelle Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-584637 ER - TY - THES A1 - Stojanovic, Vladeta T1 - Digital twins for indoor built environments T1 - Digitale Zwillinge für gebaute Innenumgebungen N2 - One of the key challenges in modern Facility Management (FM) is to digitally reflect the current state of the built environment, referred to as-is or as-built versus as-designed representation. While the use of Building Information Modeling (BIM) can address the issue of digital representation, the generation and maintenance of BIM data requires a considerable amount of manual work and domain expertise. Another key challenge is being able to monitor the current state of the built environment, which is used to provide feedback and enhance decision making. The need for an integrated solution for all data associated with the operational life cycle of a building is becoming more pronounced as practices from Industry 4.0 are currently being evaluated and adopted for FM use. This research presents an approach for digital representation of indoor environments in their current state within the life cycle of a given building. Such an approach requires the fusion of various sources of digital data. The key to solving such a complex issue of digital data integration, processing and representation is with the use of a Digital Twin (DT). A DT is a digital duplicate of the physical environment, states, and processes. A DT fuses as-designed and as-built digital representations of built environment with as-is data, typically in the form of floorplans, point clouds and BIMs, with additional information layers pertaining to the current and predicted states of an indoor environment or a complete building (e.g., sensor data). The design, implementation and initial testing of prototypical DT software services for indoor environments is presented and described. These DT software services are implemented within a service-oriented paradigm, and their feasibility is presented through functioning and tested key software components within prototypical Service-Oriented System (SOS) implementations. The main outcome of this research shows that key data related to the built environment can be semantically enriched and combined to enable digital representations of indoor environments, based on the concept of a DT. Furthermore, the outcomes of this research show that digital data, related to FM and Architecture, Construction, Engineering, Owner and Occupant (AECOO) activity, can be combined, analyzed and visualized in real-time using a service-oriented approach. This has great potential to benefit decision making related to Operation and Maintenance (O&M) procedures within the scope of the post-construction life cycle stages of typical office buildings. N2 - Eine der wichtigsten Herausforderungen im modernen Facility Management (FM) besteht darin, den aktuellen Zustand der gebauten Umgebung digital wiederzugeben und die tatsächliche mit der geplanten Gebäudedarstellung zu vergleichen. Während die Verwendung von Building Information Modeling (BIM) das Problem der digitalen Darstellung lösen kann, erfordert die Generierung und Pflege von BIM-Daten einen erheblichen manuellen Aufwand und Fachkenntnisse. Eine weitere wichtige Herausforderung besteht darin, den aktuellen Zustand der gebauten Umgebung zu überwachen, um Feedback zu geben und die Entscheidungsfindung zu verbessern. Die Notwendigkeit einer integrierten Lösung für alle Daten im Zusammenhang mit dem Betriebslebenszyklus eines Gebäudes wird immer deutlicher, da derzeit Praktiken aus Industrie 4.0 evaluiert und für die FM-Nutzung übernommen werden. Diese Studie präsentiert einen Ansatz zur digitalen Darstellung von Innenräumen in ihrem aktuellen Zustand innerhalb des Lebenszyklus eines bestimmten Gebäudes. Ein solcher Ansatz erfordert die Fusion verschiedener Quellen digitaler Daten. Der Schlüssel zur Lösung eines solch komplexen Problems der Integration, Verarbeitung und Darstellung digitaler Daten liegt in der Verwendung eines Digital Twin (DT). Ein DT ist ein digitales Duplikat der physischen Umgebung, Zustände und Prozesse. Ein DT verschmilzt die entworfenen und gebauten digitalen Darstellungen der gebauten Umwelt mit aktuellen Repräsentationsdaten, typischerweise in Form von Grundrissen, Punktwolken und BIMs, mit zusätzlichen Informationsebenen, die sich auf die aktuellen und vorhergesagten Zustände einer Innenumgebung oder eines kompletten Gebäudes beziehen (z.B. Sensordaten). Das Design, die Implementierung und die ersten Tests prototypischen DT-Software-Dienstleistungen für Innenräume werden vorgestellt und beschrieben. Die DT-Software-Dienstleistungen werden innerhalb eines serviceorientierten Paradigmas implementiert, und ihre Machbarkeit wird durch funktionierende und getestete wichtige Softwarekomponenten in prototypischen SOS-Implementierungen dargestellt. Das Hauptergebnis dieser Forschung zeigt, dass Schlüsseldaten in Bezug auf die gebaute Umgebung semantisch angereichert und kombiniert werden können, um digitale Darstellungen von Innenumgebungen basierend auf dem Konzept eines DT zu ermöglichen. Darüber hinaus zeigen die Ergebnisse dieser Forschung, dass digitale Daten in Bezug auf FM und Architektur, Bauwesen, Ingenieurwesen, Eigentümer- und Insassenaktivitäten mithilfe eines serviceorientierten Ansatzes in Echtzeit kombiniert, analysiert und visualisiert werden können. Dies hat ein großes Potenzial für die Entscheidungsfindung in Bezug auf Betriebsund Wartungsverfahren im Rahmen der Lebenszyklusphasen typischer Bürogebäude nach dem Bau. KW - Digital Twin KW - BIM KW - Point Clouds KW - Service-Oriented Systems KW - 3D Visualization KW - Data Analytics KW - Machine Learning KW - Deep Learning KW - Semantic Enrichment KW - Indoor Point Clouds KW - Real Estate 4.0 KW - Facility Management KW - Building Management KW - Sensor Analytics KW - Visualization KW - 3D-Visualisierung KW - Gebäudeinformationsmodellierung KW - Gebäudemanagement KW - Daten-Analytik KW - Tiefes Lernen KW - Digitaler Zwilling KW - Indoor-Punktwolken KW - Maschinelles Lernen KW - Punktwolken KW - Immobilien 4.0 KW - Semantische Anreicherung KW - Sensor-Analytik KW - Service-Orientierte Systeme KW - Visualisierung Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-509134 ER - TY - THES A1 - Grum, Marcus T1 - Construction of a concept of neuronal modeling N2 - The business problem of having inefficient processes, imprecise process analyses, and simulations as well as non-transparent artificial neuronal network models can be overcome by an easy-to-use modeling concept. With the aim of developing a flexible and efficient approach to modeling, simulating, and optimizing processes, this paper proposes a flexible Concept of Neuronal Modeling (CoNM). The modeling concept, which is described by the modeling language designed and its mathematical formulation and is connected to a technical substantiation, is based on a collection of novel sub-artifacts. As these have been implemented as a computational model, the set of CoNM tools carries out novel kinds of Neuronal Process Modeling (NPM), Neuronal Process Simulations (NPS), and Neuronal Process Optimizations (NPO). The efficacy of the designed artifacts was demonstrated rigorously by means of six experiments and a simulator of real industrial production processes. N2 - Die vorliegende Arbeit addressiert das Geschäftsproblem von ineffizienten Prozessen, unpräzisen Prozessanalysen und -simulationen sowie untransparenten künstlichen neuronalen Netzwerken, indem ein Modellierungskonzept zum Neuronalen Modellieren konstruiert wird. Dieses neuartige Konzept des Neuronalen Modellierens (CoNM) fungiert als flexibler und effizienter Ansatz zum Modellieren, Simulieren und Optimieren von Prozessen mit Hilfe von neuronalen Netzwerken und wird mittels einer Modellierungssprache, dessen mathematischen Formalisierung und technischen Substanziierung sowie einer Sammlung von neuartigen Subartefakten beschrieben. In der Verwendung derer Implementierung als CoNM-Werkzeuge können somit neue Arten einer Neuronalen-Prozess-Modellierung (NPM), Neuronalen-Prozess-Simulation (NPS) sowie Neuronalen-Prozess-Optimierung (NPO) realisiert werden. Die Wirksamkeit der erstellten Artefakte wurde anhand von sechs Experimenten demonstriert sowie in einem Simulator in realen Produktionsprozessen gezeigt. T2 - Konzept des Neuronalen Modellierens KW - Deep Learning KW - Artificial Neuronal Network KW - Explainability KW - Interpretability KW - Business Process KW - Simulation KW - Optimization KW - Knowledge Management KW - Process Management KW - Modeling KW - Process KW - Knowledge KW - Learning KW - Enterprise Architecture KW - Industry 4.0 KW - Künstliche Neuronale Netzwerke KW - Erklärbarkeit KW - Interpretierbarkeit KW - Geschäftsprozess KW - Simulation KW - Optimierung KW - Wissensmanagement KW - Prozessmanagement KW - Modellierung KW - Prozess KW - Wissen KW - Lernen KW - Enterprise Architecture KW - Industrie 4.0 Y1 - 2021 ER - TY - THES A1 - Ayzel, Georgy T1 - Advancing radar-based precipitation nowcasting T1 - Fortschritte bei der radarbasierten Niederschlagsvorhersage BT - an open benchmark and the potential of deep learning BT - ein offener Benchmark und das Potenzial von Deep Learning N2 - Precipitation forecasting has an important place in everyday life – during the day we may have tens of small talks discussing the likelihood that it will rain this evening or weekend. Should you take an umbrella for a walk? Or should you invite your friends for a barbecue? It will certainly depend on what your weather application shows. While for years people were guided by the precipitation forecasts issued for a particular region or city several times a day, the widespread availability of weather radars allowed us to obtain forecasts at much higher spatiotemporal resolution of minutes in time and hundreds of meters in space. Hence, radar-based precipitation nowcasting, that is, very-short-range forecasting (typically up to 1–3 h), has become an essential technique, also in various professional application contexts, e.g., early warning, sewage control, or agriculture. There are two major components comprising a system for precipitation nowcasting: radar-based precipitation estimates, and models to extrapolate that precipitation to the imminent future. While acknowledging the fundamental importance of radar-based precipitation retrieval for precipitation nowcasts, this thesis focuses only on the model development: the establishment of open and competitive benchmark models, the investigation of the potential of deep learning, and the development of procedures for nowcast errors diagnosis and isolation that can guide model development. The present landscape of computational models for precipitation nowcasting still struggles with the availability of open software implementations that could serve as benchmarks for measuring progress. Focusing on this gap, we have developed and extensively benchmarked a stack of models based on different optical flow algorithms for the tracking step and a set of parsimonious extrapolation procedures based on image warping and advection. We demonstrate that these models provide skillful predictions comparable with or even superior to state-of-the-art operational software. We distribute the corresponding set of models as a software library, rainymotion, which is written in the Python programming language and openly available at GitHub (https://github.com/hydrogo/rainymotion). That way, the library acts as a tool for providing fast, open, and transparent solutions that could serve as a benchmark for further model development and hypothesis testing. One of the promising directions for model development is to challenge the potential of deep learning – a subfield of machine learning that refers to artificial neural networks with deep architectures, which may consist of many computational layers. Deep learning showed promising results in many fields of computer science, such as image and speech recognition, or natural language processing, where it started to dramatically outperform reference methods. The high benefit of using "big data" for training is among the main reasons for that. Hence, the emerging interest in deep learning in atmospheric sciences is also caused and concerted with the increasing availability of data – both observational and model-based. The large archives of weather radar data provide a solid basis for investigation of deep learning potential in precipitation nowcasting: one year of national 5-min composites for Germany comprises around 85 billion data points. To this aim, we present RainNet, a deep convolutional neural network for radar-based precipitation nowcasting. RainNet was trained to predict continuous precipitation intensities at a lead time of 5 min, using several years of quality-controlled weather radar composites provided by the German Weather Service (DWD). That data set covers Germany with a spatial domain of 900 km x 900 km and has a resolution of 1 km in space and 5 min in time. Independent verification experiments were carried out on 11 summer precipitation events from 2016 to 2017. In these experiments, RainNet was applied recursively in order to achieve lead times of up to 1 h. In the verification experiments, trivial Eulerian persistence and a conventional model based on optical flow served as benchmarks. The latter is available in the previously developed rainymotion library. RainNet significantly outperformed the benchmark models at all lead times up to 60 min for the routine verification metrics mean absolute error (MAE) and critical success index (CSI) at intensity thresholds of 0.125, 1, and 5 mm/h. However, rainymotion turned out to be superior in predicting the exceedance of higher intensity thresholds (here 10 and 15 mm/h). The limited ability of RainNet to predict high rainfall intensities is an undesirable property which we attribute to a high level of spatial smoothing introduced by the model. At a lead time of 5 min, an analysis of power spectral density confirmed a significant loss of spectral power at length scales of 16 km and below. Obviously, RainNet had learned an optimal level of smoothing to produce a nowcast at 5 min lead time. In that sense, the loss of spectral power at small scales is informative, too, as it reflects the limits of predictability as a function of spatial scale. Beyond the lead time of 5 min, however, the increasing level of smoothing is a mere artifact – an analogue to numerical diffusion – that is not a property of RainNet itself but of its recursive application. In the context of early warning, the smoothing is particularly unfavorable since pronounced features of intense precipitation tend to get lost over longer lead times. Hence, we propose several options to address this issue in prospective research on model development for precipitation nowcasting, including an adjustment of the loss function for model training, model training for longer lead times, and the prediction of threshold exceedance. The model development together with the verification experiments for both conventional and deep learning model predictions also revealed the need to better understand the source of forecast errors. Understanding the dominant sources of error in specific situations should help in guiding further model improvement. The total error of a precipitation nowcast consists of an error in the predicted location of a precipitation feature and an error in the change of precipitation intensity over lead time. So far, verification measures did not allow to isolate the location error, making it difficult to specifically improve nowcast models with regard to location prediction. To fill this gap, we introduced a framework to directly quantify the location error. To that end, we detect and track scale-invariant precipitation features (corners) in radar images. We then consider these observed tracks as the true reference in order to evaluate the performance (or, inversely, the error) of any model that aims to predict the future location of a precipitation feature. Hence, the location error of a forecast at any lead time ahead of the forecast time corresponds to the Euclidean distance between the observed and the predicted feature location at the corresponding lead time. Based on this framework, we carried out a benchmarking case study using one year worth of weather radar composites of the DWD. We evaluated the performance of four extrapolation models, two of which are based on the linear extrapolation of corner motion; and the remaining two are based on the Dense Inverse Search (DIS) method: motion vectors obtained from DIS are used to predict feature locations by linear and Semi-Lagrangian extrapolation. For all competing models, the mean location error exceeds a distance of 5 km after 60 min, and 10 km after 110 min. At least 25% of all forecasts exceed an error of 5 km after 50 min, and of 10 km after 90 min. Even for the best models in our experiment, at least 5 percent of the forecasts will have a location error of more than 10 km after 45 min. When we relate such errors to application scenarios that are typically suggested for precipitation nowcasting, e.g., early warning, it becomes obvious that location errors matter: the order of magnitude of these errors is about the same as the typical extent of a convective cell. Hence, the uncertainty of precipitation nowcasts at such length scales – just as a result of locational errors – can be substantial already at lead times of less than 1 h. Being able to quantify the location error should hence guide any model development that is targeted towards its minimization. To that aim, we also consider the high potential of using deep learning architectures specific to the assimilation of sequential (track) data. Last but not least, the thesis demonstrates the benefits of a general movement towards open science for model development in the field of precipitation nowcasting. All the presented models and frameworks are distributed as open repositories, thus enhancing transparency and reproducibility of the methodological approach. Furthermore, they are readily available to be used for further research studies, as well as for practical applications. N2 - Niederschlagsvorhersagen haben einen wichtigen Platz in unserem täglichen Leben. Und die breite Abdeckung mit Niederschlagsradaren ermöglicht es uns, den Niederschlag mit einer viel höheren räumlich-zeitlichen Auflösung vorherzusagen (Minuten in der Zeit, Hunderte von Metern im Raum). Solche radargestützten Niederschlagsvorhersagen mit sehr kurzem Vorhersagehorizont (1–3 Stunden) nennt man auch "Niederschlagsnowcasting." Sie sind in verschiedenen Anwendungsbereichen (z.B. in der Frühwarnung, der Stadtentwässerung sowie in der Landwirtschaft) zu einer wichtigen Technologie geworden. Eine erhebliche Schwierigkeit in Modellentwicklung zum Niederschlagsnowcastings ist jedoch die Verfügbarkeit offener Softwarewerkzeuge und Implementierungen, die als Benchmark für den Entwicklungsfortschritt auf diesem Gebiet dienen können. Um diese Lücke zu schließen, haben wir eine Gruppe von Modellen auf der Grundlage verschiedener Tracking- und Extrapolationsverfahren entwickelt und systematisch verglichen. Es konnte gezeigt werden, dass die Vorhersagen dieser einen Skill haben, der sich mit dem Skill operationeller Vorhersagesysteme messen kann, teils sogar überlegen sind. Diese Benchmark-Modelle sind nun in Form der quelloffenen Software-Bibliothek rainymotion allgemein verfügbar (https://github.com/hydrogo/rainymotion). Eine der vielversprechenden Perspektiven für die weitere Modellentwicklung besteht in der Untersuchung des Potenzials von "Deep Learning" – einem Teilgebiet des maschinellen Lernens, das sich auf künstliche neuronale Netze mit sog. "tiefen Architekturen" bezieht, die aus einer Vielzahl von Schichten (computational layers) bestehen können. Im Rahmen dieser Arbeit wurde daher RainNet entwickelt: ein Tiefes Neuronales Netz für radargestütztes Niederschlags-Nowcasting. RainNet wurde zunächst zur Vorhersage der Niederschlagsintensität mit einem Vorhersagehorizont von fünf Minuten trainiert. Als Datengrundlage dazu dienten mehrere Jahre qualitätskontrollierter Radarkompositprodukte des Deutschen Wetterdienstes (DWD). RainNet übertraf die verfügbaren Benchmark-Modelle für Vorhersagezeiten bis zu 60 min in Bezug auf den Mittleren Absoluten Fehler (MAE) und den Critical Success Index (CSI) für Intensitätsschwellenwerte von 0.125, 1 und 5 mm/h. Allerdings erwies sich das das Benchmark-Modell aus dem Softwarepaket rainymotion bei der Vorhersage der Überschreitung höherer Intensitätsschwellen (10 und 15 mm/h) als überlegen. Die eingeschränkte Fähigkeit von RainNet zur Vorhersage hoher Niederschlagsintensitäten ist eine unerwünschte Eigenschaft, die wir auf ein hohes Maß an räumlicher Glättung durch das Modell zurückführen. Im Kontext der Frühwarnung ist die Glättung besonders ungünstig, da ausgeprägte Merkmale von Starkniederschlägen bei längeren Vorlaufzeiten tendenziell verloren gehen. In dieser Arbeit werden daher mehrere Optionen vorgeschlagen, um dieses Problem in der zukünftigen Forschung zur Modellentwicklung anzugehen. Ein weiterer Beitrag dieser Arbeit liegt in der Quantifizierung einer spezifischen Fehlerquelle von Niederschlagsnowcasts. Der Gesamtfehler eines Nowcasts besteht aus einem Fehler in der vorhergesagten Lage eines Niederschlagsfeatures (Ortsfehler) sowie einem Fehler in der Änderung der Intensität eines Features über die Vorhersagezeit (Intensitätsfehler). Herkömmliche Verifikationsmaße waren bislang nicht in der Lage, das Ausmaß des Ortsfehlers zu isolieren. Um diese Lücke zu füllen, haben wir einen Ansatz zur direkten Quantifizierung des Ortsfehlers entwickelt. Mit Hilfe dieses Ansatzes wurde wir Benchmarking-Experiment auf Grundlage eines fünfminütigen DWD Radarkompositprodukts für das komplette Jahr 2016 umgesetzt. In diesem Experiment wurden vier Nowcasting-Modelle aus der rainymotion-Softwarebibliothek verwendet im Hinblick auf den Ortsfehler der Vorhersage verglichen. Die Ergebnisse zeigen, dass für alle konkurrierenden Modelle die Ortsfehler von Bedeutung sind: die Größenordnung dieser Fehler entspricht etwa der typischen Ausdehnung einer konvektiven Zelle oder einer mittelgroßen Stadt (5–10 km). Insgesamt zeigt diese Arbeit die Vorteile eines "Open Science"-Ansatzes für die Modellentwicklung im Bereich der Niederschlagsnowcastings. Alle vorgestellten Modelle und Modellsysteme stehen als offene, gut dokumentierte Repositorien zusammen mit entsprechenden offenen Datensätzen öffentlich zu Verfügung für, was die Transparenz und Reproduzierbarkeit des methodischen Ansatzes, aber auch die Anwendbarkeit in der Praxis erhöht. KW - Weather radar KW - nowcasting KW - optical flow KW - deep learning KW - Wetterradar KW - Deep Learning KW - Nowcasting KW - Optischer Fluss Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-504267 ER - TY - THES A1 - Che, Xiaoyin T1 - E-lecture material enhancement based on automatic multimedia analysis T1 - Online-Vorlesung Materialverbesserung basierend auf automatischer Multimedia-Analyse N2 - In this era of high-speed informatization and globalization, online education is no longer an exquisite concept in the ivory tower, but a rapidly developing industry closely relevant to people's daily lives. Numerous lectures are recorded in form of multimedia data, uploaded to the Internet and made publicly accessible from anywhere in this world. These lectures are generally addressed as e-lectures. In recent year, a new popular form of e-lectures, the Massive Open Online Courses (MOOCs), boosts the growth of online education industry and somehow turns "learning online" into a fashion. As an e-learning provider, besides to keep improving the quality of e-lecture content, to provide better learning environment for online learners is also a highly important task. This task can be preceded in various ways, and one of them is to enhance and upgrade the learning materials provided: e-lectures could be more than videos. Moreover, this process of enhancement or upgrading should be done automatically, without giving extra burdens to the lecturers or teaching teams, and this is the aim of this thesis. The first part of this thesis is an integrated framework of multi-lingual subtitles production, which can help online learners penetrate the language barrier. The framework consists of Automatic Speech Recognition (ASR), Sentence Boundary Detection (SBD) and Machine Translation (MT), among which the proposed SBD solution is major technical contribution, building on Deep Neural Network (DNN) and Word Vector (WV) and achieving state-of-the-art performance. Besides, a quantitative evaluation with dozens of volunteers is also introduced to measure how these auto-generated subtitles could actually help in context of e-lectures. Secondly, a technical solution "TOG" (Tree-Structure Outline Generation) is proposed to extract textual content from the displaying slides recorded in video and re-organize them into a hierarchical lecture outline, which may serve in multiple functions, such like preview, navigation and retrieval. TOG runs adaptively and can be roughly divided into intra-slide and inter-slides phases. Table detection and lecture video segmentation can be implemented as sub- or post-application in these two phases respectively. Evaluation on diverse e-lectures shows that all the outlines, tables and segments achieved are trustworthily accurate. Based on the subtitles and outlines previously created, lecture videos can be further split into sentence units and slide-based segment units. A lecture highlighting process is further applied on these units, in order to capture and mark the most important parts within the corresponding lecture, just as what people do with a pen when reading paper books. Sentence-level highlighting depends on the acoustic analysis on the audio track, while segment-level highlighting focuses on exploring clues from the statistical information of related transcripts and slide content. Both objective and subjective evaluations prove that the proposed lecture highlighting solution is with decent precision and welcomed by users. All above enhanced e-lecture materials have been already implemented in actual use or made available for implementation by convenient interfaces. N2 - In der Ära der mit Hochgeschwindigkeit digitalisierten und globalisierten Welt ist die Online-Bildung nicht mehr ein kunstvoller Begriff im Elfenbeinturm, sondern eine sich schnell entwickelnde Industrie, die für den Alltag der Menschen eine wichtige Rolle spielt. Zahlreiche Vorlesungen werden digital aufgezeichnet und im Internet Online zur Verfügung gestellt, so dass sie vom überall auf der Welt erreichbar und zugänglich sind. Sie werden als e-Vorlesungen bezeichnet. Eine neue Form der Online-Bildung namens „Massive Open Online Courses“ (MOOCs), welche zum Trend seit dem letzten Jahr geworden ist, verstärket und beschleunigt die Entwicklung des Online-Lernens. Ein Online-Lernen Anbieter hat nicht nur die Qualität des Lerninhaltes sondern auch die Lernumgebung und die Lerntools ständig zu verbessern. Eine diese Verbesserungen ist die Form, in der das Lernmaterial aktualisiert und angeboten wird. Das Ziel dieser Dissertation ist die Untersuchung und die Entwicklung von Tools, die der Prozess der Verbesserung und Aktualisierung des Lernmaterials automatisch durchführen. Die entwickelten Tools sollen das Lehrerteam entlasten und seine Arbeit beschleunigen. Der erste Teil der Dissertation besteht aus einem integrierten Framework für die Generierung von mehrsprachigen Untertiteln. Dies kann den Online-Lernern ermöglichen, die Sprachbarriere beim Lernen zu überwinden. Das Framework besteht aus „Automatic Speech Recognition“ (ASR), „Sentence Boundary Detection“ (SBD), und „Machine Translation“ (MT). SBD ist realisiert durch die Anwendung von „Deep Neural Network“ (DNN) und „Word Vector“ (WV), wodurch die Genauigkeit der Stand der Technik erreicht ist. Außerdem quantitative Bewertung durch Dutzende von Freiwilligen ist also eingesetzt, um zu evaluieren, wie diese automaisch generierten Untertiteln in den E-Vorlesungen helfen können. Im zweiten Teil ist eine technische Lösung namens „Tree-Structure Outline Generation“ (TOG) für die Extraktion des textuellen Inhalts aus den Folien präsentiert. Der extrahierten Informationen werden dann in strukturierter Form dargestellt, welche die Outline der Vorlesung wiederspiegelt. Diese Darstellung kann verschiedenen Funktionen dienen, wie dem Vorschau, der Navigation, und dem Abfragen des Inhaltes. TOG ist adaptiv und kann grob in Intra-Folie und Inter-Folien Phasen unterteilt werden. Für diese Phasen, Tabellenerkennung und die Segmentierung von Vorlesungsvideo können als Sub- oder Post-Applikation jeweils implementiert werden. Die höhere Genauigkeit der extrahierten Outline, der Tabellen, und der Segmenten wird experimentell durch die Anwendung auf verschieden e-Vorlesungen gezeigt. Basierend auf den Untertiteln und dem Outline, die in vorher generiert wurden, Vorlesungsvideos können weiter in Satzeinheiten und Folien-basierten Segmenteinheiten gesplittet werden. Ein Hervorhebungsprozess wird weiter auf diese Einheiten angewendet, um die wichtigsten Teile innerhalb der entsprechenden Vorlesung zu erfassen und zu markieren. Dies entspricht genau, was die Lerner mit einem Stift beim Lesen von Büchern machen. Die Satz-Level-Hervorhebung hängt von der akustischen Analyse auf der Audiospur ab, während die Segment-Level-Hervorhebung auf die Erforschung von Hinweisen aus den statistischen Informationen der verwandten Transkripte und des Folieninhalts fokussiert. Die objektiven und subjektiven Auswertungen zeigen, dass die vorgeschlagene Vorlesungsvorhebungslösung mit anständiger Präzision und von den Benutzern akzeptiert wird. All diese Methoden für die Verbesserung der Online-Materialien wurden bereits für den Einsatz implementiert und durch komfortable Schnittstellen zur Verfügung gestellt. KW - E-Learning KW - deep learning KW - NLP KW - document analysis KW - E-Learning KW - Deep Learning KW - natürliche Sprachverarbeitung KW - Dokument Analyse Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-408224 ER -