TY - THES A1 - Zurell, Damaris T1 - Integrating dynamic and statistical modelling approaches in order to improve predictions for scenarios of environmental change T1 - Integration dynamischer und statistischer Modellansätze zur Verbesserung von Arealvorhersagen für Szenarien globalen Wandels N2 - Species respond to environmental change by dynamically adjusting their geographical ranges. Robust predictions of these changes are prerequisites to inform dynamic and sustainable conservation strategies. Correlative species distribution models (SDMs) relate species’ occurrence records to prevailing environmental factors to describe the environmental niche. They have been widely applied in global change context as they have comparably low data requirements and allow for rapid assessments of potential future species’ distributions. However, due to their static nature, transient responses to environmental change are essentially ignored in SDMs. Furthermore, neither dispersal nor demographic processes and biotic interactions are explicitly incorporated. Therefore, it has often been suggested to link statistical and mechanistic modelling approaches in order to make more realistic predictions of species’ distributions for scenarios of environmental change. In this thesis, I present two different ways of such linkage. (i) Mechanistic modelling can act as virtual playground for testing statistical models and allows extensive exploration of specific questions. I promote this ‘virtual ecologist’ approach as a powerful evaluation framework for testing sampling protocols, analyses and modelling tools. Also, I employ such an approach to systematically assess the effects of transient dynamics and ecological properties and processes on the prediction accuracy of SDMs for climate change projections. That way, relevant mechanisms are identified that shape the species’ response to altered environmental conditions and which should hence be considered when trying to project species’ distribution through time. (ii) I supplement SDM projections of potential future habitat for black grouse in Switzerland with an individual-based population model. By explicitly considering complex interactions between habitat availability and demographic processes, this allows for a more direct assessment of expected population response to environmental change and associated extinction risks. However, predictions were highly variable across simulations emphasising the need for principal evaluation tools like sensitivity analysis to assess uncertainty and robustness in dynamic range predictions. Furthermore, I identify data coverage of the environmental niche as a likely cause for contrasted range predictions between SDM algorithms. SDMs may fail to make reliable predictions for truncated and edge niches, meaning that portions of the niche are not represented in the data or niche edges coincide with data limits. Overall, my thesis contributes to an improved understanding of uncertainty factors in predictions of range dynamics and presents ways how to deal with these. Finally I provide preliminary guidelines for predictive modelling of dynamic species’ response to environmental change, identify key challenges for future research and discuss emerging developments. N2 - Das Vorkommen von Arten wird zunehmend bedroht durch Klima- und Landnutzungswandel. Robuste Vorhersagen der damit verbundenen Arealveränderungen sind ausschlaggebend für die Erarbeitung dynamischer und nachhaltiger Naturschutzstrategien. Habitateignungsmodelle erstellen statistische Zusammenhänge zwischen dem Vorkommen einer Art und relevanten Umweltvariablen und erlauben zügige Einschätzungen potentieller Arealveränderungen. Dabei werden jedoch transiente Dynamiken weitgehend ignoriert sowie demographische Prozesse und biotische Interaktionen. Daher wurden Vorschläge laut, diese statistischen Modelle mit mechanistischeren Ansätzen zu koppeln. In der vorliegenden Arbeit zeige ich zwei verschiedene Möglichkeiten solcher Kopplung auf. (i) Ich beschreibe den sogenannten ‚Virtuellen Ökologen’-Ansatz als mächtiges Validierungswerkzeug, in dem mechanistische Modelle virtuelle Testflächen bieten zur Erforschung verschiedener Probenahmedesigns oder statistischer Methoden sowie spezifischer Fragestellungen. Auch verwende ich diesen Ansatz, um systematisch zu untersuchen wie sich transiente Dynamiken sowie Arteigenschaften und ökologische Prozesse auf die Vorhersagegüte von Habitateignungsmodellen auswirken. So kann ich entscheidende Prozesse identifizieren welche in zukünftigen Modellen Berücksichtigung finden sollten. (ii) Darauf aufbauend koppele ich Vorhersagen von Habitateignungsmodellen mit einem individuen-basierten Populationsmodell, um die Entwicklung des Schweizer Birkhuhnbestandes unter Klimawandel vorherzusagen. Durch die explizite Berücksichtigung der Wechselwirkungen zwischen Habitat und demographischer Prozesse lassen sich direktere Aussagen über Populationsentwicklung und damit verbundener Extinktionsrisiken treffen. Allerdings führen verschiedene Simulationen auch zu hoher Variabilität zwischen Vorhersagen, was die Bedeutung von Sensitivitätsanalysen unterstreicht, um Unsicherheiten und Robustheit von Vorhersagen einzuschätzen. Außerdem identifiziere ich Restriktionen in der Datenabdeckung des Umweltraumes als möglichen Grund für kontrastierende Vorhersagen verschiedener Habitateignungsmodelle. Wenn die Nische einer Art nicht vollständig durch Daten beschrieben ist, kann dies zu unrealistischen Vorhersagen der Art-Habitat-Beziehung führen. Insgesamt trägt meine Arbeit erheblich bei zu einem besseren Verständnis der Auswirkung verschiedenster Unsicherheitsfaktoren auf Vorhersagen von Arealveränderungen und zeigt Wege auf, mit diesen umzugehen. Abschließend erstelle ich einen vorläufigen Leitfaden für Vorhersagemodelle und identifiziere Kernpunkte für weitere Forschung auf diesem Gebiet. KW - species distribution models KW - dynamic population models KW - climate change KW - prediction KW - uncertainty KW - Habitatmodelle KW - dynamische Populationsmodelle KW - Klimawandel KW - Vorhersage KW - Unsicherheit Y1 - 2011 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-56845 ER - TY - THES A1 - Stone, Kate T1 - Predicting long-distance lexical content in German verb-particle constructions N2 - A large body of research now supports the presence of both syntactic and lexical predictions in sentence processing. Lexical predictions, in particular, are considered to indicate a deep level of predictive processing that extends past the structural features of a necessary word (e.g. noun), right down to the phonological features of the lexical identity of a specific word (e.g. /kite/; DeLong et al., 2005). However, evidence for lexical predictions typically focuses on predictions in very local environments, such as the adjacent word or words (DeLong et al., 2005; Van Berkum et al., 2005; Wicha et al., 2004). Predictions in such local environments may be indistinguishable from lexical priming, which is transient and uncontrolled, and as such may prime lexical items that are not compatible with the context (e.g. Kukona et al., 2014). Predictive processing has been argued to be a controlled process, with top-down information guiding preactivation of plausible upcoming lexical items (Kuperberg & Jaeger, 2016). One way to distinguish lexical priming from prediction is to demonstrate that preactivated lexical content can be maintained over longer distances. In this dissertation, separable German particle verbs are used to demonstrate that preactivation of lexical items can be maintained over multi-word distances. A self-paced reading time and an eye tracking experiment provide some support for the idea that particle preactivation triggered by a verb and its context can be observed by holding the sentence context constant and manipulating the predictabilty of the particle. Although evidence of an effect of particle predictability was only seen in eye tracking, this is consistent with previous evidence suggesting that predictive processing facilitates only some eye tracking measures to which the self-paced reading modality may not be sensitive (Staub, 2015; Rayner1998). Interestingly, manipulating the distance between the verb and the particle did not affect reading times, suggesting that the surprisal-predicted faster reading times at long distance may only occur when the additional distance is created by information that adds information about the lexical identity of a distant element (Levy, 2008; Grodner & Gibson, 2005). Furthermore, the results provide support for models proposing that temporal decay is not major influence on word processing (Lewandowsky et al., 2009; Vasishth et al., 2019). In the third and fourth experiments, event-related potentials were used as a method for detecting specific lexical predictions. In the initial ERP experiment, we found some support for the presence of lexical predictions when the sentence context constrained the number of plausible particles to a single particle. This was suggested by a frontal post-N400 positivity (PNP) that was elicited when a lexical prediction had been violated, but not to violations when more than one particle had been plausible. The results of this study were highly consistent with previous research suggesting that the PNP might be a much sought-after ERP marker of prediction failure (DeLong et al., 2011; DeLong et al., 2014; Van Petten & Luka, 2012; Thornhill & Van Petten, 2012; Kuperberg et al., 2019). However, a second experiment in a larger sample experiment failed to replicate the effect, but did suggest the relationship of the PNP to predictive processing may not yet be fully understood. Evidence for long-distance lexical predictions was inconclusive. The conclusion drawn from the four experiments is that preactivation of the lexical entries of plausible upcoming particles did occur and was maintained over long distances. The facilitatory effect of this preactivation at the particle site therefore did not appear to be the result of transient lexical priming. However, the question of whether this preactivation can also lead to lexical predictions of a specific particle remains unanswered. Of particular interest to future research on predictive processing is further characterisation of the PNP. Implications for models of sentence processing may be the inclusion of long-distance lexical predictions, or the possibility that preactivation of lexical material can facilitate reading times and ERP amplitude without commitment to a specific lexical item. N2 - Eine große Anzahl an Forschungen unterstützt nun sowohl das Vorkommen syntaktischer als auch lexikalischer Vorhersagen bei der Satzverarbeitung. Insbesondere lexikalische Vorhersagen gelten als Indikator für eine tiefe Ebene bei der prädiktiven Satzverarbeitung, die sich über die strukturellen Merkmale eines notwendigen Wortes (z.B. Substantiv) bis hin zu den phonologischen Merkmalen der lexikalischen Identität eines bestimmten Wortes erstreckt (z.B. /kite/; DeLong et al., 2005). Die Evidenz für lexikalische Vorhersagen konzentriert sich jedoch in der Regel auf Vorhersagen in sehr lokalen Umgebungen wie zum Beispiel das angrenzende Wort oder die angrenzenden Wörter (DeLong et al., 2005; Van Berkum et al., 2005; Wicha et al., 2004). Vorhersagen in solchen lokalen Umgebungen sind womöglich nicht unterscheidbar von lexikalischem Priming, das vorübergehend und unkontrolliert ist und könnten als solches lexikalische Elemente primen, die mit dem Kontext nicht kompatibel sind (z.B. Kukona et al., 2014). Die prädiktive Verarbeitung wurde als ein kontrollierter Prozess verstanden, bei dem top-down verarbeitete Informationen die Präaktivierung plausibler bevorstehender lexikalischer Elemente steuern (Kuperberg & Jaeger, 2016). Eine Möglichkeit, lexikalisches Priming von Vorhersagen zu unterscheiden, besteht darin, zu zeigen, dass präaktivierte lexikalische Inhalte über größere Entfernungen beibehalten werden können. In dieser Dissertation werden trennbare deutsche Partikelverben verwendet, um zu zeigen, dass die Präaktivierung lexikalischer Elemente über Mehrwortdistanzen aufrechterhalten werden kann. Ein selbstbestimmtes Leseexperiment und ein Eyetracking-Experiment liefern eine gewisse Bestätigung für die Idee, dass die Präaktivierung von Partikeln, ausgelöst von einem Verb und dessen Kontext, beobachtet werden kann, indem der Satzkontext konstant gehalten und die Vorhersagbarkeit des Partikels manipuliert wird. Obwohl der Nachweis eines Effekts der Partikelvorhersagbarkeit nur im Eyetracking zu sehen war, stimmt dies mit früheren Erkenntnissen überein, die darauf hindeuten, dass die prädiktive Verarbeitung nur einige Eyetracking-Messungen erleichtert, für die die selbstbestimmte Lesemodalität möglicherweise nicht sensitiv genug ist (Staub, 2015; Rayner, 1998). Interessanterweise hatte die Manipulation des Abstands zwischen dem Verb und dem Partikel keinen Einfluss auf die Lesezeiten, was darauf hindeutet, dass die durch die Surprisal-Theorie vorhergesagten schnelleren Lesezeiten bei großem Abstand nur dann auftreten können, wenn der zusätzliche Abstand durch Informationen erzeugt wird, die Informationen über die lexikalische Identität eines entfernten Elements hinzufügen (Levy, 2008; Grodner & Gibson, 2005). Darüber hinaus liefern die Ergebnisse Unterstützung für Modelle, die vorschlagen, dass der zeitliche Aktivierungsverfall keinen großen Einfluss auf die Wortverarbeitung hat (Lewandowsky et al., 2009; Vasishth et al., 2019). Im dritten und vierten Experiment wurden ereigniskorrelierte Potentiale (EKP) als Methode zum Nachweis spezifischer lexikalischer Vorhersagen verwendet. Im ersten EKP-Experiment fanden wir eine gewisse Bestätigung für das Vorhandensein lexikalischer Vorhersagen, wenn der Satzkontext die Anzahl der plausiblen Partikel auf ein einziges Partikel beschränkte. Dies wurde durch eine frontale Post-N400-Positivität (PNP) angedeutet, die hervorgerufen wurde, wenn eine lexikalische Vorhersage verletzt worden war, aber nicht bei Verletzungen, wenn mehr als ein Partikel plausibel gewesen war. Die Ergebnisse dieser Studie stimmen in hohem Maße mit früheren Untersuchungen überein, die darauf hindeuten, dass die PNP ein sehr gesuchter EKP-Marker für das Scheitern von Vorhersagen sein könnte (DeLong et al., 2011; DeLong et al., 2014; Van Petten & Luka, 2012; Thornhill & Van Petten, 2012; Kuperberg et al., 2020). Ein zweites Experiment mit einer größeren Stichprobe konnte den Effekt jedoch nicht replizieren, deutete aber darauf hin, dass die Beziehung der PNP zur prädiktiven Verarbeitung möglicherweise noch nicht vollständig verstanden ist. Die Evidenz für lexikalische Fernvorhersagen war nicht schlüssig. Die Schlussfolgerung, die aus den vier Experimenten gezogen wurde, ist, dass eine Präaktivierung der lexikalischen Einträge von plausiblen, bevorstehenden Partikeln stattgefunden hat und über weite Strecken aufrechterhalten wurde. Die erleichternde Wirkung dieser Präaktivierung am Partikel scheint daher nicht das Ergebnis eines vorübergehenden lexikalischen Primings zu sein. Die Frage, ob diese Präaktivierung auch zu lexikalischen Vorhersagen eines bestimmten Partikels führen kann, bleibt jedoch unbeantwortet. Von besonderem Interesse für zukünftige Forschung zur prädiktiven Verarbeitung ist die weitere Charakterisierung der PNP. Implikationen für Satzverarbeitungsmodelle sind beispielsweise die Einbeziehung von lexikalischen Fernvorhersagen oder die Möglichkeit, dass die Präaktivierung von lexikalischem Material die Lesezeiten und die EKP-Amplitude ohne Bindung an ein bestimmtes lexikalisches Element erleichtern kann. T2 - Lexikalische Vorhersagen in Partikelverb-Konstruktionen des Deutschen KW - sentence processing KW - prediction KW - particle verbs KW - preactivation KW - ERP KW - eye tracking KW - self-paced reading KW - EKP KW - Partikelverben KW - Preaktivierung KW - Vorhersagen KW - selbstbestimmtes Lesen KW - Satzverarbeitung KW - Eyetracking Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-476798 ER - TY - THES A1 - Schlenter, Judith T1 - Predictive language processing in late bilinguals T1 - Vorausschauende Sprachverarbeitung bei späten Bilingualen BT - Evidence from visual-world eye-tracking BT - Visual-World Eye-Tracking Evidenz N2 - The current thesis examined how second language (L2) speakers of German predict upcoming input during language processing. Early research has shown that the predictive abilities of L2 speakers relative to L1 speakers are limited, resulting in the proposal of the Reduced Ability to Generate Expectations (RAGE) hypothesis. Considering that prediction is assumed to facilitate language processing in L1 speakers and probably plays a role in language learning, the assumption that L1/L2 differences can be explained in terms of different processing mechanisms is a particularly interesting approach. However, results from more recent studies on the predictive processing abilities of L2 speakers have indicated that the claim of the RAGE hypothesis is too broad and that prediction in L2 speakers could be selectively limited. In the current thesis, the RAGE hypothesis was systematically put to the test. In this thesis, German L1 and highly proficient late L2 learners of German with Russian as L1 were tested on their predictive use of one or more information sources that exist as cues to sentence interpretation in both languages, to test for selective limits. The results showed that, in line with previous findings, L2 speakers can use the lexical-semantics of verbs to predict the upcoming noun. Here the level of prediction was more systematically controlled for than in previous studies by using verbs that restrict the selection of upcoming nouns to the semantic category animate or inanimate. Hence, prediction in L2 processing is possible. At the same time, this experiment showed that the L2 group was slower/less certain than the L1 group. Unlike previous studies, the experiment on case marking demonstrated that L2 speakers can use this morphosyntactic cue for prediction. Here, the use of case marking was tested by manipulating the word order (Dat > Acc vs. Acc > Dat) in double object constructions after a ditransitive verb. Both the L1 and the L2 group showed a difference between the two word order conditions that emerged within the critical time window for an anticipatory effect, indicating their sensitivity towards case. However, the results for the post-critical time window pointed to a higher uncertainty in the L2 group, who needed more time to integrate incoming information and were more affected by the word order variation than the L1 group, indicating that they relied more on surface-level information. A different cue weighting was also found in the experiment testing whether participants predict upcoming reference based on implicit causality information. Here, an additional child L1 group was tested, who had a lower memory capacity than the adult L2 group, as confirmed by a digit span task conducted with both learner groups. Whereas the children were only slightly delayed compared to the adult L1 group and showed the same effect of condition, the L2 speakers showed an over-reliance on surface-level information (first-mention/subjecthood). Hence, the pattern observed resulted more likely from L1/L2 differences than from resource deficits. The reviewed studies and the experiments conducted show that L2 prediction is affected by a range of factors. While some of the factors can be attributed to more individual differences (e.g., language similarity, slower processing) and can be interpreted by L2 processing accounts assuming that L1 and L2 processing are basically the same, certain limits are better explained by accounts that assume more substantial L1/L2 differences. Crucially, the experimental results demonstrate that the RAGE hypothesis should be refined: Although prediction as a fast-operating mechanism is likely to be affected in L2 speakers, there is no indication that prediction is the dominant source of L1/L2 differences. The results rather demonstrate that L2 speakers show a different weighting of cues and rely more on semantic and surface-level information to predict as well as to integrate incoming information. N2 - Die vorliegende Dissertation untersucht, wie Nicht-Muttersprachler des Deutschen sprachliche Information vorausschauend verarbeiten. Frühere Forschungsarbeiten haben gezeigt, dass diese Fähigkeit bei Fremdsprachsprechern im Vergleich zu Muttersprachlern eingeschränkt ist. Dies resultierte in der Formulierung der RAGE Hypothese, die besagt, dass Nicht-Muttersprachler eine reduzierte Fähigkeit besitzen, Erwartungen zu generieren. Unter der Berücksichtigung, dass vorausschauende Verarbeitung die Sprachverarbeitung bei Muttersprachlern erleichtert und möglicherweise eine Rolle beim Sprachenlernen spielt, ist die Annahme, dass sich Mutter- und Fremdsprachunterschiede durch unterschiedliche Verarbeitungsmechanismen erklären lassen, besonders interessant. Jedoch zeigen die Ergebnisse neuerer Studien, dass die Annahmen der RAGE Hypothese zu generell sind und es selektive Unterschiede zwischen Mutter- und Fremdsprachsprechern geben könnte. In dieser Dissertation wurde die RAGE Hypothese systematisch überprüft. KW - prediction KW - L2 sentence processing KW - RAGE hypothesis KW - visual-world eye-tracking KW - vorausschauende Sprachverarbeitung KW - Fremdsprachverarbeitung KW - RAGE Hypothese KW - Visual-World Eye-Tracking Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-432498 ER - TY - THES A1 - Rogge-Solti, Andreas T1 - Probabilistic Estimation of Unobserved Process Events T1 - Probabilistische Abschätzung Unbeobachteter Prozessereignisse N2 - Organizations try to gain competitive advantages, and to increase customer satisfaction. To ensure the quality and efficiency of their business processes, they perform business process management. An important part of process management that happens on the daily operational level is process controlling. A prerequisite of controlling is process monitoring, i.e., keeping track of the performed activities in running process instances. Only by process monitoring can business analysts detect delays and react to deviations from the expected or guaranteed performance of a process instance. To enable monitoring, process events need to be collected from the process environment. When a business process is orchestrated by a process execution engine, monitoring is available for all orchestrated process activities. Many business processes, however, do not lend themselves to automatic orchestration, e.g., because of required freedom of action. This situation is often encountered in hospitals, where most business processes are manually enacted. Hence, in practice it is often inefficient or infeasible to document and monitor every process activity. Additionally, manual process execution and documentation is prone to errors, e.g., documentation of activities can be forgotten. Thus, organizations face the challenge of process events that occur, but are not observed by the monitoring environment. These unobserved process events can serve as basis for operational process decisions, even without exact knowledge of when they happened or when they will happen. An exemplary decision is whether to invest more resources to manage timely completion of a case, anticipating that the process end event will occur too late. This thesis offers means to reason about unobserved process events in a probabilistic way. We address decisive questions of process managers (e.g., "when will the case be finished?", or "when did we perform the activity that we forgot to document?") in this thesis. As main contribution, we introduce an advanced probabilistic model to business process management that is based on a stochastic variant of Petri nets. We present a holistic approach to use the model effectively along the business process lifecycle. Therefore, we provide techniques to discover such models from historical observations, to predict the termination time of processes, and to ensure quality by missing data management. We propose mechanisms to optimize configuration for monitoring and prediction, i.e., to offer guidance in selecting important activities to monitor. An implementation is provided as a proof of concept. For evaluation, we compare the accuracy of the approach with that of state-of-the-art approaches using real process data of a hospital. Additionally, we show its more general applicability in other domains by applying the approach on process data from logistics and finance. N2 - Unternehmen versuchen Wettbewerbsvorteile zu gewinnen und die Kundenzufriedenheit zu erhöhen. Um die Qualität und die Effizienz ihrer Prozesse zu gewährleisten, wenden Unternehmen Geschäftsprozessmanagement an. Hierbei spielt die Prozesskontrolle im täglichen Betrieb eine wichtige Rolle. Prozesskontrolle wird durch Prozessmonitoring ermöglicht, d.h. durch die Überwachung des Prozessfortschritts laufender Prozessinstanzen. So können Verzögerungen entdeckt und es kann entsprechend reagiert werden, um Prozesse wie erwartet und termingerecht beenden zu können. Um Prozessmonitoring zu ermöglichen, müssen prozessrelevante Ereignisse aus der Prozessumgebung gesammelt und ausgewertet werden. Sofern eine Prozessausführungsengine die Orchestrierung von Geschäftsprozessen übernimmt, kann jede Prozessaktivität überwacht werden. Aber viele Geschäftsprozesse eignen sich nicht für automatisierte Orchestrierung, da sie z.B. besonders viel Handlungsfreiheit erfordern. Dies ist in Krankenhäusern der Fall, in denen Geschäftsprozesse oft manuell durchgeführt werden. Daher ist es meist umständlich oder unmöglich, jeden Prozessfortschritt zu erfassen. Zudem ist händische Prozessausführung und -dokumentation fehleranfällig, so wird z.B. manchmal vergessen zu dokumentieren. Eine Herausforderung für Unternehmen ist, dass manche Prozessereignisse nicht im Prozessmonitoring erfasst werden. Solch unbeobachtete Prozessereignisse können jedoch als Entscheidungsgrundlage dienen, selbst wenn kein exaktes Wissen über den Zeitpunkt ihres Auftretens vorliegt. Zum Beispiel ist bei der Prozesskontrolle zu entscheiden, ob zusätzliche Ressourcen eingesetzt werden sollen, wenn eine Verspätung angenommen wird. Diese Arbeit stellt einen probabilistischen Ansatz für den Umgang mit unbeobachteten Prozessereignissen vor. Dabei werden entscheidende Fragen von Prozessmanagern beantwortet (z.B. "Wann werden wir den Fall beenden?", oder "Wann wurde die Aktivität ausgeführt, die nicht dokumentiert wurde?"). Der Hauptbeitrag der Arbeit ist die Einführung eines erweiterten probabilistischen Modells ins Geschäftsprozessmanagement, das auf stochastischen Petri Netzen basiert. Dabei wird ein ganzheitlicher Ansatz zur Unterstützung der einzelnen Phasen des Geschäftsprozesslebenszyklus verfolgt. Es werden Techniken zum Lernen des probabilistischen Modells, zum Vorhersagen des Zeitpunkts des Prozessendes, zum Qualitätsmanagement von Dokumentationen durch Erkennung fehlender Einträge, und zur Optimierung von Monitoringkonfigurationen bereitgestellt. Letztere dient zur Auswahl von relevanten Stellen im Prozess, die beobachtet werden sollten. Diese Techniken wurden in einer quelloffenen prototypischen Anwendung implementiert. Zur Evaluierung wird der Ansatz mit existierenden Alternativen an echten Prozessdaten eines Krankenhauses gemessen. Die generelle Anwendbarkeit in weiteren Domänen wird examplarisch an Prozessdaten aus der Logistik und dem Finanzwesen gezeigt. KW - Geschäftsprozessmanagement KW - stochastische Petri Netze KW - Bayessche Netze KW - Probabilistische Modelle KW - Vorhersage KW - Fehlende Daten KW - Process Mining KW - business process management KW - stochastic Petri nets KW - Bayesian networks KW - probabilistic models KW - prediction KW - missing data KW - process mining Y1 - 2014 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-70426 ER - TY - THES A1 - Quade, Markus T1 - Symbolic regression for identification, prediction, and control of dynamical systems T1 - Symbolische Regression zur Identifikation, Vorhersage und Regelung dynamischer Systeme N2 - In the present work, we use symbolic regression for automated modeling of dynamical systems. Symbolic regression is a powerful and general method suitable for data-driven identification of mathematical expressions. In particular, the structure and parameters of those expressions are identified simultaneously. We consider two main variants of symbolic regression: sparse regression-based and genetic programming-based symbolic regression. Both are applied to identification, prediction and control of dynamical systems. We introduce a new methodology for the data-driven identification of nonlinear dynamics for systems undergoing abrupt changes. Building on a sparse regression algorithm derived earlier, the model after the change is defined as a minimum update with respect to a reference model of the system identified prior to the change. The technique is successfully exemplified on the chaotic Lorenz system and the van der Pol oscillator. Issues such as computational complexity, robustness against noise and requirements with respect to data volume are investigated. We show how symbolic regression can be used for time series prediction. Again, issues such as robustness against noise and convergence rate are investigated us- ing the harmonic oscillator as a toy problem. In combination with embedding, we demonstrate the prediction of a propagating front in coupled FitzHugh-Nagumo oscillators. Additionally, we show how we can enhance numerical weather predictions to commercially forecast power production of green energy power plants. We employ symbolic regression for synchronization control in coupled van der Pol oscillators. Different coupling topologies are investigated. We address issues such as plausibility and stability of the control laws found. The toolkit has been made open source and is used in turbulence control applications. Genetic programming based symbolic regression is very versatile and can be adapted to many optimization problems. The heuristic-based algorithm allows for cost efficient optimization of complex tasks. We emphasize the ability of symbolic regression to yield white-box models. In contrast to black-box models, such models are accessible and interpretable which allows the usage of established tool chains. N2 - In der vorliegenden Arbeit nutzen wird symbolische Regression zur automatisierten Modellierung dynamischer Systeme. Symbolische Regression ist eine mächtige und vielseitige Methode, welche zur Daten-getriebenen Identifikation von mathematischen Ausdrücken geeignet ist. Insbesondere werden dabei Struktur und Parameter des gesuchten Ausdrucks parallel ermittelt. Zwei Varianten der symbolischen Regression werden im Rahmen dieser Arbeit in Betracht gezogen: sparse regression und symbolischer Regression basierend auf genetischem Programmieren. Beide Verfahren werden für die Identifikation, Vor- hersage und Regelung dynamischer Systeme angewandt. Wir führen eine neue Methodik zur Identifikation von dynamischen Systemen, welche eine spontane Änderung erfahren, ein. Die Änderung eines Modells, wel- ches mit Hilfe von sparse regression gefunden wurde, ist definiert als sparsamste Aktualisierung im Hinblick auf das Modell vor der Änderung. Diese Technik ist beispielhaft am chaotischem Lorenz System und dem van der Pol Oszillator demonstriert. Aspekte wie numerische Komplexität, Robustheit gegenüber Rauschen sowie Anforderungen an Anzahl von Datenpunkten werden untersucht. Wir zeigen wie symbolische Regression zur Zeitreihenvorhersage genutzt wer- den kann. Wir nutzen dem harmonischen Oszillator als Beispielmodell, um Aspekte wie Robustheit gegenüber Rauschen sowie die Konvergenzrate der Optimierung zu untersuchen. Mit Hilfe von Einbettungsverfahren demonstrieren wir die Vorhersage propagierenden Fronten in gekoppelten FitzHugh-Nagumo Oszillatoren. Außerdem betrachten wir die kommerzielle Stromproduktionsvorhersage von erneuerbaren Energien. Wir zeigen wie man diesbezügliche die numerische Wettervorhersage mittels symbolischer Regression verfeinern und zur Stromproduktionsvorhersage anwenden kann. Wir setzen symbolische Regression zur Regelung von Synchronisation in gekoppelten van der Pol Oszillatoren ein. Dabei untersuchen wir verschiedene Topologien und Kopplungen. Wir betrachten Aspekte wie Plausibilität und Stabilität der gefundenen Regelungsgesetze. Die Software wurde veröffentlicht und wird u. a. zur Turbulenzregelung eingesetzt. Symbolische Regression basierend auf genetischem Programmieren ist sehr vielseitig und kann auf viele Optimierungsprobleme übertragen werden. Der auf Heuristik basierenden Algorithmus erlaubt die effiziente Optimierung von komplexen Fragestellungen. Wir betonen die Fähigkeit von symbolischer Regression, sogenannte white-box Modelle zu produzieren. Diese Modelle sind – im Gegensatz zu black-box Modellen – zugänglich und interpretierbar. Dies ermöglicht das weitere Nutzen von etablierten Methodiken. KW - dynamical systems KW - symbolic regression KW - genetic programming KW - identification KW - prediction KW - control KW - Dynamische Systeme KW - Symbolische Regression KW - Genetisches Programmieren KW - Identifikation KW - Vorhersage KW - Regelung Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-419790 ER - TY - THES A1 - Jäger, Lena Ann T1 - Working memory and prediction in human sentence parsing T1 - Arbeitsgedächtnis und Vorhersagbarkeit in der menschlichen Satzverarbeitung BT - cross-linguistic evidence from anaphoric dependencies and relative clauses BT - neue Erkenntnisse durch cross-linguistische Untersuchungen zu anaphorischen Dependenzen und Relativsätzen N2 - This dissertation investigates the working memory mechanism subserving human sentence processing and its relative contribution to processing difficulty as compared to syntactic prediction. Within the last decades, evidence for a content-addressable memory system underlying human cognition in general has accumulated (e.g., Anderson et al., 2004). In sentence processing research, it has been proposed that this general content-addressable architecture is also used for language processing (e.g., McElree, 2000). Although there is a growing body of evidence from various kinds of linguistic dependencies that is consistent with a general content-addressable memory subserving sentence processing (e.g., McElree et al., 2003; VanDyke2006), the case of reflexive-antecedent dependencies has challenged this view. It has been proposed that in the processing of reflexive-antecedent dependencies, a syntactic-structure based memory access is used rather than cue-based retrieval within a content-addressable framework (e.g., Sturt, 2003). Two eye-tracking experiments on Chinese reflexives were designed to tease apart accounts assuming a syntactic-structure based memory access mechanism from cue-based retrieval (implemented in ACT-R as proposed by Lewis and Vasishth (2005). In both experiments, interference effects were observed from noun phrases which syntactically do not qualify as the reflexive's antecedent but match the animacy requirement the reflexive imposes on its antecedent. These results are interpreted as evidence against a purely syntactic-structure based memory access. However, the exact pattern of effects observed in the data is only partially compatible with the Lewis and Vasishth cue-based parsing model. Therefore, an extension of the Lewis and Vasishth model is proposed. Two principles are added to the original model, namely 'cue confusion' and 'distractor prominence'. Although interference effects are generally interpreted in favor of a content-addressable memory architecture, an alternative explanation for interference effects in reflexive processing has been proposed which, crucially, might reconcile interference effects with a structure-based account. It has been argued that interference effects do not necessarily reflect cue-based retrieval interference in a content-addressable memory but might equally well be accounted for by interference effects which have already occurred at the moment of encoding the antecedent in memory (Dillon, 2011). Three experiments (eye-tracking and self-paced reading) on German reflexives and Swedish possessives were designed to tease apart cue-based retrieval interference from encoding interference. The results of all three experiments suggest that there is no evidence that encoding interference affects the retrieval of a reflexive's antecedent. Taken together, these findings suggest that the processing of reflexives can be explained with the same cue-based retrieval mechanism that has been invoked to explain syntactic dependency resolution in a range of other structures. This supports the view that the language processing system is located within a general cognitive architecture, with a general-purpose content-addressable working memory system operating on linguistic expressions. Finally, two experiments (self-paced reading and eye-tracking) using Chinese relative clauses were conducted to determine the relative contribution to sentence processing difficulty of working-memory processes as compared to syntactic prediction during incremental parsing. Chinese has the cross-linguistically rare property of being a language with subject-verb-object word order and pre-nominal relative clauses. This property leads to opposing predictions of expectation-based accounts and memory-based accounts with respect to the relative processing difficulty of subject vs. object relatives. Previous studies showed contradictory results, which has been attributed to different kinds local ambiguities confounding the materials (Lin and Bever, 2011). The two experiments presented are the first to compare Chinese relatives clauses in syntactically unambiguous contexts. The results of both experiments were consistent with the predictions of the expectation-based account of sentence processing but not with the memory-based account. From these findings, I conclude that any theory of human sentence processing needs to take into account the power of predictive processes unfolding in the human mind. N2 - Diese Dissertation untersucht die der menschlichen Satzverarbeitung zugrunde liegenden Mechanismen des Arbeitsgedächtnisses sowie deren Bedeutung für die Verarbeitungskomplexität im Vergleich zu dem Einfluss syntaktischer Erwartung. Vor dem Hintergrund der in den vergangenen Jahrzehnten angewachsenen empirischen Evidenz für ein assoziatives Gedächtnissystem als Grundlage der menschlichen Kognition im Allgemeinen (z.B. Anderson et al., 2004) wurde u.a. von McElree (2000) vorgeschlagen, dass dieses assoziative Gedächtnissystem auch der Sprachverarbeitung im Besonderen dient (z.B. McElree, 2000) und die Sprachverarbeitung folglich nicht etwa als ein von anderen kognitiven Fähigkeiten weitgehend losgelöstes Modul (z.B. Frazier, 1979) zu begreifen ist. Obwohl sich die Evidenz für ein assoziatives Gedächtnis in der Sprachverarbeitung stetig mehrt (z.B. McElree et al., 2003; VanDyke2006), werden Daten zur Verarbeitung von Reflexivpronomen als Argument gegen ein assoziatives Gedächtnis herangezogen. So schlug beispielsweise Sturt (2003) vor, dass der Gedächtniszugriff in der Verarbeitung von Reflexivpronomen-Antezedens-Dependenzen nicht assoziativer Natur ist, sondern rein syntaktisch gesteuert ist (z.B., Sturt, 2003). Im ersten Teil der vorliegenden Arbeit werden zwei Leseexperimente (Eyetracking) vorgestellt, welche die Verarbeitung des chinesischen Reflexivpronomens 'ziji' testen und die darauf ausgelegt sind, Theorien, die einen syntaktisch gesteuerten Gedächtniszugriff annehmen, von Theorien, die einen assoziativen Gedächtniszugriff, wie er beispielsweise in dem ACTR-basierten Modell von Lewis and Vasishth (2005) implementiert wurde, zu unterscheiden. In beiden Experimenten wurden Interferenzeffekte von Nominalphrasen beobachtet, die syntaktisch nicht als Antezedens des Reflexivpronomens in Frage kommen, aber das Belebtheitskriterium, das 'ziji' an seinen Antezedens stellt, erfüllen. Diese Ergebnisse werden als Evidenz gegen einen rein syntaktisch gesteuerten Gedächtniszugriff interpretiert. Jedoch sind diese Ergebnisse auch mit dem assoziativen Modell von Lewis und Vasishth (2005) nicht vollkommen vereinbar. Daher wird in der vorliegenden Arbeit eine Erweiterung des Modells von Lewis und Vasishth entwickelt. Zwei neue Prinzipien, 'cue confusion' und 'distractor prominence’, werden dem Originalmodell hinzugefügt und deren Auswirkungen auf die Vorhersagen des Modells diskutiert. Wenngleich Interferenzeffekte im Allgemeinen als Evidenz für ein assoziatives Gedächtnis herangezogen werden, argumentierte Dillon (2011), dass die empirisch beobachteten Interferenzeffekte nicht notwendigerweise Interferenzen im Moment eines assoziativen Gedächtniszugriffs reflektieren, sondern gleichermaßen Interferenzen widerspiegeln können, die bereits bei der Abspeicherung des entsprechenden Elements (z.B. des Antezedens in Reflexiv-Antezedens-Dependenzen) im Gedächtnis stattgefunden haben. Dies würde Interferenzeffekte mit einem nicht-assoziativen Gedächtnismodell vereinbar machen. Im zweiten Teil dieser Dissertation werden drei Experimente (selbst-gesteuertes Lesen und Eyetracking) vorgestellt, die deutsche Reflexivpronomen sowie schwedische Possessivpronomen testen und darauf abzielen, Rückschlüsse über den Moment der Interferenz (Interferenz beim Gedächtniszugriff im Gegensatz zu Interferenz bei der Speicherung) zu ziehen. Die Ergebnisse aller drei Experimente zeigen, dass etwaige Interferenzen beim Abspeichern eines Nomens keinen Einfluss auf dessen späteren Zugriff haben. Zusammengefasst zeigen die Ergebnisse dieser Experimente zum Chinesischen, Deutschen und Schwedischen, dass die Verarbeitung von Reflexivpronomen mit demselben assoziativen Gedächtniszugriff erklärt werden kann, von dem angenommen wird, dass er der Verarbeitung einer Reihe anderer syntaktischer Dependenzen zugrunde liegt. Darüber hinaus sind die hier vorgestellten Ergebnisse im Einklang mit einer generellen Theorie über die menschliche Kognition, die das Sprachverarbeitungssystem als Bestandteil einer allgemeinen kognitiven Architektur begreift, in welcher ein allgemeines assoziatives Gedächtnissystem auf sprachlichen Repräsentationen operiert. Im dritten Teil dieser Dissertation werden zwei weitere Leseexperimente (selbst-gesteuertes Lesen und Eyetracking) vorgestellt, in denen anhand chinesischer Relativsätze die Wirkung von Arbeitsgedächtnisprozessen im Vergleich zu der Wirkung syntaktischer Erwartung auf die Komplexität der inkrementellen Satzverarbeitung untersucht wird. Chinesisch ist cross-linguistisch insofern eine außergewöhnliche Sprache, als dass es eine Subjekt-Verb-Objekt-Wortstellung mit pränominalen Relativsätzen vereint. Die Kombination dieser Eigenschaften führt dazu, dass Theorien, die Satzverarbeitungskomplexität primär Arbeitsgedächtnisprozessen zuschreiben (z.B. Gibson, 2000), und erwartungsbasierte Theorien, welche die Satzverarbeitungskomplexität dem Erfüllen bzw. dem Brechen syntaktischer oder lexikalischer Erwartungen zuschreiben (z.B. Hale, 2001; Levy, 2008), gegensätzliche Vorhersagen machen. Bisherige Studien zu chinesischen Relativsätzen zeigten widersprüchliche Ergebnisse, was mit dem Vorhandensein konfundierender lokaler syntaktischer Ambiguitäten in den Stimuli erklärt wurde (Lin und Bever, 2011). Die beiden in dieser Arbeit vorgestellten Experimente testen erstmals chinesische Relativsätze anhand von Materialien, die frei von syntaktischen Ambiguitäten sind. Die Ergebnisse beider Experimente sind vereinbar mit erwartungsbasierten Theorien, aber nicht mit Theorien, die Satzverarbeitungskomplexität allein mit Arbeitsgedächtnisprozessen erklären. Diese Ergebnisse zeigen, dass jede umfassende Theorie der Satzverarbeitung erwartungsgesteuerten kognitiven Prozessen einen wichtigen Stellenwert einräumen muss. KW - working memory KW - Arbeitsgedächtnis KW - sentence processing KW - Satzverarbeitung KW - cognitive modeling KW - kognitive Modellierung KW - psycholinguistics KW - Psycholinguistik KW - ACT-R KW - Chinese KW - Chinesisch KW - reflexives KW - Reflexivpronomen KW - relative clauses KW - Relativsätze KW - linguistics KW - Linguistik KW - German KW - Deutsch KW - prediction KW - syntactic expectation KW - content-addressable memory Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-82517 ER - TY - THES A1 - Haider, Peter T1 - Prediction with Mixture Models T1 - Vorhersage mit Mischmodellen N2 - Learning a model for the relationship between the attributes and the annotated labels of data examples serves two purposes. Firstly, it enables the prediction of the label for examples without annotation. Secondly, the parameters of the model can provide useful insights into the structure of the data. If the data has an inherent partitioned structure, it is natural to mirror this structure in the model. Such mixture models predict by combining the individual predictions generated by the mixture components which correspond to the partitions in the data. Often the partitioned structure is latent, and has to be inferred when learning the mixture model. Directly evaluating the accuracy of the inferred partition structure is, in many cases, impossible because the ground truth cannot be obtained for comparison. However it can be assessed indirectly by measuring the prediction accuracy of the mixture model that arises from it. This thesis addresses the interplay between the improvement of predictive accuracy by uncovering latent cluster structure in data, and further addresses the validation of the estimated structure by measuring the accuracy of the resulting predictive model. In the application of filtering unsolicited emails, the emails in the training set are latently clustered into advertisement campaigns. Uncovering this latent structure allows filtering of future emails with very low false positive rates. In order to model the cluster structure, a Bayesian clustering model for dependent binary features is developed in this thesis. Knowing the clustering of emails into campaigns can also aid in uncovering which emails have been sent on behalf of the same network of captured hosts, so-called botnets. This association of emails to networks is another layer of latent clustering. Uncovering this latent structure allows service providers to further increase the accuracy of email filtering and to effectively defend against distributed denial-of-service attacks. To this end, a discriminative clustering model is derived in this thesis that is based on the graph of observed emails. The partitionings inferred using this model are evaluated through their capacity to predict the campaigns of new emails. Furthermore, when classifying the content of emails, statistical information about the sending server can be valuable. Learning a model that is able to make use of it requires training data that includes server statistics. In order to also use training data where the server statistics are missing, a model that is a mixture over potentially all substitutions thereof is developed. Another application is to predict the navigation behavior of the users of a website. Here, there is no a priori partitioning of the users into clusters, but to understand different usage scenarios and design different layouts for them, imposing a partitioning is necessary. The presented approach simultaneously optimizes the discriminative as well as the predictive power of the clusters. Each model is evaluated on real-world data and compared to baseline methods. The results show that explicitly modeling the assumptions about the latent cluster structure leads to improved predictions compared to the baselines. It is beneficial to incorporate a small number of hyperparameters that can be tuned to yield the best predictions in cases where the prediction accuracy can not be optimized directly. N2 - Das Lernen eines Modells für den Zusammenhang zwischen den Eingabeattributen und annotierten Zielattributen von Dateninstanzen dient zwei Zwecken. Einerseits ermöglicht es die Vorhersage des Zielattributs für Instanzen ohne Annotation. Andererseits können die Parameter des Modells nützliche Einsichten in die Struktur der Daten liefern. Wenn die Daten eine inhärente Partitionsstruktur besitzen, ist es natürlich, diese Struktur im Modell widerzuspiegeln. Solche Mischmodelle generieren Vorhersagen, indem sie die individuellen Vorhersagen der Mischkomponenten, welche mit den Partitionen der Daten korrespondieren, kombinieren. Oft ist die Partitionsstruktur latent und muss beim Lernen des Mischmodells mitinferiert werden. Eine direkte Evaluierung der Genauigkeit der inferierten Partitionsstruktur ist in vielen Fällen unmöglich, weil keine wahren Referenzdaten zum Vergleich herangezogen werden können. Jedoch kann man sie indirekt einschätzen, indem man die Vorhersagegenauigkeit des darauf basierenden Mischmodells misst. Diese Arbeit beschäftigt sich mit dem Zusammenspiel zwischen der Verbesserung der Vorhersagegenauigkeit durch das Aufdecken latenter Partitionierungen in Daten, und der Bewertung der geschätzen Struktur durch das Messen der Genauigkeit des resultierenden Vorhersagemodells. Bei der Anwendung des Filterns unerwünschter E-Mails sind die E-Mails in der Trainingsmende latent in Werbekampagnen partitioniert. Das Aufdecken dieser latenten Struktur erlaubt das Filtern zukünftiger E-Mails mit sehr niedrigen Falsch-Positiv-Raten. In dieser Arbeit wird ein Bayes'sches Partitionierunsmodell entwickelt, um diese Partitionierungsstruktur zu modellieren. Das Wissen über die Partitionierung von E-Mails in Kampagnen hilft auch dabei herauszufinden, welche E-Mails auf Veranlassen des selben Netzes von infiltrierten Rechnern, sogenannten Botnetzen, verschickt wurden. Dies ist eine weitere Schicht latenter Partitionierung. Diese latente Struktur aufzudecken erlaubt es, die Genauigkeit von E-Mail-Filtern zu erhöhen und sich effektiv gegen verteilte Denial-of-Service-Angriffe zu verteidigen. Zu diesem Zweck wird in dieser Arbeit ein diskriminatives Partitionierungsmodell hergeleitet, welches auf dem Graphen der beobachteten E-Mails basiert. Die mit diesem Modell inferierten Partitionierungen werden via ihrer Leistungsfähigkeit bei der Vorhersage der Kampagnen neuer E-Mails evaluiert. Weiterhin kann bei der Klassifikation des Inhalts einer E-Mail statistische Information über den sendenden Server wertvoll sein. Ein Modell zu lernen das diese Informationen nutzen kann erfordert Trainingsdaten, die Serverstatistiken enthalten. Um zusätzlich Trainingsdaten benutzen zu können, bei denen die Serverstatistiken fehlen, wird ein Modell entwickelt, das eine Mischung über potentiell alle Einsetzungen davon ist. Eine weitere Anwendung ist die Vorhersage des Navigationsverhaltens von Benutzern einer Webseite. Hier gibt es nicht a priori eine Partitionierung der Benutzer. Jedoch ist es notwendig, eine Partitionierung zu erzeugen, um verschiedene Nutzungsszenarien zu verstehen und verschiedene Layouts dafür zu entwerfen. Der vorgestellte Ansatz optimiert gleichzeitig die Fähigkeiten des Modells, sowohl die beste Partition zu bestimmen als auch mittels dieser Partition Vorhersagen über das Verhalten zu generieren. Jedes Modell wird auf realen Daten evaluiert und mit Referenzmethoden verglichen. Die Ergebnisse zeigen, dass das explizite Modellieren der Annahmen über die latente Partitionierungsstruktur zu verbesserten Vorhersagen führt. In den Fällen bei denen die Vorhersagegenauigkeit nicht direkt optimiert werden kann, erweist sich die Hinzunahme einer kleinen Anzahl von übergeordneten, direkt einstellbaren Parametern als nützlich. KW - maschinelles Lernen KW - Vorhersage KW - Clusteranalyse KW - Mischmodelle KW - machine learning KW - prediction KW - clustering KW - mixture models Y1 - 2013 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-69617 ER - TY - THES A1 - Gámez López, Antonio Juan T1 - Application of nonlinear dimensionality reduction to climate data for prediction T1 - Anwendung nichtlinearer Dimensionsreduktion auf Klimadaten zur Vorhersage N2 - This Thesis was devoted to the study of the coupled system composed by El Niño/Southern Oscillation and the Annual Cycle. More precisely, the work was focused on two main problems: 1. How to separate both oscillations into an affordable model for understanding the behaviour of the whole system. 2. How to model the system in order to achieve a better understanding of the interaction, as well as to predict future states of the system. We focused our efforts in the Sea Surface Temperature equations, considering that atmospheric effects were secondary to the ocean dynamics. The results found may be summarised as follows: 1. Linear methods are not suitable for characterising the dimensionality of the sea surface temperature in the tropical Pacific Ocean. Therefore they do not help to separate the oscillations by themselves. Instead, nonlinear methods of dimensionality reduction are proven to be better in defining a lower limit for the dimensionality of the system as well as in explaining the statistical results in a more physical way [1]. In particular, Isomap, a nonlinear modification of Multidimensional Scaling methods, provides a physically appealing method of decomposing the data, as it substitutes the euclidean distances in the manifold by an approximation of the geodesic distances. We expect that this method could be successfully applied to other oscillatory extended systems and, in particular, to meteorological systems. 2. A three dimensional dynamical system could be modeled, using a backfitting algorithm, for describing the dynamics of the sea surface temperature in the tropical Pacific Ocean. We observed that, although there were few data points available, we could predict future behaviours of the coupled ENSO-Annual Cycle system with an accuracy of less than six months, although the constructed system presented several drawbacks: few data points to input in the backfitting algorithm, untrained model, lack of forcing with external data and simplification using a close system. Anyway, ensemble prediction techniques showed that the prediction skills of the three dimensional time series were as good as those found in much more complex models. This suggests that the climatological system in the tropics is mainly explained by ocean dynamics, while the atmosphere plays a secondary role in the physics of the process. Relevant predictions for short lead times can be made using a low dimensional system, despite its simplicity. The analysis of the SST data suggests that nonlinear interaction between the oscillations is small, and that noise plays a secondary role in the fundamental dynamics of the oscillations [2]. A global view of the work shows a general procedure to face modeling of climatological systems. First, we should find a suitable method of either linear or nonlinear dimensionality reduction. Then, low dimensional time series could be extracted out of the method applied. Finally, a low dimensional model could be found using a backfitting algorithm in order to predict future states of the system. N2 - Das Ziel dieser Arbeit ist es das Verhalten der Temperatur des Meers im tropischen Pazifischen Ozean vorherzusagen. In diesem Gebiet der Welt finden zwei wichtige Phänomene gleichzeitig statt: der jährliche Zyklus und El Niño. Der jährliche Zyklus kann als Oszillation physikalischer Variablen (z.B. Temperatur, Windgeschwindigkeit, Höhe des Meeresspiegels), welche eine Periode von einem Jahr zeigen, definiert werden. Das bedeutet, dass das Verhalten des Meers und der Atmosphäre alle zwölf Monate ähnlich sind (alle Sommer sind ähnlicher jedes Jahr als Sommer und Winter des selben Jahres). El Niño ist eine irreguläre Oszillation weil sie abwechselnd hohe und tiefe Werte erreicht, aber nicht zu einer festen Zeit, wie der jährliche Zyklus. Stattdessen, kann el Niño in einem Jahr hohe Werte erreichen und dann vier, fünf oder gar sieben Jahre benötigen, um wieder aufzutreten. Es ist dabei zu beachten, dass zwei Phänomene, die im selben Raum stattfinden, sich gegenseitig beeinflussen. Dennoch weiß man sehr wenig darüber, wie genau el Niño den jährlichen Zyklus beeinflusst, und umgekehrt. Das Ziel dieser Arbeit ist es, erstens, sich auf die Temperatur des Meers zu fokussieren, um das gesamte System zu analysieren; zweitens, alle Temperaturzeitreihen im tropischen Pazifischen Ozean auf die geringst mögliche Anzahl zu reduzieren, um das System einerseits zu vereinfachen, ohne aber andererseits wesentliche Information zu verlieren. Dieses Vorgehen ähnelt der Analyse einer langen schwingenden Feder, die sich leicht um die Ruhelage bewegt. Obwohl die Feder lang ist, können wir näherungsweise die ganze Feder zeichnen wenn wir die höchsten Punkte zur einen bestimmten Zeitpunkt kennen. Daher, brauchen wir nur einige Punkte der Feder um ihren Zustand zu charakterisieren. Das Hauptproblem in unserem Fall ist die Mindestanzahl von Punkten zu finden, die ausreicht, um beide Phänomene zu beschreiben. Man hat gefunden, dass diese Anzahl drei ist. Nach diesem Teil, war das Ziel vorherzusagen, wie die Temperaturen sich in der Zeit entwickeln werden, wenn man die aktuellen und vergangenen Temperaturen kennt. Man hat beobachtet, dass eine genaue Vorhersage bis zu sechs oder weniger Monate gemacht werden kann, und dass die Temperatur für ein Jahr nicht vorhersagbar ist. Ein wichtiges Resultat ist, dass die Vorhersagen auf kurzen Zeitskalen genauso gut sind, wie die Vorhersagen, welche andere Autoren mit deutlich komplizierteren Methoden erhalten haben. Deswegen ist meine Aussage, dass das gesamte System von jährlichem Zyklus und El Niño mittels einfacherer Methoden als der heute angewandten vorhergesagt werden kann. KW - Nichtlineare Dynamik KW - El Niño Phänomen KW - Prognose KW - nonlinear dynamics KW - El Niño KW - prediction Y1 - 2006 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-10956 ER - TY - THES A1 - Elsaid, Mohamed Esameldin Mohamed T1 - Virtual machines live migration cost modeling and prediction T1 - Modellierung und Vorhersage der Live-Migrationskosten für Virtuelle Maschinen N2 - Dynamic resource management is an essential requirement for private and public cloud computing environments. With dynamic resource management, the physical resources assignment to the cloud virtual resources depends on the actual need of the applications or the running services, which enhances the cloud physical resources utilization and reduces the offered services cost. In addition, the virtual resources can be moved across different physical resources in the cloud environment without an obvious impact on the running applications or services production. This means that the availability of the running services and applications in the cloud is independent on the hardware resources including the servers, switches and storage failures. This increases the reliability of using cloud services compared to the classical data-centers environments. In this thesis we briefly discuss the dynamic resource management topic and then deeply focus on live migration as the definition of the compute resource dynamic management. Live migration is a commonly used and an essential feature in cloud and virtual data-centers environments. Cloud computing load balance, power saving and fault tolerance features are all dependent on live migration to optimize the virtual and physical resources usage. As we will discuss in this thesis, live migration shows many benefits to cloud and virtual data-centers environments, however the cost of live migration can not be ignored. Live migration cost includes the migration time, downtime, network overhead, power consumption increases and CPU overhead. IT admins run virtual machines live migrations without an idea about the migration cost. So, resources bottlenecks, higher migration cost and migration failures might happen. The first problem that we discuss in this thesis is how to model the cost of the virtual machines live migration. Secondly, we investigate how to make use of machine learning techniques to help the cloud admins getting an estimation of this cost before initiating the migration for one of multiple virtual machines. Also, we discuss the optimal timing for a specific virtual machine before live migration to another server. Finally, we propose practical solutions that can be used by the cloud admins to be integrated with the cloud administration portals to answer the raised research questions above. Our research methodology to achieve the project objectives is to propose empirical models based on using VMware test-beds with different benchmarks tools. Then we make use of the machine learning techniques to propose a prediction approach for virtual machines live migration cost. Timing optimization for live migration is also proposed in this thesis based on using the cost prediction and data-centers network utilization prediction. Live migration with persistent memory clusters is also discussed at the end of the thesis. The cost prediction and timing optimization techniques proposed in this thesis could be practically integrated with VMware vSphere cluster portal such that the IT admins can now use the cost prediction feature and timing optimization option before proceeding with a virtual machine live migration. Testing results show that our proposed approach for VMs live migration cost prediction shows acceptable results with less than 20% prediction error and can be easily implemented and integrated with VMware vSphere as an example of a commonly used resource management portal for virtual data-centers and private cloud environments. The results show that using our proposed VMs migration timing optimization technique also could save up to 51% of migration time of the VMs migration time for memory intensive workloads and up to 27% of the migration time for network intensive workloads. This timing optimization technique can be useful for network admins to save migration time with utilizing higher network rate and higher probability of success. At the end of this thesis, we discuss the persistent memory technology as a new trend in servers memory technology. Persistent memory modes of operation and configurations are discussed in detail to explain how live migration works between servers with different memory configuration set up. Then, we build a VMware cluster with persistent memory inside server and also with DRAM only servers to show the live migration cost difference between the VMs with DRAM only versus the VMs with persistent memory inside. N2 - Die dynamische Ressourcenverwaltung ist eine wesentliche Voraussetzung für private und öffentliche Cloud-Computing-Umgebungen. Bei der dynamischen Ressourcenverwaltung hängt die Zuweisung der physischen Ressourcen zu den virtuellen Cloud-Ressourcen vom tatsächlichen Bedarf der Anwendungen oder der laufenden Dienste ab, was die Auslastung der physischen Cloud-Ressourcen verbessert und die Kosten für die angebotenen Dienste reduziert. Darüber hinaus können die virtuellen Ressourcen über verschiedene physische Ressourcen in der Cloud-Umgebung verschoben werden, ohne dass dies einen offensichtlichen Einfluss auf die laufenden Anwendungen oder die Produktion der Dienste hat. Das bedeutet, dass die Verfügbarkeit der laufenden Dienste und Anwendungen in der Cloud unabhängig von den Hardwareressourcen einschließlich der Server, Netzwerke und Speicherausfälle ist. Dies erhöht die Zuverlässigkeit bei der Nutzung von Cloud-Diensten im Vergleich zu klassischen Rechenzentrumsumgebungen. In dieser Arbeit wird das Thema der dynamischen Ressourcenverwaltung kurz erörtert, um sich dann eingehend mit der Live-Migration als Definition der dynamischen Verwaltung von Compute-Ressourcen zu beschäftigen. Live-Migration ist eine häufig verwendete und wesentliche Funktion in Cloud- und virtuellen Rechenzentrumsumgebungen. Cloud-Computing-Lastausgleich, Energiespar- und Fehlertoleranzfunktionen sind alle von der Live-Migration abhängig, um die Nutzung der virtuellen und physischen Ressourcen zu optimieren. Wie wir in dieser Arbeit erörtern werden, zeigt die Live-Migration viele Vorteile für Cloud- und virtuelle Rechenzentrumsumgebungen, jedoch können die Kosten der Live-Migration nicht ignoriert werden. Zu den Kosten der Live-Migration gehören die Migrationszeit, die Ausfallzeit, der Netzwerk-Overhead, der Anstieg des Stromverbrauchs und der CPU-Overhead. IT-Administratoren führen Live-Migrationen von virtuellen Maschinen durch, ohne eine Vorstellung von den Migrationskosten zu haben. So kann es zu Ressourcenengpässen, höheren Migrationskosten und Migrationsfehlern kommen. Das erste Problem, das wir in dieser Arbeit diskutieren, ist, wie man die Kosten der Live-Migration virtueller Maschinen modellieren kann. Zweitens untersuchen wir, wie maschinelle Lerntechniken eingesetzt werden können, um den Cloud-Administratoren zu helfen, eine Schätzung dieser Kosten zu erhalten, bevor die Migration für eine oder mehrere virtuelle Maschinen eingeleitet wird. Außerdem diskutieren wir das optimale Timing für eine bestimmte virtuelle Maschine vor der Live-Migration auf einen anderen Server. Schließlich schlagen wir praktische Lösungen vor, die von den Cloud-Admins verwendet werden können, um in die Cloud-Administrationsportale integriert zu werden, um die oben aufgeworfenen Forschungsfragen zu beantworten. Unsere Forschungsmethodik zur Erreichung der Projektziele besteht darin, empirische Modelle vorzuschlagen, die auf der Verwendung von VMware-Testbeds mit verschiedenen Benchmark-Tools basieren. Dann nutzen wir die Techniken des maschinellen Lernens, um einen Vorhersageansatz für die Kosten der Live-Migration virtueller Maschinen vorzuschlagen. Die Timing-Optimierung für die Live-Migration wird ebenfalls in dieser Arbeit vorgeschlagen, basierend auf der Kostenvorhersage und der Vorhersage der Netzwerkauslastung des Rechenzentrums. Die Live-Migration mit Clustern mit persistentem Speicher wird ebenfalls am Ende der Arbeit diskutiert. Die in dieser Arbeit vorgeschlagenen Techniken zur Kostenvorhersage und Timing-Optimierung könnten praktisch in das VMware vSphere-Cluster-Portal integriert werden, so dass die IT-Administratoren nun die Funktion zur Kostenvorhersage und die Option zur Timing-Optimierung nutzen können, bevor sie mit einer Live-Migration der virtuellen Maschine fortfahren. Die Testergebnisse zeigen, dass unser vorgeschlagener Ansatz für die VMs-Live-Migrationskostenvorhersage akzeptable Ergebnisse mit weniger als 20\% Fehler in der Vorhersagegenauigkeit zeigt und leicht implementiert und in VMware vSphere als Beispiel für ein häufig verwendetes Ressourcenmanagement-Portal für virtuelle Rechenzentren und private Cloud-Umgebungen integriert werden kann. Die Ergebnisse zeigen, dass mit der von uns vorgeschlagenen Technik zur Timing-Optimierung der VMs-Migration auch bis zu 51\% der Migrationszeit für speicherintensive Workloads und bis zu 27\% der Migrationszeit für netzwerkintensive Workloads eingespart werden können. Diese Timing-Optimierungstechnik kann für Netzwerkadministratoren nützlich sein, um Migrationszeit zu sparen und dabei eine höhere Netzwerkrate und eine höhere Erfolgswahrscheinlichkeit zu nutzen. Am Ende dieser Arbeit wird die persistente Speichertechnologie als neuer Trend in der Server-Speichertechnologie diskutiert. Die Betriebsarten und Konfigurationen des persistenten Speichers werden im Detail besprochen, um zu erklären, wie die Live-Migration zwischen Servern mit unterschiedlichen Speicherkonfigurationen funktioniert. Dann bauen wir einen VMware-Cluster mit persistentem Speicher im Server und auch mit Servern nur mit DRAM auf, um den Kostenunterschied bei der Live-Migration zwischen den VMs mit nur DRAM und den VMs mit persistentem Speicher im Server zu zeigen. KW - virtual KW - cloud KW - computing KW - machines KW - live migration KW - machine learning KW - prediction KW - Wolke KW - Computing KW - Live-Migration KW - maschinelles Lernen KW - Maschinen KW - Vorhersage KW - virtuell Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-540013 ER -