TY - THES A1 - Metzner, Paul-Philipp T1 - Eye movements and brain responses in natural reading T1 - Blickbewegungen und Hirnströme im natürlichen Lesen N2 - Intuitively, it is clear that neural processes and eye movements in reading are closely connected, but only few studies have investigated both signals simultaneously. Instead, the usual approach is to record them in separate experiments and to subsequently consolidate the results. However, studies using this approach have shown that it is feasible to coregister eye movements and EEG in natural reading and contributed greatly to the understanding of oculomotor processes in reading. The present thesis builds upon that work, assessing to what extent coregistration can be helpful for sentence processing research. In the first study, we explore how well coregistration is suited to study subtle effects common to psycholinguistic experiments by investigating the effect of distance on dependency resolution. The results demonstrate that researchers must improve the signal-to-noise ratio to uncover more subdued effects in coregistration. In the second study, we compare oscillatory responses in different presentation modes. Using robust effects from world knowledge violations, we show that the generation and retrieval of memory traces may differ between natural reading and word-by-word presentation. In the third study, we bridge the gap between our knowledge of behavioral and neural responses to integration difficulties in reading by analyzing the EEG in the context of regressive saccades. We find the P600, a neural indicator of recovery processes, when readers make a regressive saccade in response to integration difficulties. The results in the present thesis demonstrate that coregistration can be a useful tool for the study of sentence processing. However, they also show that it may not be suitable for some questions, especially if they involve subtle effects. N2 - Es erscheint offensichtlich, dass neuronale Prozesse und Blickbewegungen im Lesen eng miteinander verwoben sind, aber nur wenige Studien haben beide Signale simultan betrachtet. Der übliche Ansatz ist, sie stattdessen in separaten Esxperimenten aufzuzeichnen und die Ergebnisse anschließend miteinander zu vereinbaren. Es wurde jedoch bereits gezeigt, dass Blickbewegungen und EEG im natürlichen Lesen koregistriert werden können; Studien, die diesen Ansatzes verfolgen, haben entscheidend zum Verständnis okulomotorischer Prozesse beim Lesen beigetragen. Von diesen Studien ausgehend erörtert die vorliegende Dissertation, inwieweit Koregistrierung auch für Satzverarbeitungsforschung nützlich sein kann. In der ersten Studie wird erörtert, wie gut Koregistrierung für die Erfassung schwacher Effekte geeignet ist, wie sie für psycholinguistische Experimente typisch sind. Die linguistische Fragestellung in dieser Studie ist, wie sich Distanz auf die Auflösung linguistischer Abhängigkeiten auswirkt. Die Ergebnisse verdeutlichen, dass Forscher den Signal-Rausch-Abstand erhöhen müssen, um kleinere Effekte mittels Koregistrierung zu erfassen. In der zweiten Studie werden neuronale Oszillationen in unterschiedlichen Präsentationsformen untersucht. Mithilfe robuster Effekte in Reaktion auf Weltwissensverletzungen wird gezeigt, dass Enkodierung und Abruf von Gedächtnisspuren sich zwischen natürlichem und wortweisem Lesen unterscheidet. In der dritten Studie wird eine Verbindung zwischen behavioralen und elektrophysiologischen Reaktionen auf Integrationsschwierigkeiten im Lesen hergestellt. Hierzu wird das EEG in An- und Abwesenheit regressiver Sakkaden analysiert. Die P600, eine neuronale Reflektion von Reparaturprozessen, ist nur im Kontext von regressiven Sakkaden in Reaktion auf Integrationsschwierigkeiten zu beobachen. Die Ergebnisse der vorliegenden Arbeit demonstrieren, dass Koregistrierung eine vielversprechende Methode für die Satzverarbeitungsforschung ist. Sie zeigen jedoch auch, dass Koregistrierung sich nicht für jede Fragestellung eignet, insbesondere, wenn schwache Effekte zu erwarten sind. KW - natural reading KW - sentence processing KW - eye tracking KW - EEG KW - coregistration KW - dependency resolution KW - neural oscillations KW - regressive saccades KW - natürliches Lesen KW - Satzverarbeitung KW - Blickbewegungen KW - EEG KW - Koregistrierung KW - Abhängigkeitsauflösung KW - neuronale Oszillationen KW - regressive Sakkaden Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-82806 ER - TY - THES A1 - Engelmann, Felix T1 - Toward an integrated model of sentence processing in reading T1 - Grundlage eines integrierten Modells der Satzverarbeitung beim Lesen N2 - In experiments investigating sentence processing, eye movement measures such as fixation durations and regression proportions while reading are commonly used to draw conclusions about processing difficulties. However, these measures are the result of an interaction of multiple cognitive levels and processing strategies and thus are only indirect indicators of processing difficulty. In order to properly interpret an eye movement response, one has to understand the underlying principles of adaptive processing such as trade-off mechanisms between reading speed and depth of comprehension that interact with task demands and individual differences. Therefore, it is necessary to establish explicit models of the respective mechanisms as well as their causal relationship with observable behavior. There are models of lexical processing and eye movement control on the one side and models on sentence parsing and memory processes on the other. However, no model so far combines both sides with explicitly defined linking assumptions. In this thesis, a model is developed that integrates oculomotor control with a parsing mechanism and a theory of cue-based memory retrieval. On the basis of previous empirical findings and independently motivated principles, adaptive, resource-preserving mechanisms of underspecification are proposed both on the level of memory access and on the level of syntactic parsing. The thesis first investigates the model of cue-based retrieval in sentence comprehension of Lewis & Vasishth (2005) with a comprehensive literature review and computational modeling of retrieval interference in dependency processing. The results reveal a great variability in the data that is not explained by the theory. Therefore, two principles, 'distractor prominence' and 'cue confusion', are proposed as an extension to the theory, thus providing a more adequate description of systematic variance in empirical results as a consequence of experimental design, linguistic environment, and individual differences. In the remainder of the thesis, four interfaces between parsing and eye movement control are defined: Time Out, Reanalysis, Underspecification, and Subvocalization. By comparing computationally derived predictions with experimental results from the literature, it is investigated to what extent these four interfaces constitute an appropriate elementary set of assumptions for explaining specific eye movement patterns during sentence processing. Through simulations, it is shown how this system of in itself simple assumptions results in predictions of complex, adaptive behavior. In conclusion, it is argued that, on all levels, the sentence comprehension mechanism seeks a balance between necessary processing effort and reading speed on the basis of experience, task demands, and resource limitations. Theories of linguistic processing therefore need to be explicitly defined and implemented, in particular with respect to linking assumptions between observable behavior and underlying cognitive processes. The comprehensive model developed here integrates multiple levels of sentence processing that hitherto have only been studied in isolation. The model is made publicly available as an expandable framework for future studies of the interactions between parsing, memory access, and eye movement control. N2 - In experimentellen Studien zur Satzverarbeitung werden für gewöhnlich Blickbewegungsmaße wie Fixationsdauern oder Regressionshäufigkeiten beim Lesen herangezogen, um auf Verarbeitungsschwierigkeiten zu schließen. Jedoch resultieren diese Signale aus der Interaktion mehrerer kognitiver Ebenen und Verarbeitungsstrategien und sind daher nur indirekte Indikatoren von Verarbeitungsschwierigkeit. Um ein Blickbewegungssignal richtig zu interpretieren, müssen die zugrundeliegenden Prinzipien adaptiver Verarbeitungsprozesse verstanden werden, wie zum Beispiel Ausgleichmechanismen zwischen Lesegeschwindigkeit und Verarbeitungstiefe, welche mit der gegenwärtigen Verarbeitungsanforderung und individuellen Unterschieden interagieren. Es ist daher notwendig, explizite Modelle dieser Mechanismen und ihrer kausalen Beziehung zu behavioralen Signalen wie Blickbewegungen zu etablieren. Es existieren Modelle der lexikalischen Verarbeitung und Blicksteuerung auf der einen Seite und Modelle der Satzverarbeitung und Gedächtnismechanismen auf der anderen. Jedoch existiert noch kein Modell, welches beide Seiten durch explizit formulierte Annahmen verbindet. In der vorliegenden Dissertation wird ein Modell entwickelt, welches Okulomotorik mit Satzverarbeitungsmechanismen und einer Theorie des assoziativen Gedächtniszugriffs integriert. Auf der Grundlage bisheriger empirischer Ergebnisse und unabhängig motivierter Prinzipien werden adaptive ressourcenschonende Mechanismen der Unterspezifikation sowohl auf der Ebene des Gedächtniszugriffs als auch auf der Ebene der syntaktischen Verarbeitung vorgeschlagen. Die Dissertation untersucht zunächst das Modell des assoziativen Gedächtniszugriffs bei der Satzverarbeitung von Lewis & Vasishth (2005) mithilfe eines umfassenden Literaturreviews sowie Computermodellierung von Interferenzeffekten im Gedächtniszugriff während der Verarbeitung syntaktischer Abhängigkeiten. Die Ergebnisse zeigen eine hohe Variabilität der Daten auf, die von der Theorie nicht erklärt werden kann. Daher werden zwei Prinzipien, ‘distractor prominence’ und ‘cue confusion’, als Erweiterung des Modells vorgeschlagen, wodurch eine genauere Vorhersage systematischer Varianz als Folge von Experimentaldesign, linguistischer Umgebung und individuellen Unterschieden erreicht wird. Im verbleibenden Teil der Dissertation werden vier Schnittstellen zwischen linguistischer Verarbeitung und Blicksteuerung definiert: Time Out, Reanalyse, Unterspezifikation und Subvokalisation. Durch Vergleich von computational hergeleiteten Vorhersagen und experimentellen Ergebnissen aus der Literatur wird der Frage nachgegangen, inwieweit diese vier Mechanismen ein angemessenes elementares System von Annahmen darstellen, welches spezifische Blickbewegungsmuster während der Satzverarbeitung erklären kann. Durch Simulationen wird gezeigt, wie dieses System aus für sich genommen simplen Annahmen im Ergebnis komplexes und adaptives Verhalten vorhersagt. In Konklusion wird argumentiert, dass der Satzverarbeitungsapparat auf allen Ebenen eine Balance zwischen notwendigem Verarbeitungsaufwand und Lesegeschwindigkeit auf der Basis von Erfahrung, Anforderung und limitierten Ressourcen anstrebt. Deshalb sollten Theorien der Sprachverarbeitung explizit formuliert und implementiert werden, insbesondere in Bezug auf die kausale Verbindung zwischen experimentell beobachtbarem Verhalten und den zugrundeliegenden kognitiven Prozessen. Das hier entwickelte Modell integriert mehrere Ebenen der Satzverarbeitung, die bisher ausschließlich unabhängig voneinander untersucht wurden. Das Modell steht öffentlich als erweiterungsfähiges Framework für zukünftige Studien der Interaktion zwischen Sprachverarbeitung, Gedächtniszugriff und Blickbewegung zur Verfügung. KW - working memory KW - sentence processing KW - cue confusion KW - cognitive modeling KW - psycholinguistics KW - eye movement control KW - ACT-R KW - cue-based retrieval KW - underspecification KW - dependency resolution KW - Satzverarbeitung KW - Arbeitsgedächtnis KW - Blickbewegungen KW - kognitive Modellierung KW - Lesen KW - reading KW - Unterspezifikation KW - retrieval interference KW - adaptive processing KW - adaptive Verarbeitung Y1 - 2016 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-100864 ER -