TY - THES A1 - Seelig, Stefan T1 - Parafoveal processing of lexical information during reading T1 - Parafoveale Verarbeitung lexikalischer Informationen beim Lesen BT - from experiments to computational modeling BT - von Experimenten zu computationaler Modellierung N2 - During sentence reading the eyes quickly jump from word to word to sample visual information with the high acuity of the fovea. Lexical properties of the currently fixated word are known to affect the duration of the fixation, reflecting an interaction of word processing with oculomotor planning. While low level properties of words in the parafovea can likewise affect the current fixation duration, results concerning the influence of lexical properties have been ambiguous (Drieghe, Rayner, & Pollatsek, 2008; Kliegl, Nuthmann, & Engbert, 2006). Experimental investigations of such lexical parafoveal-on-foveal effects using the boundary paradigm have instead shown, that lexical properties of parafoveal previews affect fixation durations on the upcoming target words (Risse & Kliegl, 2014). However, the results were potentially confounded with effects of preview validity. The notion of parafoveal processing of lexical information challenges extant models of eye movements during reading. Models containing serial word processing assumptions have trouble explaining such effects, as they usually couple successful word processing to saccade planning, resulting in skipping of the parafoveal word. Although models with parallel word processing are less restricted, in the SWIFT model (Engbert, Longtin, & Kliegl, 2002) only processing of the foveal word can directly influence the saccade latency. Here we combine the results of a boundary experiment (Chapter 2) with a predictive modeling approach using the SWIFT model, where we explore mechanisms of parafoveal inhibition in a simulation study (Chapter 4). We construct a likelihood function for the SWIFT model (Chapter 3) and utilize the experimental data in a Bayesian approach to parameter estimation (Chapter 3 & 4). The experimental results show a substantial effect of parafoveal preview frequency on fixation durations on the target word, which can be clearly distinguished from the effect of preview validity. Using the eye movement data from the participants, we demonstrate the feasibility of the Bayesian approach even for a small set of estimated parameters, by comparing summary statistics of experimental and simulated data. Finally, we can show that the SWIFT model can account for the lexical preview effects, when a mechanism for parafoveal inhibition is added. The effects of preview validity were modeled best, when processing dependent saccade cancellation was added for invalid trials. In the simulation study only the control condition of the experiment was used for parameter estimation, allowing for cross validation. Simultaneously the number of free parameters was increased. High correlations of summary statistics demonstrate the capabilities of the parameter estimation approach. Taken together, the results advocate for a better integration of experimental data into computational modeling via parameter estimation. N2 - Während des Lesens springt der Blick von Wort zu Wort, um visuelle Informationen mithilfe der hohen Auflösung der Fovea aufzunehmen. Lexikalische Eigenschaften eines zurzeit fixierten Wortes wirken sich dabei auf die Fixationsdauer aus, was eine Interaktion von Wortverarbeitung mit okulomotorischer Bewegungsplanung impliziert. Während Low-Level-Eigenschaften eines parafovealen Wortes ebenfalls die Fixationsdauer beeinflussen können, sind Ergebnisse zu Einflüssen lexikalischer Eigenschaften parafoveler Worte uneindeutig (Drieghe et al., 2008; Kliegl et al., 2006). Experimentelle Untersuchungen solcher parafoveal-on-foveal-Effekte mittels des Boundary-Paradigmas zeigten stattdessen, dass sich lexikalische Eigenschaften parafovealer Worte auf Fixationsdauern auf den Target-Wörtern auswirken (Risse & Kliegl, 2014). Diese Ergebnisse waren jedoch möglicherweise mit den Effekten der Preview-Validität konfundiert. Die Möglichkeit parafovealer Verarbeitung lexikalischer Informationen stellt bestehende Modelle für Blickbewegungen beim Lesen vor Probleme. Modelle, die auf seriellen Wortverarbeitungsannahmen fußen, können derlei Effekte nicht schlüssig erklären, da in ihnen erfolgreiche Wortverarbeitung oft starr an Bewegungsplanung gekoppelt ist, was ein Überspringen des parafovealen Wortes zur Folge hätte. Obwohl Modelle mit paralleler Wortverarbeitung weniger eingeschränkt sind, kann im SWIFT-Modell (Engbert et al., 2002) nur die Verarbeitung fovealer Worte die Sakkadenplanung direkt hemmen. Wir verbinden in dieser Arbeit die Ergebnisse eines Boundary-Experiments (Kapitel 2) mit einem prädiktiven Modellierungsansatz mit dem SWIFT-Modell, in dem wir Mechanismen parafovealer Hemmung in einer Simulationsstudie erkunden (Kapitel 4). Wir konstruieren eine Likelihood-Funktion für das SWIFT-Modell und nutzen die Experimentaldaten in einem Bayesianischen Ansatz zur Parameterschätzung (Kapitel 3 & 4). In den Ergebnissen des Experiments zeigt sich ein substanzieller Frequenzeffekt des Previews auf die Fixationsdauer auf dem Target-Wort, der klar vom Effekt der Preview-Validität unterschieden werden kann. Mittels der Blickbewegungsdaten der Probanden demonstrieren wir die Praktikabilität des gewählten Ansatzes selbst mit nur wenigen freien Parametern, indem wir Statistiken der Probanden mit jenen aus Simulationen auf der Basis geschätzter Parameter vergleichen. Schließlich können wir zeigen, dass SWIFT die lexikalischen Preview-Effekte erzeugen kann, wenn das Modell zusätzlich mit einem Mechanismus parafovealer Inhibition ausgestattet wird. Die Effekte der Preview-Validität wurden hingegen am besten modelliert, wenn eine Möglichkeit zum Abbruch der Sakkadenplanung in Abhängigkeit von der Wortverarbeitung hinzugefügt wurde. In dieser Simulationsstudie wurden lediglich Daten der Kontrollbedingung des Experiments zur Parameterschätzung genutzt, wodurch eine Kreuzvalidierung der Güte der Simulationsdaten ermöglicht wurde. Gleichzeitig wurde die Zahl der freien Parameter erhöht. Hohe Korrelationen der Statistiken verdeutlichen das Potential des Parameterschätzungsansatzes. Zusammengenommen sprechen die Ergebnisse dafür, dass Experimentaldaten mehr zur computationalen Modellierung herangezogen werden sollten, indem Möglichkeiten der Parameterschätzung ausgenutzt werden. KW - reading KW - parafoveal processing KW - predictive modeling KW - boundary paradigm KW - eye tracking KW - MCMC KW - parameter estimation KW - computational modeling KW - interindividual differences KW - lexical processing KW - MCMC KW - computationale Modellierung KW - Eye-Tracking KW - Interindividuelle Unterschiede KW - Lexikalische Verarbeitung KW - Parafoveale Verarbeitung KW - Parameterschätzung KW - Lesen KW - Boundary-Paradigma Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-508743 ER - TY - THES A1 - Metzner, Paul-Philipp T1 - Eye movements and brain responses in natural reading T1 - Blickbewegungen und Hirnströme im natürlichen Lesen N2 - Intuitively, it is clear that neural processes and eye movements in reading are closely connected, but only few studies have investigated both signals simultaneously. Instead, the usual approach is to record them in separate experiments and to subsequently consolidate the results. However, studies using this approach have shown that it is feasible to coregister eye movements and EEG in natural reading and contributed greatly to the understanding of oculomotor processes in reading. The present thesis builds upon that work, assessing to what extent coregistration can be helpful for sentence processing research. In the first study, we explore how well coregistration is suited to study subtle effects common to psycholinguistic experiments by investigating the effect of distance on dependency resolution. The results demonstrate that researchers must improve the signal-to-noise ratio to uncover more subdued effects in coregistration. In the second study, we compare oscillatory responses in different presentation modes. Using robust effects from world knowledge violations, we show that the generation and retrieval of memory traces may differ between natural reading and word-by-word presentation. In the third study, we bridge the gap between our knowledge of behavioral and neural responses to integration difficulties in reading by analyzing the EEG in the context of regressive saccades. We find the P600, a neural indicator of recovery processes, when readers make a regressive saccade in response to integration difficulties. The results in the present thesis demonstrate that coregistration can be a useful tool for the study of sentence processing. However, they also show that it may not be suitable for some questions, especially if they involve subtle effects. N2 - Es erscheint offensichtlich, dass neuronale Prozesse und Blickbewegungen im Lesen eng miteinander verwoben sind, aber nur wenige Studien haben beide Signale simultan betrachtet. Der übliche Ansatz ist, sie stattdessen in separaten Esxperimenten aufzuzeichnen und die Ergebnisse anschließend miteinander zu vereinbaren. Es wurde jedoch bereits gezeigt, dass Blickbewegungen und EEG im natürlichen Lesen koregistriert werden können; Studien, die diesen Ansatzes verfolgen, haben entscheidend zum Verständnis okulomotorischer Prozesse beim Lesen beigetragen. Von diesen Studien ausgehend erörtert die vorliegende Dissertation, inwieweit Koregistrierung auch für Satzverarbeitungsforschung nützlich sein kann. In der ersten Studie wird erörtert, wie gut Koregistrierung für die Erfassung schwacher Effekte geeignet ist, wie sie für psycholinguistische Experimente typisch sind. Die linguistische Fragestellung in dieser Studie ist, wie sich Distanz auf die Auflösung linguistischer Abhängigkeiten auswirkt. Die Ergebnisse verdeutlichen, dass Forscher den Signal-Rausch-Abstand erhöhen müssen, um kleinere Effekte mittels Koregistrierung zu erfassen. In der zweiten Studie werden neuronale Oszillationen in unterschiedlichen Präsentationsformen untersucht. Mithilfe robuster Effekte in Reaktion auf Weltwissensverletzungen wird gezeigt, dass Enkodierung und Abruf von Gedächtnisspuren sich zwischen natürlichem und wortweisem Lesen unterscheidet. In der dritten Studie wird eine Verbindung zwischen behavioralen und elektrophysiologischen Reaktionen auf Integrationsschwierigkeiten im Lesen hergestellt. Hierzu wird das EEG in An- und Abwesenheit regressiver Sakkaden analysiert. Die P600, eine neuronale Reflektion von Reparaturprozessen, ist nur im Kontext von regressiven Sakkaden in Reaktion auf Integrationsschwierigkeiten zu beobachen. Die Ergebnisse der vorliegenden Arbeit demonstrieren, dass Koregistrierung eine vielversprechende Methode für die Satzverarbeitungsforschung ist. Sie zeigen jedoch auch, dass Koregistrierung sich nicht für jede Fragestellung eignet, insbesondere, wenn schwache Effekte zu erwarten sind. KW - natural reading KW - sentence processing KW - eye tracking KW - EEG KW - coregistration KW - dependency resolution KW - neural oscillations KW - regressive saccades KW - natürliches Lesen KW - Satzverarbeitung KW - Blickbewegungen KW - EEG KW - Koregistrierung KW - Abhängigkeitsauflösung KW - neuronale Oszillationen KW - regressive Sakkaden Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-82806 ER -