TY - JOUR A1 - Metzner, Paul-Philipp A1 - von der Malsburg, Titus Raban A1 - Vasishth, Shravan A1 - Rösler, Frank T1 - Brain Responses to World Knowledge Violations: A Comparison of Stimulus- and Fixation-triggered Event-related Potentials and Neural Oscillations JF - Journal of cognitive neuroscience N2 - Recent research has shown that brain potentials time-locked to fixations in natural reading can be similar to brain potentials recorded during rapid serial visual presentation (RSVP). We attempted two replications of Hagoort, Hald, Bastiaansen, and Petersson [Hagoort, P., Hald, L., Bastiaansen, M., & Petersson, K. M. Integration of word meaning and world knowledge in language comprehension. Science, 304, 438-441, 2004] to determine whether this correspondence also holds for oscillatory brain responses. Hagoort et al. reported an N400 effect and synchronization in the theta and gamma range following world knowledge violations. Our first experiment (n = 32) used RSVP and replicated both the N400 effect in the ERPs and the power increase in the theta range in the time-frequency domain. In the second experiment (n = 49), participants read the same materials freely while their eye movements and their EEG were monitored. First fixation durations, gaze durations, and regression rates were increased, and the ERP showed an N400 effect. An analysis of time-frequency representations showed synchronization in the delta range (1-3 Hz) and desynchronization in the upper alpha range (11-13 Hz) but no theta or gamma effects. The results suggest that oscillatory EEG changes elicited by world knowledge violations are different in natural reading and RSVP. This may reflect differences in how representations are constructed and retrieved from memory in the two presentation modes. Y1 - 2015 U6 - https://doi.org/10.1162/jocn_a_00731 SN - 0898-929X SN - 1530-8898 VL - 27 IS - 5 SP - 1017 EP - 1028 PB - MIT Press CY - Cambridge ER - TY - THES A1 - Metzner, Paul-Philipp T1 - Eye movements and brain responses in natural reading T1 - Blickbewegungen und Hirnströme im natürlichen Lesen N2 - Intuitively, it is clear that neural processes and eye movements in reading are closely connected, but only few studies have investigated both signals simultaneously. Instead, the usual approach is to record them in separate experiments and to subsequently consolidate the results. However, studies using this approach have shown that it is feasible to coregister eye movements and EEG in natural reading and contributed greatly to the understanding of oculomotor processes in reading. The present thesis builds upon that work, assessing to what extent coregistration can be helpful for sentence processing research. In the first study, we explore how well coregistration is suited to study subtle effects common to psycholinguistic experiments by investigating the effect of distance on dependency resolution. The results demonstrate that researchers must improve the signal-to-noise ratio to uncover more subdued effects in coregistration. In the second study, we compare oscillatory responses in different presentation modes. Using robust effects from world knowledge violations, we show that the generation and retrieval of memory traces may differ between natural reading and word-by-word presentation. In the third study, we bridge the gap between our knowledge of behavioral and neural responses to integration difficulties in reading by analyzing the EEG in the context of regressive saccades. We find the P600, a neural indicator of recovery processes, when readers make a regressive saccade in response to integration difficulties. The results in the present thesis demonstrate that coregistration can be a useful tool for the study of sentence processing. However, they also show that it may not be suitable for some questions, especially if they involve subtle effects. N2 - Es erscheint offensichtlich, dass neuronale Prozesse und Blickbewegungen im Lesen eng miteinander verwoben sind, aber nur wenige Studien haben beide Signale simultan betrachtet. Der übliche Ansatz ist, sie stattdessen in separaten Esxperimenten aufzuzeichnen und die Ergebnisse anschließend miteinander zu vereinbaren. Es wurde jedoch bereits gezeigt, dass Blickbewegungen und EEG im natürlichen Lesen koregistriert werden können; Studien, die diesen Ansatzes verfolgen, haben entscheidend zum Verständnis okulomotorischer Prozesse beim Lesen beigetragen. Von diesen Studien ausgehend erörtert die vorliegende Dissertation, inwieweit Koregistrierung auch für Satzverarbeitungsforschung nützlich sein kann. In der ersten Studie wird erörtert, wie gut Koregistrierung für die Erfassung schwacher Effekte geeignet ist, wie sie für psycholinguistische Experimente typisch sind. Die linguistische Fragestellung in dieser Studie ist, wie sich Distanz auf die Auflösung linguistischer Abhängigkeiten auswirkt. Die Ergebnisse verdeutlichen, dass Forscher den Signal-Rausch-Abstand erhöhen müssen, um kleinere Effekte mittels Koregistrierung zu erfassen. In der zweiten Studie werden neuronale Oszillationen in unterschiedlichen Präsentationsformen untersucht. Mithilfe robuster Effekte in Reaktion auf Weltwissensverletzungen wird gezeigt, dass Enkodierung und Abruf von Gedächtnisspuren sich zwischen natürlichem und wortweisem Lesen unterscheidet. In der dritten Studie wird eine Verbindung zwischen behavioralen und elektrophysiologischen Reaktionen auf Integrationsschwierigkeiten im Lesen hergestellt. Hierzu wird das EEG in An- und Abwesenheit regressiver Sakkaden analysiert. Die P600, eine neuronale Reflektion von Reparaturprozessen, ist nur im Kontext von regressiven Sakkaden in Reaktion auf Integrationsschwierigkeiten zu beobachen. Die Ergebnisse der vorliegenden Arbeit demonstrieren, dass Koregistrierung eine vielversprechende Methode für die Satzverarbeitungsforschung ist. Sie zeigen jedoch auch, dass Koregistrierung sich nicht für jede Fragestellung eignet, insbesondere, wenn schwache Effekte zu erwarten sind. KW - natural reading KW - sentence processing KW - eye tracking KW - EEG KW - coregistration KW - dependency resolution KW - neural oscillations KW - regressive saccades KW - natürliches Lesen KW - Satzverarbeitung KW - Blickbewegungen KW - EEG KW - Koregistrierung KW - Abhängigkeitsauflösung KW - neuronale Oszillationen KW - regressive Sakkaden Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-82806 ER -