TY - THES A1 - Metzner, Paul-Philipp T1 - Eye movements and brain responses in natural reading T1 - Blickbewegungen und Hirnströme im natürlichen Lesen N2 - Intuitively, it is clear that neural processes and eye movements in reading are closely connected, but only few studies have investigated both signals simultaneously. Instead, the usual approach is to record them in separate experiments and to subsequently consolidate the results. However, studies using this approach have shown that it is feasible to coregister eye movements and EEG in natural reading and contributed greatly to the understanding of oculomotor processes in reading. The present thesis builds upon that work, assessing to what extent coregistration can be helpful for sentence processing research. In the first study, we explore how well coregistration is suited to study subtle effects common to psycholinguistic experiments by investigating the effect of distance on dependency resolution. The results demonstrate that researchers must improve the signal-to-noise ratio to uncover more subdued effects in coregistration. In the second study, we compare oscillatory responses in different presentation modes. Using robust effects from world knowledge violations, we show that the generation and retrieval of memory traces may differ between natural reading and word-by-word presentation. In the third study, we bridge the gap between our knowledge of behavioral and neural responses to integration difficulties in reading by analyzing the EEG in the context of regressive saccades. We find the P600, a neural indicator of recovery processes, when readers make a regressive saccade in response to integration difficulties. The results in the present thesis demonstrate that coregistration can be a useful tool for the study of sentence processing. However, they also show that it may not be suitable for some questions, especially if they involve subtle effects. N2 - Es erscheint offensichtlich, dass neuronale Prozesse und Blickbewegungen im Lesen eng miteinander verwoben sind, aber nur wenige Studien haben beide Signale simultan betrachtet. Der übliche Ansatz ist, sie stattdessen in separaten Esxperimenten aufzuzeichnen und die Ergebnisse anschließend miteinander zu vereinbaren. Es wurde jedoch bereits gezeigt, dass Blickbewegungen und EEG im natürlichen Lesen koregistriert werden können; Studien, die diesen Ansatzes verfolgen, haben entscheidend zum Verständnis okulomotorischer Prozesse beim Lesen beigetragen. Von diesen Studien ausgehend erörtert die vorliegende Dissertation, inwieweit Koregistrierung auch für Satzverarbeitungsforschung nützlich sein kann. In der ersten Studie wird erörtert, wie gut Koregistrierung für die Erfassung schwacher Effekte geeignet ist, wie sie für psycholinguistische Experimente typisch sind. Die linguistische Fragestellung in dieser Studie ist, wie sich Distanz auf die Auflösung linguistischer Abhängigkeiten auswirkt. Die Ergebnisse verdeutlichen, dass Forscher den Signal-Rausch-Abstand erhöhen müssen, um kleinere Effekte mittels Koregistrierung zu erfassen. In der zweiten Studie werden neuronale Oszillationen in unterschiedlichen Präsentationsformen untersucht. Mithilfe robuster Effekte in Reaktion auf Weltwissensverletzungen wird gezeigt, dass Enkodierung und Abruf von Gedächtnisspuren sich zwischen natürlichem und wortweisem Lesen unterscheidet. In der dritten Studie wird eine Verbindung zwischen behavioralen und elektrophysiologischen Reaktionen auf Integrationsschwierigkeiten im Lesen hergestellt. Hierzu wird das EEG in An- und Abwesenheit regressiver Sakkaden analysiert. Die P600, eine neuronale Reflektion von Reparaturprozessen, ist nur im Kontext von regressiven Sakkaden in Reaktion auf Integrationsschwierigkeiten zu beobachen. Die Ergebnisse der vorliegenden Arbeit demonstrieren, dass Koregistrierung eine vielversprechende Methode für die Satzverarbeitungsforschung ist. Sie zeigen jedoch auch, dass Koregistrierung sich nicht für jede Fragestellung eignet, insbesondere, wenn schwache Effekte zu erwarten sind. KW - natural reading KW - sentence processing KW - eye tracking KW - EEG KW - coregistration KW - dependency resolution KW - neural oscillations KW - regressive saccades KW - natürliches Lesen KW - Satzverarbeitung KW - Blickbewegungen KW - EEG KW - Koregistrierung KW - Abhängigkeitsauflösung KW - neuronale Oszillationen KW - regressive Sakkaden Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-82806 ER - TY - THES A1 - Jäger, Lena Ann T1 - Working memory and prediction in human sentence parsing T1 - Arbeitsgedächtnis und Vorhersagbarkeit in der menschlichen Satzverarbeitung BT - cross-linguistic evidence from anaphoric dependencies and relative clauses BT - neue Erkenntnisse durch cross-linguistische Untersuchungen zu anaphorischen Dependenzen und Relativsätzen N2 - This dissertation investigates the working memory mechanism subserving human sentence processing and its relative contribution to processing difficulty as compared to syntactic prediction. Within the last decades, evidence for a content-addressable memory system underlying human cognition in general has accumulated (e.g., Anderson et al., 2004). In sentence processing research, it has been proposed that this general content-addressable architecture is also used for language processing (e.g., McElree, 2000). Although there is a growing body of evidence from various kinds of linguistic dependencies that is consistent with a general content-addressable memory subserving sentence processing (e.g., McElree et al., 2003; VanDyke2006), the case of reflexive-antecedent dependencies has challenged this view. It has been proposed that in the processing of reflexive-antecedent dependencies, a syntactic-structure based memory access is used rather than cue-based retrieval within a content-addressable framework (e.g., Sturt, 2003). Two eye-tracking experiments on Chinese reflexives were designed to tease apart accounts assuming a syntactic-structure based memory access mechanism from cue-based retrieval (implemented in ACT-R as proposed by Lewis and Vasishth (2005). In both experiments, interference effects were observed from noun phrases which syntactically do not qualify as the reflexive's antecedent but match the animacy requirement the reflexive imposes on its antecedent. These results are interpreted as evidence against a purely syntactic-structure based memory access. However, the exact pattern of effects observed in the data is only partially compatible with the Lewis and Vasishth cue-based parsing model. Therefore, an extension of the Lewis and Vasishth model is proposed. Two principles are added to the original model, namely 'cue confusion' and 'distractor prominence'. Although interference effects are generally interpreted in favor of a content-addressable memory architecture, an alternative explanation for interference effects in reflexive processing has been proposed which, crucially, might reconcile interference effects with a structure-based account. It has been argued that interference effects do not necessarily reflect cue-based retrieval interference in a content-addressable memory but might equally well be accounted for by interference effects which have already occurred at the moment of encoding the antecedent in memory (Dillon, 2011). Three experiments (eye-tracking and self-paced reading) on German reflexives and Swedish possessives were designed to tease apart cue-based retrieval interference from encoding interference. The results of all three experiments suggest that there is no evidence that encoding interference affects the retrieval of a reflexive's antecedent. Taken together, these findings suggest that the processing of reflexives can be explained with the same cue-based retrieval mechanism that has been invoked to explain syntactic dependency resolution in a range of other structures. This supports the view that the language processing system is located within a general cognitive architecture, with a general-purpose content-addressable working memory system operating on linguistic expressions. Finally, two experiments (self-paced reading and eye-tracking) using Chinese relative clauses were conducted to determine the relative contribution to sentence processing difficulty of working-memory processes as compared to syntactic prediction during incremental parsing. Chinese has the cross-linguistically rare property of being a language with subject-verb-object word order and pre-nominal relative clauses. This property leads to opposing predictions of expectation-based accounts and memory-based accounts with respect to the relative processing difficulty of subject vs. object relatives. Previous studies showed contradictory results, which has been attributed to different kinds local ambiguities confounding the materials (Lin and Bever, 2011). The two experiments presented are the first to compare Chinese relatives clauses in syntactically unambiguous contexts. The results of both experiments were consistent with the predictions of the expectation-based account of sentence processing but not with the memory-based account. From these findings, I conclude that any theory of human sentence processing needs to take into account the power of predictive processes unfolding in the human mind. N2 - Diese Dissertation untersucht die der menschlichen Satzverarbeitung zugrunde liegenden Mechanismen des Arbeitsgedächtnisses sowie deren Bedeutung für die Verarbeitungskomplexität im Vergleich zu dem Einfluss syntaktischer Erwartung. Vor dem Hintergrund der in den vergangenen Jahrzehnten angewachsenen empirischen Evidenz für ein assoziatives Gedächtnissystem als Grundlage der menschlichen Kognition im Allgemeinen (z.B. Anderson et al., 2004) wurde u.a. von McElree (2000) vorgeschlagen, dass dieses assoziative Gedächtnissystem auch der Sprachverarbeitung im Besonderen dient (z.B. McElree, 2000) und die Sprachverarbeitung folglich nicht etwa als ein von anderen kognitiven Fähigkeiten weitgehend losgelöstes Modul (z.B. Frazier, 1979) zu begreifen ist. Obwohl sich die Evidenz für ein assoziatives Gedächtnis in der Sprachverarbeitung stetig mehrt (z.B. McElree et al., 2003; VanDyke2006), werden Daten zur Verarbeitung von Reflexivpronomen als Argument gegen ein assoziatives Gedächtnis herangezogen. So schlug beispielsweise Sturt (2003) vor, dass der Gedächtniszugriff in der Verarbeitung von Reflexivpronomen-Antezedens-Dependenzen nicht assoziativer Natur ist, sondern rein syntaktisch gesteuert ist (z.B., Sturt, 2003). Im ersten Teil der vorliegenden Arbeit werden zwei Leseexperimente (Eyetracking) vorgestellt, welche die Verarbeitung des chinesischen Reflexivpronomens 'ziji' testen und die darauf ausgelegt sind, Theorien, die einen syntaktisch gesteuerten Gedächtniszugriff annehmen, von Theorien, die einen assoziativen Gedächtniszugriff, wie er beispielsweise in dem ACTR-basierten Modell von Lewis and Vasishth (2005) implementiert wurde, zu unterscheiden. In beiden Experimenten wurden Interferenzeffekte von Nominalphrasen beobachtet, die syntaktisch nicht als Antezedens des Reflexivpronomens in Frage kommen, aber das Belebtheitskriterium, das 'ziji' an seinen Antezedens stellt, erfüllen. Diese Ergebnisse werden als Evidenz gegen einen rein syntaktisch gesteuerten Gedächtniszugriff interpretiert. Jedoch sind diese Ergebnisse auch mit dem assoziativen Modell von Lewis und Vasishth (2005) nicht vollkommen vereinbar. Daher wird in der vorliegenden Arbeit eine Erweiterung des Modells von Lewis und Vasishth entwickelt. Zwei neue Prinzipien, 'cue confusion' und 'distractor prominence’, werden dem Originalmodell hinzugefügt und deren Auswirkungen auf die Vorhersagen des Modells diskutiert. Wenngleich Interferenzeffekte im Allgemeinen als Evidenz für ein assoziatives Gedächtnis herangezogen werden, argumentierte Dillon (2011), dass die empirisch beobachteten Interferenzeffekte nicht notwendigerweise Interferenzen im Moment eines assoziativen Gedächtniszugriffs reflektieren, sondern gleichermaßen Interferenzen widerspiegeln können, die bereits bei der Abspeicherung des entsprechenden Elements (z.B. des Antezedens in Reflexiv-Antezedens-Dependenzen) im Gedächtnis stattgefunden haben. Dies würde Interferenzeffekte mit einem nicht-assoziativen Gedächtnismodell vereinbar machen. Im zweiten Teil dieser Dissertation werden drei Experimente (selbst-gesteuertes Lesen und Eyetracking) vorgestellt, die deutsche Reflexivpronomen sowie schwedische Possessivpronomen testen und darauf abzielen, Rückschlüsse über den Moment der Interferenz (Interferenz beim Gedächtniszugriff im Gegensatz zu Interferenz bei der Speicherung) zu ziehen. Die Ergebnisse aller drei Experimente zeigen, dass etwaige Interferenzen beim Abspeichern eines Nomens keinen Einfluss auf dessen späteren Zugriff haben. Zusammengefasst zeigen die Ergebnisse dieser Experimente zum Chinesischen, Deutschen und Schwedischen, dass die Verarbeitung von Reflexivpronomen mit demselben assoziativen Gedächtniszugriff erklärt werden kann, von dem angenommen wird, dass er der Verarbeitung einer Reihe anderer syntaktischer Dependenzen zugrunde liegt. Darüber hinaus sind die hier vorgestellten Ergebnisse im Einklang mit einer generellen Theorie über die menschliche Kognition, die das Sprachverarbeitungssystem als Bestandteil einer allgemeinen kognitiven Architektur begreift, in welcher ein allgemeines assoziatives Gedächtnissystem auf sprachlichen Repräsentationen operiert. Im dritten Teil dieser Dissertation werden zwei weitere Leseexperimente (selbst-gesteuertes Lesen und Eyetracking) vorgestellt, in denen anhand chinesischer Relativsätze die Wirkung von Arbeitsgedächtnisprozessen im Vergleich zu der Wirkung syntaktischer Erwartung auf die Komplexität der inkrementellen Satzverarbeitung untersucht wird. Chinesisch ist cross-linguistisch insofern eine außergewöhnliche Sprache, als dass es eine Subjekt-Verb-Objekt-Wortstellung mit pränominalen Relativsätzen vereint. Die Kombination dieser Eigenschaften führt dazu, dass Theorien, die Satzverarbeitungskomplexität primär Arbeitsgedächtnisprozessen zuschreiben (z.B. Gibson, 2000), und erwartungsbasierte Theorien, welche die Satzverarbeitungskomplexität dem Erfüllen bzw. dem Brechen syntaktischer oder lexikalischer Erwartungen zuschreiben (z.B. Hale, 2001; Levy, 2008), gegensätzliche Vorhersagen machen. Bisherige Studien zu chinesischen Relativsätzen zeigten widersprüchliche Ergebnisse, was mit dem Vorhandensein konfundierender lokaler syntaktischer Ambiguitäten in den Stimuli erklärt wurde (Lin und Bever, 2011). Die beiden in dieser Arbeit vorgestellten Experimente testen erstmals chinesische Relativsätze anhand von Materialien, die frei von syntaktischen Ambiguitäten sind. Die Ergebnisse beider Experimente sind vereinbar mit erwartungsbasierten Theorien, aber nicht mit Theorien, die Satzverarbeitungskomplexität allein mit Arbeitsgedächtnisprozessen erklären. Diese Ergebnisse zeigen, dass jede umfassende Theorie der Satzverarbeitung erwartungsgesteuerten kognitiven Prozessen einen wichtigen Stellenwert einräumen muss. KW - working memory KW - Arbeitsgedächtnis KW - sentence processing KW - Satzverarbeitung KW - cognitive modeling KW - kognitive Modellierung KW - psycholinguistics KW - Psycholinguistik KW - ACT-R KW - Chinese KW - Chinesisch KW - reflexives KW - Reflexivpronomen KW - relative clauses KW - Relativsätze KW - linguistics KW - Linguistik KW - German KW - Deutsch KW - prediction KW - syntactic expectation KW - content-addressable memory Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-82517 ER -