TY - THES A1 - Trukenbrod, Hans Arne T1 - Temporal and spatial aspects of eye-movement control : from reading to scanning T1 - Zeitliche und räumliche Aspekte der Blicksteuerung : vom Lesen zum Scannen N2 - Eye movements are a powerful tool to examine cognitive processes. However, in most paradigms little is known about the dynamics present in sequences of saccades and fixations. In particular, the control of fixation durations has been widely neglected in most tasks. As a notable exception, both spatial and temporal aspects of eye-movement control have been thoroughly investigated during reading. There, the scientific discourse was dominated by three controversies, (i), the role of oculomotor vs. cognitive processing on eye-movement control, (ii) the serial vs. parallel processing of words, and, (iii), the control of fixation durations. The main purpose of this thesis was to investigate eye movements in tasks that require sequences of fixations and saccades. While reading phenomena served as a starting point, we examined eye guidance in non-reading tasks with the aim to identify general principles of eye-movement control. In addition, the investigation of eye movements in non-reading tasks helped refine our knowledge about eye-movement control during reading. Our approach included the investigation of eye movements in non-reading experiments as well as the evaluation and development of computational models. I present three main results : First, oculomotor phenomena during reading can also be observed in non-reading tasks (Chapter 2 & 4). Oculomotor processes determine the fixation position within an object. The fixation position, in turn, modulates both the next saccade target and the current fixation duration. Second, predicitions of eye-movement models based on sequential attention shifts were falsified (Chapter 3). In fact, our results suggest that distributed processing of multiple objects forms the basis of eye-movement control. Third, fixation durations are under asymmetric control (Chapter 4). While increasing processing demands immediately prolong fixation durations, decreasing processing demands reduce fixation durations only with a temporal delay. We propose a computational model ICAT to account for asymmetric control. In this model, an autonomous timer initiates saccades after random time intervals independent of ongoing processing. However, processing demands that are higher than expected inhibit the execution of the next saccade and, thereby, prolong the current fixation. On the other hand, lower processing demands will not affect the duration before the next saccade is executed. Since the autonomous timer adjusts to expected processing demands from fixation to fixation, a decrease in processing demands may lead to a temporally delayed reduction of fixation durations. In an extended version of ICAT, we evaluated its performance while simulating both temporal and spatial aspects of eye-movement control. The eye-movement phenomena investigated in this thesis have now been observed in a number of different tasks, which suggests that they represent general principles of eye guidance. I propose that distributed processing of the visual input forms the basis of eye-movement control, while fixation durations are controlled by the principles outlined in ICAT. In addition, oculomotor control contributes considerably to the variability observed in eye movements. Interpretations for the relation between eye movements and cognition strongly benefit from a precise understanding of this interplay. N2 - Blickbewegungen stellen ein wichtiges Instrument dar, um kognitive Prozesse zu untersuchen. In den meisten Paradigmen ist allerdings wenig über die Entstehung von Sakkaden und Fixationen bekannt. Insbesondere die Kontrolle der Fixationsdauern wurde häufig außer acht gelassen. Eine wesentliche Ausnahme stellt die Leseforschung dar, in der sowohl zeitlichliche als auch räumliche Aspekte der Blickbewegungssteuerung im Detail betrachtet wurden. Dabei war der wissenschaftliche Diskurs durch drei Kontroversen gekennzeichnet, die untersuchten, (i), welchen Einfluss okulomotorische bzw. kognitive Prozesse auf die Blicksteuerung haben, (ii), ob Worte seriell oder parallel verarbeitet werden und, (iii), wie Fixationsdauern kontrolliert werden. Die vorliegende Arbeit zielt im wesentlichen darauf ab, die Dynamik von Fixationssequenzen zu erforschen. Ausgehend von den Erkenntnissen beim Lesen untersuchten wir Blickbewegungen in Nichtlese-Aufgaben, mit dem Ziel allgemeine Prinzipien der Blicksteuerung zu identifizieren. Zusätzlich versuchten wir mit Hilfe dieser Aufgaben, Erkenntnisse über Prozesse beim Lesen zu vertiefen. Unser Vorgehen war sowohl von der Durchführung von Experimenten als auch der Entwicklung und Evaluation computationaler Modelle geprägt. Die Hauptbefunde zeigten: Erstens, okulomotorische Phänomene des Lesens lassen sich in Suchaufgaben ohne Wortmaterial replizieren (Kapitel 2 & 4). Dabei bestimmen okulomotorische Prozesse die Fixationsposition innerhalb eines Objektes. Diese wiederum beeinflusst das nächste Sakkadenziel sowie die Fixationsdauer. Zweitens, wesentliche Vorhersagen von Modellen, in denen Blickbewegungen von seriellen Aufmerksamkeitsverschiebungen abhängen, konnten falsifiziert werden (Kapitel 3). Stattdessen legen unsere Erkenntnisse nahe, dass die Blicksteuerung von der parallelen Verarbeitung mehrerer Objekte abhängt. Drittens, Fixationsdauern werden asymmetrisch kontrolliert (Kapitel 4). Während hohe Verarbeitungsanforderungen Fixationsdauern unmittelbar verlängern können, führen niedrige Verarbeitungsanforderungen nur zeitlich verzögert zu einer Reduktion. Wir schlagen ein computationales Modell ICAT vor, um asymmetrische Kontrolle zu erklären. Grundlage des Modells ist ein autonomer Zeitgeber, der unabhängig von der momentanen Verarbeitung nach zufälligen Zeitintervallen Sakkaden initiiert. Unerwartet hohe Verarbeitungsanforderungen können die Initiierung der nächsten Sakkade hinauszögern, während unerwartet niedrige Verarbeitungsanforderungen den Beginn der nächsten Sakkade nicht verändern. Der Zeitgeber passt sich allerdings von Fixation zu Fixation neuen Verarbeitungsanforderungen an, so dass es zu einer zeitlich verzögerten Reduktion der Fixationsdauern kommen kann. In einer erweiterten Version des Modells überprüfen wir die Kompatibilität ICATs mit einer realistischen räumlichen Blicksteuerung. Die Ähnlichkeit von Blickbewegungsphänomenen über Aufgaben hinweg legt nahe, dass sie auf allgemeinen Prinzipien basieren. Grundlage der Blicksteuerung ist die verteilte Verarbeitung des visuellen Inputs, während die Kontrolle der Fixationsdauer auf den Prinzipien von ICAT beruht. Darüber hinaus tragen okulomotorische Phänomene wesentlich zur Variabilität der Blicksteuerung bei. Ein Verständnis dieses Zusammenspiels hilft entscheidend den Zusammenhang von Blickbewegungen und Kognitionen besser zu verstehen. KW - Blickbewegungen KW - Fixationssequenzen KW - Computationale Modellierung KW - Fixationdauern KW - Fixationspositionen KW - Eye movements KW - fixation sequences KW - computational modeling KW - fixation durations KW - fixation positions Y1 - 2012 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-70206 ER - TY - THES A1 - Seelig, Stefan T1 - Parafoveal processing of lexical information during reading T1 - Parafoveale Verarbeitung lexikalischer Informationen beim Lesen BT - from experiments to computational modeling BT - von Experimenten zu computationaler Modellierung N2 - During sentence reading the eyes quickly jump from word to word to sample visual information with the high acuity of the fovea. Lexical properties of the currently fixated word are known to affect the duration of the fixation, reflecting an interaction of word processing with oculomotor planning. While low level properties of words in the parafovea can likewise affect the current fixation duration, results concerning the influence of lexical properties have been ambiguous (Drieghe, Rayner, & Pollatsek, 2008; Kliegl, Nuthmann, & Engbert, 2006). Experimental investigations of such lexical parafoveal-on-foveal effects using the boundary paradigm have instead shown, that lexical properties of parafoveal previews affect fixation durations on the upcoming target words (Risse & Kliegl, 2014). However, the results were potentially confounded with effects of preview validity. The notion of parafoveal processing of lexical information challenges extant models of eye movements during reading. Models containing serial word processing assumptions have trouble explaining such effects, as they usually couple successful word processing to saccade planning, resulting in skipping of the parafoveal word. Although models with parallel word processing are less restricted, in the SWIFT model (Engbert, Longtin, & Kliegl, 2002) only processing of the foveal word can directly influence the saccade latency. Here we combine the results of a boundary experiment (Chapter 2) with a predictive modeling approach using the SWIFT model, where we explore mechanisms of parafoveal inhibition in a simulation study (Chapter 4). We construct a likelihood function for the SWIFT model (Chapter 3) and utilize the experimental data in a Bayesian approach to parameter estimation (Chapter 3 & 4). The experimental results show a substantial effect of parafoveal preview frequency on fixation durations on the target word, which can be clearly distinguished from the effect of preview validity. Using the eye movement data from the participants, we demonstrate the feasibility of the Bayesian approach even for a small set of estimated parameters, by comparing summary statistics of experimental and simulated data. Finally, we can show that the SWIFT model can account for the lexical preview effects, when a mechanism for parafoveal inhibition is added. The effects of preview validity were modeled best, when processing dependent saccade cancellation was added for invalid trials. In the simulation study only the control condition of the experiment was used for parameter estimation, allowing for cross validation. Simultaneously the number of free parameters was increased. High correlations of summary statistics demonstrate the capabilities of the parameter estimation approach. Taken together, the results advocate for a better integration of experimental data into computational modeling via parameter estimation. N2 - Während des Lesens springt der Blick von Wort zu Wort, um visuelle Informationen mithilfe der hohen Auflösung der Fovea aufzunehmen. Lexikalische Eigenschaften eines zurzeit fixierten Wortes wirken sich dabei auf die Fixationsdauer aus, was eine Interaktion von Wortverarbeitung mit okulomotorischer Bewegungsplanung impliziert. Während Low-Level-Eigenschaften eines parafovealen Wortes ebenfalls die Fixationsdauer beeinflussen können, sind Ergebnisse zu Einflüssen lexikalischer Eigenschaften parafoveler Worte uneindeutig (Drieghe et al., 2008; Kliegl et al., 2006). Experimentelle Untersuchungen solcher parafoveal-on-foveal-Effekte mittels des Boundary-Paradigmas zeigten stattdessen, dass sich lexikalische Eigenschaften parafovealer Worte auf Fixationsdauern auf den Target-Wörtern auswirken (Risse & Kliegl, 2014). Diese Ergebnisse waren jedoch möglicherweise mit den Effekten der Preview-Validität konfundiert. Die Möglichkeit parafovealer Verarbeitung lexikalischer Informationen stellt bestehende Modelle für Blickbewegungen beim Lesen vor Probleme. Modelle, die auf seriellen Wortverarbeitungsannahmen fußen, können derlei Effekte nicht schlüssig erklären, da in ihnen erfolgreiche Wortverarbeitung oft starr an Bewegungsplanung gekoppelt ist, was ein Überspringen des parafovealen Wortes zur Folge hätte. Obwohl Modelle mit paralleler Wortverarbeitung weniger eingeschränkt sind, kann im SWIFT-Modell (Engbert et al., 2002) nur die Verarbeitung fovealer Worte die Sakkadenplanung direkt hemmen. Wir verbinden in dieser Arbeit die Ergebnisse eines Boundary-Experiments (Kapitel 2) mit einem prädiktiven Modellierungsansatz mit dem SWIFT-Modell, in dem wir Mechanismen parafovealer Hemmung in einer Simulationsstudie erkunden (Kapitel 4). Wir konstruieren eine Likelihood-Funktion für das SWIFT-Modell und nutzen die Experimentaldaten in einem Bayesianischen Ansatz zur Parameterschätzung (Kapitel 3 & 4). In den Ergebnissen des Experiments zeigt sich ein substanzieller Frequenzeffekt des Previews auf die Fixationsdauer auf dem Target-Wort, der klar vom Effekt der Preview-Validität unterschieden werden kann. Mittels der Blickbewegungsdaten der Probanden demonstrieren wir die Praktikabilität des gewählten Ansatzes selbst mit nur wenigen freien Parametern, indem wir Statistiken der Probanden mit jenen aus Simulationen auf der Basis geschätzter Parameter vergleichen. Schließlich können wir zeigen, dass SWIFT die lexikalischen Preview-Effekte erzeugen kann, wenn das Modell zusätzlich mit einem Mechanismus parafovealer Inhibition ausgestattet wird. Die Effekte der Preview-Validität wurden hingegen am besten modelliert, wenn eine Möglichkeit zum Abbruch der Sakkadenplanung in Abhängigkeit von der Wortverarbeitung hinzugefügt wurde. In dieser Simulationsstudie wurden lediglich Daten der Kontrollbedingung des Experiments zur Parameterschätzung genutzt, wodurch eine Kreuzvalidierung der Güte der Simulationsdaten ermöglicht wurde. Gleichzeitig wurde die Zahl der freien Parameter erhöht. Hohe Korrelationen der Statistiken verdeutlichen das Potential des Parameterschätzungsansatzes. Zusammengenommen sprechen die Ergebnisse dafür, dass Experimentaldaten mehr zur computationalen Modellierung herangezogen werden sollten, indem Möglichkeiten der Parameterschätzung ausgenutzt werden. KW - reading KW - parafoveal processing KW - predictive modeling KW - boundary paradigm KW - eye tracking KW - MCMC KW - parameter estimation KW - computational modeling KW - interindividual differences KW - lexical processing KW - MCMC KW - computationale Modellierung KW - Eye-Tracking KW - Interindividuelle Unterschiede KW - Lexikalische Verarbeitung KW - Parafoveale Verarbeitung KW - Parameterschätzung KW - Lesen KW - Boundary-Paradigma Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-508743 ER - TY - THES A1 - Schad, Daniel T1 - Mindless reading and eye movements : theory, experiments and computational modeling T1 - Gedankenverlorenes Lesen und Blickbewegungen : Theorie, Experimente, und Computationale Modellierung N2 - It sometimes happens that we finish reading a passage of text just to realize that we have no idea what we just read. During these episodes of mindless reading our mind is elsewhere yet the eyes still move across the text. The phenomenon of mindless reading is common and seems to be widely recognized in lay psychology. However, the scientific investigation of mindless reading has long been underdeveloped. Recent progress in research on mindless reading has been based on self-report measures and on treating it as an all-or-none phenomenon (dichotomy-hypothesis). Here, we introduce the levels-of-inattention hypothesis proposing that mindless reading is graded and occurs at different levels of cognitive processing. Moreover, we introduce two new behavioral paradigms to study mindless reading at different levels in the eye-tracking laboratory. First (Chapter 2), we introduce shuffled text reading as a paradigm to approximate states of weak mindless reading experimentally and compare it to reading of normal text. Results from statistical analyses of eye movements that subjects perform in this task qualitatively support the ‘mindless’ hypothesis that cognitive influences on eye movements are reduced and the ‘foveal load’ hypothesis that the response of the zoom lens of attention to local text difficulty is enhanced when reading shuffled text. We introduce and validate an advanced version of the SWIFT model (SWIFT 3) incorporating the zoom lens of attention (Chapter 3) and use it to explain eye movements during shuffled text reading. Simulations of the SWIFT 3 model provide fully quantitative support for the ‘mindless’ and the ‘foveal load’ hypothesis. They moreover demonstrate that the zoom lens is an important concept to explain eye movements across reading and mindless reading tasks. Second (Chapter 4), we introduce the sustained attention to stimulus task (SAST) to catch episodes when external attention spontaneously lapses (i.e., attentional decoupling or mind wandering) via the overlooking of errors in the text and via signal detection analyses of error detection. Analyses of eye movements in the SAST revealed reduced influences from cognitive text processing during mindless reading. Based on these findings, we demonstrate that it is possible to predict states of mindless reading from eye movement recordings online. That cognition is not always needed to move the eyes supports autonomous mechanisms for saccade initiation. Results from analyses of error detection and eye movements provide support to our levels-of-inattention hypothesis that errors at different levels of the text assess different levels of decoupling. Analyses of pupil size in the SAST (Chapter 5) provide further support to the levels of inattention hypothesis and to the decoupling hypothesis that off-line thought is a distinct mode of cognitive functioning that demands cognitive resources and is associated with deep levels of decoupling. The present work demonstrates that the elusive phenomenon of mindless reading can be vigorously investigated in the cognitive laboratory and further incorporated in the theoretical framework of cognitive science. N2 - Beim Lesen passiert es manchmal dass wir zum Ende einer Textpassage gelangen und dabei plötzlich bemerken dass wir keinerlei Erinnerung daran haben was wir soeben gelesen haben. In solchen Momenten von gedankenverlorenem Lesen ist unser Geist abwesend, aber die Augen bewegen sich dennoch über den Text. Das Phänomen des gedankenverlorenen Lesens ist weit verbreitet und scheint in der Laienpsychologie allgemein anerkannt zu sein. Die wissenschaftliche Untersuchung von gedankenverlorenem Lesen war jedoch lange Zeit unzureichend entwickelt. Neuerer Forschungsfortschritt basierte darauf gedankenverlorenes Lesen durch Selbstberichte zu untersuchen und als ein Phänomen zu behandeln das entweder ganz oder gar nicht auftritt (Dichotomie-Hypothese). Hier stellen wir die ‚Stufen der Unaufmerksamkeit’-Hypothese auf, dass gedankenverlorenes Lesen ein graduelles Phänomen ist, das auf verschiedenen kognitiven Verarbeitungsstufen entsteht. Wir stellen zudem zwei neue Verhaltensparadigmen vor um verschiedene Stufen von gedankenverlorenem Lesen im Augenbewegungslabor zu untersuchen. Als erstes (in Kapitel 2) stellen wir das Lesen von verwürfeltem Text vor als ein Paradigma um Zustände von schwach gedankenverlorenem Lesen experimentell anzunähern, und vergleichen es mit dem Lesen von normalem Text. Die Ergebnisse von statistischen Augenbewegungsanalysen unterstützen qualitativ die ‚Unaufmerksamkeits’-Hypothese, dass kognitive Einflüsse auf Augenbewegungen beim Lesen von verwürfeltem Text reduziert ist, und die ‚Foveale Beanspruchungs’-Hypothese, dass die Reaktion der zoom lens visueller Aufmerksamkeit auf lokale Textschwierigkeit beim Lesen von verwürfeltem Text verstärkt ist. Wir stellen eine weiterentwickelte Version des SWIFT Modells (SWIFT 3) vor, welches die zoom lens der Aufmerksamkeit implementiert, und validieren dieses Modell am Lesen von verwürfeltem und normalem Text (Kapitel 3). Simulationen des SWIFT 3 Modells unterstützen die ‚Unaufmerksamkeits’ und die ‚Foveal Beanspruchungs’-Hypothese in einem vollständig quantitativen Modell. Zudem zeigen sie, dass die zoom lens der Aufmerksamkeit ein wichtiges Konzept ist um Augenbewegungen in Aufgaben zum Lesen und gedankenverlorenen Lesen zu erklären. Als zweites (Kapitel 4) stellen wir den sustained attention to stimulus task (SAST) vor um Episoden von spontaner externer Unaufmerksamkeit (also Entkopplung der Aufmerksamkeit oder Abschweifen der Gedanken) in einem Paradigma über Verhaltensparameter wie das Übersehen von Fehlern im Text und Signal-Detektions-Analysen von Fehlerentdeckung zu messen. Augenbewegungsanalysen im SAST decken abgeschwächte Einflüsse von kognitiver Textverarbeitung während gedankenverlorenem Lesen auf. Basierend auf diesen Befunden zeigen wir, dass es möglich ist Zustände von gedankenverlorenem Lesen online, also während dem Lesen, aus Augenbewegungen vorherzusagen bzw. abzulesen. Dass höhere Kognition nicht immer notwendig ist um die Augen zu bewegen unterstützt zudem autonome Mechanismen der Sakkadeninitiierung. Ergebnisse aus Analysen von Fehlerdetektion und Augenbewegungen unterstützen unsere ‚Stufen der Unaufmerksamkeit’-Hypothese, dass Fehler auf verschiedenen Textebenen verschiedene Stufen von Entkopplung messen. Analysen der Pupillengröße im SAST (Kapitel 5) bieten weitere Unterstützung für die ‚Stufen der Unaufmerksamkeit’-Hypothese, sowie für die Entkopplungs-Hypothese, dass abschweifende Gedanken eine abgegrenzte kognitiver Funktionsweise darstellen, welche kognitive Ressourcen benötigt und mit tiefen Stufen von Unaufmerksamkeit zusammenhängt. Die aktuelle Arbeit zeigt, dass das flüchtige Phänomen des gedankenverlorenen Lesens im kognitiven Labor mit strengen Methoden untersucht und weitergehend in den theoretischen Rahmen der Kognitionswissenschaft eingefügt werden kann. KW - Gedankenverlorenes Lesen KW - Blickbewegungen KW - Gedankenschweifen KW - Computationale Modellierung KW - Levels-of-inattention Hypothese KW - mindless reading KW - eye movements KW - mind wandering KW - computational modeling KW - levels-of-inattention hypothesis Y1 - 2012 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-70822 ER - TY - THES A1 - Rothkegel, Lars Oliver Martin T1 - Human scanpaths in natural scene viewing and natural scene search T1 - Menschliche Blickspuren beim Betrachten und Durchsuchen natürlicher Szenen BT - the role of systematic eye-movement tendencies N2 - Understanding how humans move their eyes is an important part for understanding the functioning of the visual system. Analyzing eye movements from observations of natural scenes on a computer screen is a step to understand human visual behavior in the real world. When analyzing eye-movement data from scene-viewing experiments, the impor- tant questions are where (fixation locations), how long (fixation durations) and when (ordering of fixations) participants fixate on an image. By answering these questions, computational models can be developed which predict human scanpaths. Models serve as a tool to understand the underlying cognitive processes while observing an image, especially the allocation of visual attention. The goal of this thesis is to provide new contributions to characterize and model human scanpaths on natural scenes. The results from this thesis will help to understand and describe certain systematic eye-movement tendencies, which are mostly independent of the image. One eye-movement tendency I focus on throughout this thesis is the tendency to fixate more in the center of an image than on the outer parts, called the central fixation bias. Another tendency, which I will investigate thoroughly, is the characteristic distribution of angles between successive eye movements. The results serve to evaluate and improve a previously published model of scanpath generation from our laboratory, the SceneWalk model. Overall, six experiments were conducted for this thesis which led to the following five core results: i) A spatial inhibition of return can be found in scene-viewing data. This means that locations which have already been fixated are afterwards avoided for a certain time interval (Chapter 2). ii) The initial fixation position when observing an image has a long-lasting influence of up to five seconds on further scanpath progression (Chapter 2 & 3). iii) The often described central fixation bias on images depends strongly on the duration of the initial fixation. Long-lasting initial fixations lead to a weaker central fixation bias than short fixations (Chapter 2 & 3). iv) Human observers adjust their basic eye-movement parameters, like fixation dura- tions and saccade amplitudes, to the visual properties of a target they look for in visual search (Chapter 4). v) The angle between two adjacent saccades is an indicator for the selectivity of the upcoming saccade target (Chapter 4). All results emphasize the importance of systematic behavioral eye-movement tenden- cies and dynamic aspects of human scanpaths in scene viewing. N2 - Die Art und Weise, wie wir unsere Augen bewegen, ist ein bedeutender Aspekt des visuellen Systems. Die Analyse von Augenbewegungen beim Betrachten natürlicher Szenen auf einem Bildschirm soll helfen, natürliches Blickverhalten zu verstehen. Durch Beantwortung der Fragen wohin (Fixationsposition), wie lange (Fixationsdauern) und wann (Reihenfolge von Fixationen) Versuchspersonen auf einem Bild fixieren, lassen sich computationale Modelle entwickeln, welche Blickspuren auf natürlichen Bildern vorhersagen. Modelle sind ein Werkzeug, um zugrunde liegende kognitive Prozesse, insbesondere die Zuweisung visueller Aufmerksamkeit, während der Betrachtung von Bildern zu verstehen. Das Ziel der hier vorliegenden Arbeit ist es, neue Beitr¨age zur Modellierung und Charakterisierung menschlicher Blickspuren auf natürlichen Szenen zu liefern. Speziell systematische Blicksteuerungstendenzen, welche größtenteils unabhängig vom betrachteten Bild sind, sollen durch die vorliegenden Studien besser verstanden und beschrieben werden. Eine dieser Tendenzen, welche ich gezielt untersuche, ist die Neigung von Versuchspersonen, die Mitte eines Bildes häufiger als äußere Bildregionen zu fixieren. Außerdem wird die charakteristische Verteilung der Winkel zwischen zwei aufeinanderfolgenden Sakkaden systematisch untersucht. Die Ergebnisse dienen der Evaluation und Verbesserung des SceneWalk Modells für Blicksteuerung aus unserer Arbeitsgruppe. Insgesamt wurden 6 Experimente durchgeführt, welche zu den folgenden fünf Kernbefunden führten: i) Ein örtlicher inhibition of return kann in Blickbewegungsdaten von Szenenbetrachtungsexperimenten gefunden werden. Das bedeutet, fixierte Positionen werden nach der Fixation für einen bestimmten Zeitraum gemieden (Kapitel 2). ii) Die Startposition der Betrachtung eines Bildes hat einen langanhaltenden Einfluss von bis zu fünf Sekunden auf die nachfolgende Blickspur (Kapitel 2 & 3). iii) Die viel beschriebene zentrale Fixationstendenz auf Bildern hängt davon ab, wie lange die erste Fixation dauert. Lange initiale Fixationen führen zu deutlich geringerer zentraler Fixationstendenz als kurze Fixationen (Kapitel 2 & 3). iv) Menschliche Betrachter passen Fixationsdauern und Sakkadenamplituden an die visuellen Eigenschaften eines Zielreizes in visueller Suche an (Kapitel 4). v) Der Winkel zwischen zwei Sakkaden ist ein Indikator dafür, wie selektiv das Ziel der zweiten Sakkade ist (Kapitel 4). Alle Ergebnisse betonen die Wichtigkeit von systematischem Blickbewegungsverhalten und dynamischen Aspekten menschlicher Blickspuren beim Betrachten von natürlichen Szenen. KW - eye movements KW - scene viewing KW - computational modeling KW - scanpaths KW - visual attention KW - Augenbewegungen KW - Szenenbetrachtung KW - Computationale Modellierung KW - Blickspuren KW - Visuelle Aufmerksamkeit Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-420005 ER - TY - GEN A1 - Patil, Umesh A1 - Vasishth, Shravan A1 - Lewis, Richard L. T1 - Retrieval interference in syntactic processing BT - the case of reflexive binding in english T2 - Postprints der Universität Potsdam : Humanwissenschaftliche Reihe N2 - It has been proposed that in online sentence comprehension the dependency between a reflexive pronoun such as himself/herself and its antecedent is resolved using exclusively syntactic constraints. Under this strictly syntactic search account, Principle A of the binding theory which requires that the antecedent c-command the reflexive within the same clause that the reflexive occurs in constrains the parser's search for an antecedent. The parser thus ignores candidate antecedents that might match agreement features of the reflexive (e.g., gender) but are ineligible as potential antecedents because they are in structurally illicit positions. An alternative possibility accords no special status to structural constraints: in addition to using Principle A, the parser also uses non-structural cues such as gender to access the antecedent. According to cue -based retrieval theories of memory (e.g., Lewis and Vasishth, 2005), the use of non-structural cues should result in increased retrieval times and occasional errors when candidates partially match the cues, even if the candidates are in structurally illicit positions. In this paper, we first show how the retrieval processes that underlie the reflexive binding are naturally realized in the Lewis and Vasishth (2005) model. We present the predictions of the model under the assumption that both structural and non-structural cues are used during retrieval, and provide a critical analysis of previous empirical studies that failed to find evidence for the use of non-structural cues, suggesting that these failures may be Type II errors. We use this analysis and the results of further modeling to motivate a new empirical design that we use in an eye tracking study. The results of this study confirm the key predictions of the model concerning the use of non-structural cues, and are inconsistent with the strictly syntactic search account. These results present a challenge for theories advocating the infallibility of the human parser in the case of reflexive resolution, and provide support for the inclusion of agreement features such as gender in the set of retrieval cues. T3 - Zweitveröffentlichungen der Universität Potsdam : Humanwissenschaftliche Reihe - 493 KW - sentence processing KW - anaphor resolution KW - memory retrieval KW - interference KW - computational modeling KW - eye tracking Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-407987 SN - 1866-8364 IS - 493 ER - TY - JOUR A1 - Patil, Umesh A1 - Vasishth, Shravan A1 - Lewis, Richard L. T1 - Retrieval Interference in Syntactic Processing: The Case of Reflexive Binding in English JF - Frontiers in psychology N2 - It has been proposed that in online sentence comprehension the dependency between a reflexive pronoun such as himself/herself and its antecedent is resolved using exclusively syntactic constraints. Under this strictly syntactic search account, Principle A of the binding theory—which requires that the antecedent c-command the reflexive within the same clause that the reflexive occurs in—constrains the parser's search for an antecedent. The parser thus ignores candidate antecedents that might match agreement features of the reflexive (e.g., gender) but are ineligible as potential antecedents because they are in structurally illicit positions. An alternative possibility accords no special status to structural constraints: in addition to using Principle A, the parser also uses non-structural cues such as gender to access the antecedent. According to cue-based retrieval theories of memory (e.g., Lewis and Vasishth, 2005), the use of non-structural cues should result in increased retrieval times and occasional errors when candidates partially match the cues, even if the candidates are in structurally illicit positions. In this paper, we first show how the retrieval processes that underlie the reflexive binding are naturally realized in the Lewis and Vasishth (2005) model. We present the predictions of the model under the assumption that both structural and non-structural cues are used during retrieval, and provide a critical analysis of previous empirical studies that failed to find evidence for the use of non-structural cues, suggesting that these failures may be Type II errors. We use this analysis and the results of further modeling to motivate a new empirical design that we use in an eye tracking study. The results of this study confirm the key predictions of the model concerning the use of non-structural cues, and are inconsistent with the strictly syntactic search account. These results present a challenge for theories advocating the infallibility of the human parser in the case of reflexive resolution, and provide support for the inclusion of agreement features such as gender in the set of retrieval cues. KW - sentence processing KW - anaphor resolution KW - memory retrieval KW - interference KW - computational modeling KW - eye tracking Y1 - 2016 U6 - https://doi.org/10.3389/fpsyg.2016.00329 SN - 1664-1078 VL - 7 PB - Frontiers Research Foundation CY - Lausanne ER - TY - THES A1 - Nicenboim, Bruno T1 - Dependency resolution as a retrieval process T1 - Dependenzauflösung als ein Gedächtnisabrufsprozess BT - experimental evidence and computational modeling BT - experimentelle Evidenz und komputationelle Modellierung N2 - My thesis focused on the predictions of the activation-based model of Lewis and Vasishth (2005) to investigate the evidence for the use of the memory system in the formation of non-local dependencies in sentence comprehension. The activation-based model, which follows the Adaptive Control of Thought-Rational framework (ACT-R; Anderson et al., 2004), has been used to explain locality effects and similarity-based interference by assuming that dependencies are resolved by a cue-based retrieval mechanism, and that the retrieval mechanism is affected by decay and interference. Both locality effects and (inhibitory) similarity-based interference cause increased difficulty (e.g., longer reading times) at the site of the dependency completion where a retrieval is assumed: (I) Locality effects are attributed to the increased difficulty in the retrieval of a dependent when the distance from its retrieval site is increased. (II) Similarity-based interference is attributed to the retrieval being affected by the presence of items which have similar features as the dependent that needs to be retrieved. In this dissertation, I investigated some findings problematic to the activation-based model, namely, facilitation where locality effects are expected (e.g., Levy, 2008), and the lack of similarity-based interference from the number feature in grammatical sentences (e.g., Wagers et al., 2009). In addition, I used individual differences in working memory capacity and reading fluency as a way to validate the theories investigated (Underwood, 1975), and computational modeling to achieve a more precise account of the phenomena. Regarding locality effects, by using self-paced reading and eye-tracking-while reading methods with Spanish and German data, this dissertation yielded two main findings: (I) Locality effects seem to be modulated by working memory capacity, with high-capacity participants showing expectation-driven facilitation. (II) Once expectations and other potential confounds are controlled using baselines, with increased distance, high-capacity readers can show a slow-down (i.e., locality effects) and low-capacity readers can show a speedup. While the locality effects are compatible with the activation-based model, simulations show that the speedup of low-capacity readers can only be accounted for by changing some of the assumptions of the activation-based model. Regarding similarity-based interference, two relatively high-powered self-paced reading experiments in German using grammatical sentences yielded a slowdown at the verb as predicted by the activation-based model. This provides evidence in favor of dependency creation via cue-based retrieval, and in contrast with the view that cue-based retrieval is a reanalysis mechanism (Wagers et al., 2009). Finally, the same experimental results that showed inhibitory interference from the number feature are used for a finer grain evaluation of the retrieval process. Besides Lewis and Vasishth’s (2005) activation-based model, also McElree’s (2000) direct-access model can account for inhibitory interference. These two models assume a cue-based retrieval mechanism to build dependencies, but they are based on different assumptions. I present a computational evaluation of the predictions of these two theories of retrieval. The models were compared by implementing them in a Bayesian hierarchical framework. The evaluation of the models reveals that some aspects of the data fit better under the direct access model than under the activation-based model. However, a simple extension of the activation-based model provides a comparable fit to the direct access model. This serves as a proof of concept showing potential ways to improve the original activation-based model. In conclusion, this thesis adds to the body of evidence that argues for the use of the general memory system in dependency resolution, and in particular for a cue-based retrieval mechanism. However, it also shows that some of the default assumptions inherited from ACT-R in the activation-based model need to be revised. N2 - Die vorliegende Dissertation befasst sich mit dem Aktivierungsmodell von Lewis und Vasishth (2005) um die Evidenz für die Verwendung des Arbeitsgedächtnisses bei der Bildung nicht-lokaler Dependenzen in der menschlichen Satzverarbeitung zu untersuchen. Das Aktivierungsmodell, welches auf der ‘Adaptive Control of Thought-Rational’ (ACT-R; Anderson et al., 2004) aufbaut, wird in der Literatur herangezogen, um Lokalitätseffekte und Interferenz durch Ähnlichkeit mit einem von Interferenz und Gedächtnisverfall betroffenen merkmalsbasierten Gedächtnisabrufmechanismus zu erklären. Sowohl Lokalitätseffekte als auch (inhibitorische) Interferenz durch Ähnlichkeit führen zu einer erhöhten Verarbeitungsschwierigkeit (z.B. längere Lesezeiten) an der Stelle, wo die Dependenz gebildet wird und daher ein Gedächtnisabruf anzunehmen ist: (I) Lokalitätseffekte werden durch die erhöhte Schwierigkeit erklärt, die mit dem Abruf des ersten Teils einer Dependenz einhergeht, wenn dessen Distanz zu der Stelle, die den Gedächtnisabruf auslöst (d.h. der zweite Teil der Dependenz), vergrößert wird. (II) Interferenz durch Ähnlichkeit wird dadurch erklärt, dass der Gedächtnisabruf von der Anwesenheit von Elementen mit denselben Merkmalen wie die des abzurufenden Teils der Dependenz beeinträchtigt wird. In dieser Dissertation untersuche ich einige Erkenntnisse, die das Aktivierungsmodell herausfordern, namentlich fazilitatorische Effekte an Stellen, wo Lokalitätseffekte zu erwarten wären (z.B. Levy, 2008), sowie die Abwesenheit von Interferenz durch Ähnlichkeit in Experimenten, die den Numerus manipulieren (z.B. Wagers et al., 2009). Des Weiteren verwende ich Messwerte der individuellen Unterschiede in der Arbeitsgedächtnisleistung und in der Leseflüssigkeit um die untersuchten Theorien zu validieren, und komputationale Modellierung um ein genaueres Bild der untersuchten Phänomene zu zeichnen zu können. Was die Lokalitätseffekte angeht, so werden in dieser Dissertation hauptsächlich zwei Erkenntnisse vorgestellt, die auf mit Selbst-gesteuertem-Lesen und Eyetracking erhobenen Daten zum Spanischen und Deutschen basieren. (I) Lokalitätseffekte scheinen von der Arbeitsgedächtniskapazität moduliert zu werden: Probanden mit hoher Arbeitsgedächtniskapazität zeigen erwartungsgesteuerte fazilitatorische Effekte. (II) Wenn Erwartungen und andere potentielle Störvariablen durch geeignete Baselines kontrolliert werden, können bei Probanden mit starkem Arbeitsgedächtnis verlangsamte Lesezeiten (d. h., Lokalitätseffekte) und bei Probanden mit schwachem Arbeitsgedächtnis verkürzte Lesezeiten beobachtet werden. Während Lokalitätseffekte mit dem Aktivierungsmodell vereinbar sind, zeigen Simulationen, dass die fazilitatorischen Effekte der Probanden mit schwächerem Arbeitsgedächtnis nur dann von dem Aktivierungsmodell erklärt werden können, wenn einige der Modellannahmen geändert werden. Was Interferenz durch Ähnlichkeit angeht, so werden in dieser Dissertation zwei Experimente mit Selbst-gesteuertem-Lesen zum Deutschen vorgestellt, die eine relativ hohe statistische Teststärke haben. Grammatische Sätze führen hier zu verlangsamten Lesezeiten am Verb, wie es das Aktivierungsmodell vorhersagt. Diese Ergebnisse sind Evidenz für die Bildung von Dependenzen mittels merkmalsbasiertem Gedächtnisabruf und können nicht durch einen wie von Wagers et al. (2009) vorgeschlagenen Reanalysemechanismus erklärt werden. Letztendlich werden dieselben empirischen Daten, die durch den Numerus ausgelöste inhibitorische Interferenz zeigen, für eine detailliertere, simulationsbasierte Betrachtung des Gedächtnisabrufprozesses verwendet. Neben dem Aktivierungsmodell von Lewis und Vasishth (2005) kann auch das Modell eines direkten Gedächtniszugriffs von McElree (2000) die inhibitorische Interferenz erklären. Beide Modelle nehmen für die Bildung von Dependenzen einen merkmalsbasierten Gedächtniszugriffsmechanismus an, aber sie fußen auf unterschiedlichen Annahmen. Ich stelle eine komputationale Evaluation der Vorhersagen dieser beiden Gedächtniszugriffsmodelle vor. Um die beiden Modelle zu vergleichen, werden sie als Bayessche hierarchische Modelle implementiert. Die Evaluation der Modelle zeigt, dass einige Aspekte der empirischen Daten besser von McElrees Modell als von Lewis’ und Vasishths Modell erklärt werden. Eine einfache Erweiterung des Aktivierungsmodells erklärt die Daten jedoch ähnlich gut wie McElrees Modell. Kurz, diese Dissertation liefert weitere Evidenz für die These, dass das allgemeine Gedächtnissystem — und ein merkmalsbasierter Abrufmechanismus im Besonderen — beim Bilden linguistischer Dependenzen Anwendung findet. Es wird jedoch auch gezeigt, dass einige der Standardannahmen, die das Aktivierungsmodell von der ACT-R-Architektur geerbt hat, überdacht und angepasst werden müssen. KW - linguistics KW - working memory KW - computational modeling KW - Sprachwissenschaft KW - Arbeitsgedächtniss KW - komputationale Modellierung Y1 - 2016 ER - TY - JOUR A1 - Laurinavichyute, Anna A1 - von der Malsburg, Titus T1 - Semantic attraction in sentence comprehension JF - Cognitive science N2 - Agreement attraction is a cross-linguistic phenomenon where a verb occasionally agrees not with its subject, as required by grammar, but instead with an unrelated noun ("The key to the cabinets were horizontal ellipsis "). Despite the clear violation of grammatical rules, comprehenders often rate these sentences as acceptable. Contenders for explaining agreement attraction fall into two broad classes: Morphosyntactic accounts specifically designed to explain agreement attraction, and more general sentence processing models, such as the Lewis and Vasishth model, which explain attraction as a consequence of how linguistic structure is stored and accessed in content-addressable memory. In the present research, we disambiguate between these two classes by testing a surprising prediction made by the Lewis and Vasishth model but not by the morphosyntactic accounts, namely, that attraction should not be limited to morphosyntax, but that semantic features of unrelated nouns equally induce attraction. A recent study by Cunnings and Sturt provided initial evidence that this may be the case. Here, we report three single-trial experiments in English that compared semantic and agreement attraction and tested whether and how the two interact. All three experiments showed strong semantically induced attraction effects closely mirroring agreement attraction effects. We complement these results with computational simulations which confirmed that the Lewis and Vasishth model can faithfully reproduce the observed results. In sum, our findings suggest that attraction is a more general phenomenon than is commonly believed, and therefore favor more general sentence processing models, such as the Lewis and Vasishth model. KW - agreement attraction KW - computational modeling KW - sentence processing; KW - similarity-based interference KW - semantic attraction Y1 - 2022 U6 - https://doi.org/10.1111/cogs.13086 SN - 0364-0213 SN - 1551-6709 VL - 46 IS - 2 PB - Wiley CY - Hoboken ER - TY - JOUR A1 - Laubrock, Jochen A1 - Cajar, Anke A1 - Engbert, Ralf T1 - Control of fixation duration during scene viewing by interaction of foveal and peripheral processing JF - Journal of vision N2 - Processing in our visual system is functionally segregated, with the fovea specialized in processing fine detail (high spatial frequencies) for object identification, and the periphery in processing coarse information (low frequencies) for spatial orienting and saccade target selection. Here we investigate the consequences of this functional segregation for the control of fixation durations during scene viewing. Using gaze-contingent displays, we applied high-pass or low-pass filters to either the central or the peripheral visual field and compared eye-movement patterns with an unfiltered control condition. In contrast with predictions from functional segregation, fixation durations were unaffected when the critical information for vision was strongly attenuated (foveal low-pass and peripheral high-pass filtering); fixation durations increased, however, when useful information was left mostly intact by the filter (foveal high-pass and peripheral low-pass filtering). These patterns of results are difficult to explain under the assumption that fixation durations are controlled by foveal processing difficulty. As an alternative explanation, we developed the hypothesis that the interaction of foveal and peripheral processing controls fixation duration. To investigate the viability of this explanation, we implemented a computational model with two compartments, approximating spatial aspects of processing by foveal and peripheral activations that change according to a small set of dynamical rules. The model reproduced distributions of fixation durations from all experimental conditions by variation of few parameters that were affected by specific filtering conditions. KW - scene perception KW - spatial frequencies KW - fixation durations KW - computational modeling Y1 - 2013 U6 - https://doi.org/10.1167/13.12.11 SN - 1534-7362 VL - 13 IS - 12 PB - Association for Research in Vision and Opthalmology CY - Rockville ER - TY - JOUR A1 - Jäger, Lena Ann A1 - Engelmann, Felix A1 - Vasishth, Shravan T1 - Retrieval interference in reflexive processing: experimental evidence from Mandarin, and computational modeling JF - Frontiers in psychology N2 - We conducted two eye-tracking experiments investigating the processing of the Mandarin reflexive ziji in order to tease apart structurally constrained accounts from standard cue-based accounts of memory retrieval. In both experiments, we tested whether structurally inaccessible distractors that fulfill the animacy requirement of ziji influence processing times at the reflexive. In Experiment 1, we manipulated animacy of the antecedent and a structurally inaccessible distractor intervening between the antecedent and the reflexive. In conditions where the accessible antecedent mismatched the animacy cue, we found inhibitory interference whereas in antecedent-match conditions, no effect of the distractor was observed. In Experiment 2, we tested only antecedent-match configurations and manipulated locality of the reflexive-antecedent binding (Mandarin allows non-local binding). Participants were asked to hold three distractors (animate vs. inanimate nouns) in memory while reading the target sentence. We found slower reading times when animate distractors were held in memory (inhibitory interference). Moreover, we replicated the locality effect reported in previous studies. These results are incompatible with structure-based accounts. However, the cue-based ACT-R model of Lewis and Vasishth (2005) cannot explain the observed pattern either. We therefore extend the original ACT-R model and show how this model not only explains the data presented in this article, but is also able to account for previously unexplained patterns in the literature on reflexive processing. KW - Chinese reflexives KW - ACT-R KW - eye-tracking KW - interference KW - cue-based retrieval KW - computational modeling KW - ziji KW - content-addressable memory Y1 - 2015 U6 - https://doi.org/10.3389/fpsyg.2015.00617 SN - 1664-1078 VL - 6 PB - Frontiers Research Foundation CY - Lausanne ER -