TY - THES A1 - Schwetlick, Lisa T1 - Data assimilation for neurocognitive models of eye movement T1 - Datenassimilation für Neurokognitive Modelle in der Blickbewegungsforschung N2 - Visual perception is a complex and dynamic process that plays a crucial role in how we perceive and interact with the world. The eyes move in a sequence of saccades and fixations, actively modulating perception by moving different parts of the visual world into focus. Eye movement behavior can therefore offer rich insights into the underlying cognitive mechanisms and decision processes. Computational models in combination with a rigorous statistical framework are critical for advancing our understanding in this field, facilitating the testing of theory-driven predictions and accounting for observed data. In this thesis, I investigate eye movement behavior through the development of two mechanistic, generative, and theory-driven models. The first model is based on experimental research regarding the distribution of attention, particularly around the time of a saccade, and explains statistical characteristics of scan paths. The second model implements a self-avoiding random walk within a confining potential to represent the microscopic fixational drift, which is present even while the eye is at rest, and investigates the relationship to microsaccades. Both models are implemented in a likelihood-based framework, which supports the use of data assimilation methods to perform Bayesian parameter inference at the level of individual participants, analyses of the marginal posteriors of the interpretable parameters, model comparisons, and posterior predictive checks. The application of these methods enables a thorough investigation of individual variability in the space of parameters. Results show that dynamical modeling and the data assimilation framework are highly suitable for eye movement research and, more generally, for cognitive modeling. N2 - Die visuelle Wahrnehmung ist einer der komplexesten Sinne, die dem Menschen zur Verfügung stehen. Jede Sekunde werden 108 - 109 bits Information von Lichtrezeptoren in den Augen aufgenommen und verarbeitet. Dieser Verarbeitung liegen komplexe und dynamische Prozesse zugrunde, die diese große Menge an Informationen in ein kohärentes Perzept verwandeln. Da nur ein kleiner Bereich, die Fovea, hohe Auflösung aufnehmen kann, bildet die Anordnung der Lichtrezeptoren in der Retina den ersten Filtermechanismus dieses Systems. Um trotzdem das gesamte visuelle Feld scharf sehen zu können, bewegen sich die Augen nach und nach über die verschiedenen Elemente der visuellen Welt. Dabei werden interessante oder relevante Inhalte in den Fokus gerückt. Die Bewegung erfolgt in einer Reihe von schnellen Bewegungen (Sakkaden) und relativen Ruheperioden (Fixationen). Während der Fixationen ist das Auge allerdings nicht still, stattdessen sorgen mikroskopische Bewegungen, ein langsamer Drift und schnelle Mikrosakkaden, für eine konstante Bewegung des Auges. Die Auswahl der Fixationsorte sowie die Bewegung an sich bieten Hinweise auf die Verarbeitungsprozesse, die der visuellen Wahrnehmung zugrunde liegen. Wahrnehmung und Handlung sind besonders im Falle der Blickbewegung eng verknüpft und voneinander abhängig: die Bewegung beeinflusst, welche visuelle Information auf die Rezeptoren trifft und die Wahrnehmung ist entscheidend für die Auswahl der Bewegung. In meiner Dissertation entwickele ich einen dynamischen Ansatz zur Modellierung von kognitiven Prozessen, der die Entfaltung von Wahrnehmung und Handlung über die Zeit in den Vordergrund stellt. Darüber hinaus sind die angewendeten Modelle mechanistisch, d.h. sie stützen sich auf biologisch plausible Mechanismen zur Erzeugung von Verhalten. Ein mechanistischer, dynamischer Modellierungsansatz birgt einige entscheidende Vorteile für den wissenschaftlichen Erkenntnisgewinn. Ergebnisse aus der Literatur und der experimentellen Forschung dienen als Grundlage, um Verhalten zu erklären. Zeigt das Modell auf Basis dieser Mechanismen tatsächlich das erwartete Verhalten, so ist dies ein starkes Indiz für die aufgestellten Hypothesen für dessen Ursache. Des Weiteren entsteht komplexes Verhalten zumeist nicht monokausal, sondern aus einer Zusammenkunft an Ursachen oder als emergente Eigenschaft. Die Modellieung erlaubt es uns, solche komplexen Prozesse durch Variationen und Veränderungen des Modells im Detail besser zu verstehen. Der methodische Rahmen des Modellierungsansatzes stützt sich auf die umfangreiche Literatur zur dynamischen Modellierung und die Bayes’sche Likelihood-basierte Parameterinferenz. Modelle werden mithilfe dieser statistischen Methoden optimiert, sodass die statistisch bestmögliche Passung von Modell und Daten erreicht wird. Möglich gemacht wird diese Optimierung durch die Likelihood Funktion des Modells, d.h. es wird die Wahrscheinlichkeit der Daten gegeben des Modells errechnet. Zudem werden durch das Variieren der Parameter oder durch analytische Verfahren jene Parameter gewählt, welche die höchste Wahrscheinlichkeit ergeben. Darüberhinaus kann mit Hilfe eines Bays’schen Ansatzes auch eine Approximation der Wahrscheinlichkeitsverteilung (Marginal Posterior) pro Parameter errechnet werden. Wenn durch das Modell eine Likelihood Funktion definiert wird, existiert eine gute statistische Grundlage, die starke Inferenzen erlaubt. Wenn eine solche Likelihood Funktion für ein gegebenes Modell nicht formuliert werden kann, muss die Parameterinferenz anhand von anderen Qualitätsmetriken erfolgen. Obwohl dies in der Vergangenheit in den Kognitionswissenschaften häufig der Standard war, bietet die Likelihood-basierte Modellierung doch klare Vorteile, so zum Beispiel die Unabhängigkeit von der Wahl der Metrik und eine starke statistische Basis. Modellparameter in einem mechanistischen Modell haben außerdem typischerweise eine eindeutige Bedeutung für die Mechanismen des Modells. Sie repräsentieren zum Beispiel die Größe der räumlichen Aufmerksamkeitsspanne oder die zeitliche Gedächtnisspanne. Die statistische Parameterinferenz erlaubt daher auch direkte Rückschlüsse auf die Ausprägung der Mechanismen. Zudem sind die hier behandelten Modelle auch generativ, sodass es möglich ist, Daten zu simulieren. Mithilfe von sogenannten Posterior Predictive Checks ist es möglich, das Modellverhalten direkt mit experimentell beobachtetem Verhalten zu vergleichen. Im Rahmen dieser Arbeit wird der beschriebene Modellierungsansatz auf zwei Modelle menschlicher Blickbewegungen angewandt. Das erste Modell beschreibt dabei die Auswahl der Fixationsorte bei der Betrachtung von Szenen. Es modelliert explizit die Dynamik der Aufmerksamkeit und deren Auswirkungen auf die Blickbewegung. Das zweite Modell beschreibt die mikroskopischen fixationalen Driftbewegungen mithilfe eines Self-Avoiding Walks. Beide Modelle sind dynamische Modelle mit interpretierbaren Parametern und einer Likelihood Funktion. Somit kann für beide Modelle Bayes’sche Parameterinferenz auf Versuchspersonenebene ermöglicht werden. In der ersten im Rahmen dieser Dissertation präsentierten Arbeit verwenden wir das SceneWalk Modell. Dieses besteht grundsätzlich aus einer Aktivations- und einer Inhibitionskomponente, die sich jeweils über die Zeit mittels einer Differenzialgleichung entwickeln. Die Summe beider Komponenten ergibt für jeden Punkt auf einem diskreten Gitter die Wahrscheinlichkeit eine Sakkade zu diesem Punkt. Experimentelle Forschung zeigt, dass die visuelle Aufmerksamkeit kurz vor einer Sakkade bereits auf den nächsten Fixationsort verlagert wird. Des Weiteren gibt es nach der Sakkade Evidenz für eine Verschiebung der Aufmerksamkeit in die Richtung der Sakkade, aber über den intendierten Fixationsort hinaus. Hier erweitern wir das SceneWalk Modell, indem wir Aufmerksamkeitsprozesse rund um den Zeitpunkt der Sakkade implementieren. Diese Aufmerksamkeitsprozesse erwirken bei den Modiellierungergebnissen eine verbesserte Passung zwischen Daten und Modell und bieten einen Erklärungsansatz für die charakteristischen Winkelverteilungen von aufeinanderfolgenden Sakkaden. In dieser Arbeit zeigen wir außerdem, dass es möglich ist, mittels Bayes’scher Inferenz, separate und aussagekräftige Parameter für einzelne Individuen zu schätzen. In der zweiten Arbeit wenden wir dasselbe Modell, SceneWalk, und die Bayes’sche Inferenz nicht nur auf die Modellierung von verschiedenen Individuen, sondern auch verschiedenen Aufgaben an. Wir zeigen hier Evidenz für systematische Unterschiede in den dynamischen Aufmerksamkeitsparametern, die durch das Modell erfasst werden können. Überdies erweitern wir das SceneWalk Modell in dieser Arbeit um eine zeitliche Komponente (Spatiotemporal Likelihood), sodass jetzt auch die Fixationsdauer im Rahmen des Modells miterfasst wird. Mithilfe dieser Erweiterung finden wir Evidenz für eine Kopplung von Fixationsdauer und Salienz. Die dritte Arbeit beschäftigt sich mit einem Modell für fixationale Driftbewegungen. Das SAW-Modell verwendet einen statistischen Self-Avoiding Random Walk, d.h. eine quasi-zufällige Bewegung auf einem diskreten Gitter, die statistisch ihre eigene Trajektorie vermeidet. Das Gedächtnis der eigenen Trajektorie ist durch einen Parameter definiert. Diese Bewegung wird durch ein Potential daran gehindert, sich zu weit von ihrem Ausgangspunkt zu entfernen. Wir verwenden die selbe Methode der Bayes’schen Parameterinferenz und schätzen so Parameter für Individuen. Des Weiteren stellen wir eine explorative Analyse vor, die einen Zusammenhang zwischen der latenten Aktivierung des Models und Mikrosakkaden findet. In dieser Dissertation wird ein dynamischer Ansatz zur Modellierung von Kognition untersucht, wobei der Schwerpunkt auf Blickbewegungen und visueller Wahrnehmung liegt. Die Arbeit basiert auf der Beobachtung, dass Wahrnehmung und Handlung voneinander abhängig sind und sich im Laufe der Zeit dynamisch entfalten und, dass biologische und neurophysiologische Erkenntnisse die Randbedingungen für verhaltensbezogene Erklärungen liefern sollten. Beide vorgestellten Modelle erfassen zentrale Aspekte des Blickverhaltens sowie individuelle Unterschiede. Die Modelle erlauben eine Untersuchung der zeitlichen Dynamik ihrer jeweiligen Prozesse und können zur Simulation verschiedener Bedingungen und Aufgaben verwendet werden, um deren Auswirkungen auf das Verhalten zu analysieren. Der vorgestellte Modellierungsansatz beinhaltet die Verwendung von dynamischen und mechanistischen Modellen, statistische Inferenz von Parametern, Vergleich von statistischen Eigenschaften simulierter und experimenteller Daten und ermöglicht auch objektive Modellvergleiche. Der dynamische Ansatz zur Modellierung von Kognition ist eine plausible und adäquate Methode um die Interdependenz von Wahrnehmung und Handlung zu beschreiben. Sie bietet die Möglichkeit, Verhalten unter Verwendung theoriebasierter und experimentell fundierter Mechanismen zu erzeugen. Die hier vorgestellten Modelle zeigen das Potenzial dieses Ansatzes und können als Grundlage für weitere Forschungen auf dem Gebiet der kognitiven Modellierung dienen. KW - eye movement KW - mathematical modeling KW - dynamical models KW - data assimilation KW - scan paths KW - attention KW - Aufmerksamkeit KW - Datenassimilation KW - dynamische Modelle KW - Blickbewegungen KW - mathematische Modellierung KW - Blickpfade Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-598280 ER - TY - JOUR A1 - Yan, Ming A1 - Pan, Jinger A1 - Kliegl, Reinhold T1 - Eye Movement Control in Chinese Reading: A Cross-Sectional Study JF - Developmental psychology N2 - The present study explored the age-related changes of eye movement control in reading-that is, where to send the eyes and when to move them. Different orthographies present readers with somewhat different problems to solve, and this might, in turn, be reflected in different patterns of development of reading skill. Participants of different developmental levels (Grade 3, N = 30; Grade 5, N = 27 and adults, N = 27) were instructed to read sentences for comprehension while their eye movements were recorded. Contrary to previous findings that have been well documented indicating early maturation of saccade generation in English, current results showed that saccade generation among Chinese readers was still under development at Grade 5, although immediate lexical processing was relatively well-established. The distinct age-related changes in eye movements are attributable to certain linguistic properties of Chinese including the lack of interword spaces and word boundary uncertainty. The present study offers an example of how human eye movement adapts to the orthographic environment. KW - Chinese KW - eye movement KW - reading KW - development Y1 - 2019 U6 - https://doi.org/10.1037/dev0000819 SN - 0012-1649 SN - 1939-0599 VL - 55 IS - 11 SP - 2275 EP - 2285 PB - American Psychological Association CY - Washington ER - TY - JOUR A1 - Clahsen, Harald A1 - Gerth, Sabrina A1 - Heyer, Vera A1 - Schott, Esther T1 - Morphology constrains native and non-native word formation in different ways Evidence from plurals inside compounds JF - The mental lexicon N2 - The role of morphological and syntactic information in non-native second language (L2) comprehension is controversial. Some have argued that late bilinguals rapidly integrate grammatical cues with other information sources during reading or listening in the same way as native speakers. Others claim that structural cues are underused in L2 processing. We examined different kinds of modifiers inside compounds (e.g. singulars vs. plurals, *rat eater vs. rats eater) with respect to this controversy which are subject to both structural and nonstructural constraints. Two offline and two online (eye-movement) experiments were performed examining the role of these constraints in spoken language comprehension of English and German, testing 77 advanced L2 learners. We also compared the L2 groups to corresponding groups of native speakers. Our results suggest that despite native-like sensitivity to the compounding constraints, late bilinguals rely more on non-structural constraints and are less able to revise their initial interpretations than L1 comprehenders. KW - morphological processing KW - compounding KW - visual world paradigm KW - eye movement KW - bilingualism KW - second language Y1 - 2015 U6 - https://doi.org/10.1075/ml.10.1.03cla SN - 1871-1340 SN - 1871-1375 VL - 10 IS - 1 SP - 53 EP - 87 PB - Benjamins CY - Amsterdam ER - TY - JOUR A1 - Henrichs, Ivanina A1 - Elsner, Claudia A1 - Elsner, Birgit A1 - Wilkinson, Nick A1 - Gredeback, Gustaf T1 - Goal certainty modulates infants' goal-directed gaze shifts JF - Developmental psychology N2 - We investigated whether 12-month-old infants rely on information about the certainty of goal selection in order to predict observed reaching actions. Infants' goal-directed gaze shifts were recorded as they observed action sequences in a multiple-goals design. We found that 12-month-old infants exhibited gaze shifts significantly earlier when the observed hand reached for the same goal object in all trials (frequent condition) compared with when the observed hand reached for different goal objects across trials (nonfrequent condition). Infants in the frequent condition were significantly more accurate at predicting the action goal than infants in the nonfrequent condition. In addition, findings revealed rapid learning in the case of certainty and no learning in the case of uncertainty of goal selection over the course of trials. Together, our data indicate that by the end of their first year of life, infants rely on information about the certainty of goal selection to make inferences about others' action goals. KW - anticipation KW - eye movement KW - infant KW - direct matching KW - statistical learning Y1 - 2014 U6 - https://doi.org/10.1037/a0032664 SN - 0012-1649 SN - 1939-0599 VL - 50 IS - 1 SP - 100 EP - 107 PB - American Psychological Association CY - Washington ER - TY - JOUR A1 - Henrichs, Ivanina A1 - Elsner, Claudia A1 - Elsner, Birgit A1 - Gredeback, Gustaf T1 - Goal salience affects infants' goal-directed gaze shifts JF - Frontiers in psychology N2 - Around their first year of life, infants are able to anticipate the goal of others' ongoing actions. For instance, 12-month-olds anticipate the goal of everyday feeding actions and manual actions such as reaching and grasping. However, little is known whether the salience of the goal influences infants' online assessment of others' actions. The aim of the current eye-tracking study was to elucidate infants' ability to anticipate reaching actions depending on the visual salience of the goal object. In Experiment 1, 12-month-old infants' goal-directed gaze shifts were recorded as they observed a hand reaching for and grasping either a large (high-salience condition) or a small (low-salience condition) goal object. Infants exhibited predictive gaze shifts significantly earlier when the observed hand reached for the large goal object compared to when it reached for the small goal object. In addition, findings revealed rapid learning over the course of trials in the high-salience condition and no learning in the low-salience condition. Experiment 2 demonstrated that the results could not be simply attributed to the different grip aperture of the hand used when reaching for small and large objects. Together, our data indicate that by the end of their first year of life, infants rely on information about the goal salience to make inferences about the action goal. KW - anticipation KW - eye movement KW - salience KW - infant KW - action understanding Y1 - 2012 U6 - https://doi.org/10.3389/fpsyg.2012.00391 SN - 1664-1078 VL - 3 PB - Frontiers Research Foundation CY - Lausanne ER -