TY - THES
A1 - Schwetlick, Lisa
T1 - Data assimilation for neurocognitive models of eye movement
T1 - Datenassimilation für Neurokognitive Modelle in der Blickbewegungsforschung
N2 - Visual perception is a complex and dynamic process that plays a crucial role in how we perceive and interact with the world. The eyes move in a sequence of saccades and fixations, actively modulating perception by moving different parts of the visual world into focus. Eye movement behavior can therefore offer rich insights into the underlying cognitive mechanisms and decision processes. Computational models in combination with a rigorous statistical framework are critical for advancing our understanding in this field, facilitating the testing of theory-driven predictions and accounting for observed data. In this thesis, I investigate eye movement behavior through the development of two mechanistic, generative, and theory-driven models. The first model is based on experimental research regarding the distribution of attention, particularly around the time of a saccade, and explains statistical characteristics of scan paths. The second model implements a self-avoiding random walk within a confining potential to represent the microscopic fixational drift, which is present even while the eye is at rest, and investigates the relationship to microsaccades. Both models are implemented in a likelihood-based framework, which supports the use of data assimilation methods to perform Bayesian parameter inference at the level of individual participants, analyses of the marginal posteriors of the interpretable parameters, model comparisons, and posterior predictive checks. The application of these methods enables a thorough investigation of individual variability in the space of parameters. Results show that dynamical modeling and the data assimilation framework are highly suitable for eye movement research and, more generally, for cognitive modeling.
N2 - Die visuelle Wahrnehmung ist einer der komplexesten Sinne, die dem Menschen zur Verfügung stehen. Jede Sekunde werden 108 - 109 bits Information von Lichtrezeptoren in den Augen aufgenommen und verarbeitet. Dieser Verarbeitung liegen komplexe und dynamische Prozesse zugrunde, die diese große Menge an Informationen in ein kohärentes Perzept verwandeln. Da nur ein kleiner Bereich, die Fovea, hohe Auflösung aufnehmen kann, bildet die Anordnung der Lichtrezeptoren in der Retina den ersten Filtermechanismus dieses Systems. Um trotzdem das gesamte visuelle Feld scharf sehen zu können, bewegen sich die Augen nach und nach über die verschiedenen Elemente der visuellen Welt. Dabei werden interessante oder relevante Inhalte in den Fokus gerückt. Die Bewegung erfolgt in einer Reihe von schnellen Bewegungen (Sakkaden) und relativen Ruheperioden (Fixationen). Während der Fixationen ist das Auge allerdings nicht still, stattdessen sorgen mikroskopische Bewegungen, ein langsamer Drift und schnelle Mikrosakkaden, für eine konstante Bewegung des Auges. Die Auswahl der Fixationsorte sowie die Bewegung an sich bieten Hinweise auf die Verarbeitungsprozesse, die der visuellen Wahrnehmung zugrunde liegen.
Wahrnehmung und Handlung sind besonders im Falle der Blickbewegung eng verknüpft und voneinander abhängig: die Bewegung beeinflusst, welche visuelle Information auf die Rezeptoren trifft und die Wahrnehmung ist entscheidend für die Auswahl der Bewegung. In meiner Dissertation entwickele ich einen dynamischen Ansatz zur Modellierung von kognitiven Prozessen, der die Entfaltung von Wahrnehmung und Handlung über die Zeit in den Vordergrund stellt. Darüber hinaus sind die angewendeten Modelle mechanistisch, d.h. sie stützen sich auf biologisch plausible Mechanismen zur Erzeugung von Verhalten.
Ein mechanistischer, dynamischer Modellierungsansatz birgt einige entscheidende Vorteile für den wissenschaftlichen Erkenntnisgewinn. Ergebnisse aus der Literatur und der experimentellen Forschung dienen als Grundlage, um Verhalten zu erklären. Zeigt das Modell auf Basis dieser Mechanismen tatsächlich das erwartete Verhalten, so ist dies ein starkes Indiz für die aufgestellten Hypothesen für dessen Ursache. Des Weiteren entsteht komplexes Verhalten zumeist nicht monokausal, sondern aus einer Zusammenkunft an Ursachen oder als emergente Eigenschaft. Die Modellieung erlaubt es uns, solche komplexen Prozesse durch Variationen und Veränderungen des Modells im Detail besser zu verstehen.
Der methodische Rahmen des Modellierungsansatzes stützt sich auf die umfangreiche Literatur zur dynamischen Modellierung und die Bayes’sche Likelihood-basierte Parameterinferenz. Modelle werden mithilfe dieser statistischen Methoden optimiert, sodass die statistisch bestmögliche Passung von Modell und Daten erreicht wird. Möglich gemacht wird diese Optimierung durch die Likelihood Funktion des Modells, d.h. es wird die Wahrscheinlichkeit der Daten gegeben des Modells errechnet. Zudem werden durch das Variieren der Parameter oder durch analytische Verfahren jene Parameter gewählt, welche die höchste Wahrscheinlichkeit ergeben. Darüberhinaus kann mit Hilfe eines Bays’schen Ansatzes auch eine Approximation der Wahrscheinlichkeitsverteilung (Marginal Posterior) pro Parameter errechnet werden. Wenn durch das Modell eine Likelihood Funktion definiert wird, existiert eine gute statistische Grundlage, die starke Inferenzen erlaubt. Wenn eine solche Likelihood Funktion für ein gegebenes Modell nicht formuliert werden kann, muss die Parameterinferenz anhand von anderen Qualitätsmetriken erfolgen. Obwohl dies in der Vergangenheit in den Kognitionswissenschaften häufig der Standard war, bietet die Likelihood-basierte Modellierung doch klare Vorteile, so zum Beispiel die Unabhängigkeit von der Wahl der Metrik und eine starke statistische Basis.
Modellparameter in einem mechanistischen Modell haben außerdem typischerweise eine eindeutige Bedeutung für die Mechanismen des Modells. Sie repräsentieren zum Beispiel die Größe der räumlichen Aufmerksamkeitsspanne oder die zeitliche Gedächtnisspanne. Die statistische Parameterinferenz erlaubt daher auch direkte Rückschlüsse auf die Ausprägung der Mechanismen. Zudem sind die hier behandelten Modelle auch generativ, sodass es möglich ist, Daten zu simulieren. Mithilfe von sogenannten Posterior Predictive Checks ist es möglich, das Modellverhalten direkt mit experimentell beobachtetem Verhalten zu vergleichen.
Im Rahmen dieser Arbeit wird der beschriebene Modellierungsansatz auf zwei Modelle menschlicher Blickbewegungen angewandt. Das erste Modell beschreibt dabei die Auswahl der Fixationsorte bei der Betrachtung von Szenen. Es modelliert explizit die Dynamik der Aufmerksamkeit und deren Auswirkungen auf die Blickbewegung. Das zweite Modell beschreibt die mikroskopischen fixationalen Driftbewegungen mithilfe eines Self-Avoiding Walks. Beide Modelle sind dynamische Modelle mit interpretierbaren Parametern und einer Likelihood Funktion. Somit kann für beide Modelle Bayes’sche Parameterinferenz auf Versuchspersonenebene ermöglicht werden.
In der ersten im Rahmen dieser Dissertation präsentierten Arbeit verwenden wir das SceneWalk Modell. Dieses besteht grundsätzlich aus einer Aktivations- und einer Inhibitionskomponente, die sich jeweils über die Zeit mittels einer Differenzialgleichung entwickeln. Die Summe beider Komponenten ergibt für jeden Punkt auf einem diskreten Gitter die Wahrscheinlichkeit eine Sakkade zu diesem Punkt. Experimentelle Forschung zeigt, dass die visuelle Aufmerksamkeit kurz vor einer Sakkade bereits auf den nächsten Fixationsort verlagert wird. Des Weiteren gibt es nach der Sakkade Evidenz für eine Verschiebung der Aufmerksamkeit in die Richtung der Sakkade, aber über den intendierten Fixationsort hinaus. Hier erweitern wir das SceneWalk Modell, indem wir Aufmerksamkeitsprozesse rund um den Zeitpunkt der Sakkade implementieren. Diese Aufmerksamkeitsprozesse erwirken bei den Modiellierungergebnissen eine verbesserte Passung zwischen Daten und Modell und bieten einen Erklärungsansatz für die charakteristischen Winkelverteilungen von aufeinanderfolgenden Sakkaden. In dieser Arbeit zeigen wir außerdem, dass es möglich ist, mittels Bayes’scher Inferenz, separate und aussagekräftige Parameter für einzelne Individuen zu schätzen.
In der zweiten Arbeit wenden wir dasselbe Modell, SceneWalk, und die Bayes’sche Inferenz nicht nur auf die Modellierung von verschiedenen Individuen, sondern auch verschiedenen Aufgaben an. Wir zeigen hier Evidenz für systematische Unterschiede in den dynamischen Aufmerksamkeitsparametern, die durch das Modell erfasst werden können. Überdies erweitern wir das SceneWalk Modell in dieser Arbeit um eine zeitliche Komponente (Spatiotemporal Likelihood), sodass jetzt auch die Fixationsdauer im Rahmen des Modells miterfasst wird. Mithilfe dieser Erweiterung finden wir Evidenz für eine Kopplung von Fixationsdauer und Salienz.
Die dritte Arbeit beschäftigt sich mit einem Modell für fixationale Driftbewegungen. Das SAW-Modell verwendet einen statistischen Self-Avoiding Random Walk, d.h. eine quasi-zufällige Bewegung auf einem diskreten Gitter, die statistisch ihre eigene Trajektorie vermeidet. Das Gedächtnis der eigenen Trajektorie ist durch einen Parameter definiert. Diese Bewegung wird durch ein Potential daran gehindert, sich zu weit von ihrem Ausgangspunkt zu entfernen. Wir verwenden die selbe Methode der Bayes’schen Parameterinferenz und schätzen so Parameter für Individuen. Des Weiteren stellen wir eine explorative Analyse vor, die einen Zusammenhang zwischen der latenten Aktivierung des Models und Mikrosakkaden findet.
In dieser Dissertation wird ein dynamischer Ansatz zur Modellierung von Kognition untersucht, wobei der Schwerpunkt auf Blickbewegungen und visueller Wahrnehmung liegt. Die Arbeit basiert auf der Beobachtung, dass Wahrnehmung und Handlung voneinander abhängig sind und sich im Laufe der Zeit dynamisch entfalten und, dass biologische und neurophysiologische Erkenntnisse die Randbedingungen für verhaltensbezogene Erklärungen liefern sollten. Beide vorgestellten Modelle erfassen zentrale Aspekte des Blickverhaltens sowie individuelle Unterschiede. Die Modelle erlauben eine Untersuchung der zeitlichen Dynamik ihrer jeweiligen Prozesse und können zur Simulation verschiedener Bedingungen und Aufgaben verwendet werden, um deren Auswirkungen auf das Verhalten zu analysieren. Der vorgestellte Modellierungsansatz beinhaltet die Verwendung von dynamischen und mechanistischen Modellen, statistische Inferenz von Parametern, Vergleich von statistischen Eigenschaften simulierter und experimenteller Daten und ermöglicht auch objektive Modellvergleiche. Der dynamische Ansatz zur Modellierung von Kognition ist eine plausible und adäquate Methode um die Interdependenz von Wahrnehmung und Handlung zu beschreiben. Sie bietet die Möglichkeit, Verhalten unter Verwendung theoriebasierter und experimentell fundierter Mechanismen zu erzeugen. Die hier vorgestellten Modelle zeigen das Potenzial dieses Ansatzes und können als Grundlage für weitere Forschungen auf dem Gebiet der kognitiven Modellierung dienen.
KW - eye movement
KW - mathematical modeling
KW - dynamical models
KW - data assimilation
KW - scan paths
KW - attention
KW - Aufmerksamkeit
KW - Datenassimilation
KW - dynamische Modelle
KW - Blickbewegungen
KW - mathematische Modellierung
KW - Blickpfade
Y1 - 2023
U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-598280
ER -
TY - JOUR
A1 - Schwetlick, Lisa
A1 - Rothkegel, Lars Oliver Martin
A1 - Trukenbrod, Hans Arne
A1 - Engbert, Ralf
T1 - Modeling the effects of perisaccadic attention on gaze statistics during scene viewing
JF - Communications biology
N2 - Lisa Schwetlick et al. present a computational model linking visual scan path generation in scene viewing to physiological and experimental work on perisaccadic covert attention, the act of attending to an object visually without obviously moving the eyes toward it. They find that integrating covert attention into predictive models of visual scan paths greatly improves the model's agreement with experimental data.
How we perceive a visual scene depends critically on the selection of gaze positions. For this selection process, visual attention is known to play a key role in two ways. First, image-features attract visual attention, a fact that is captured well by time-independent fixation models. Second, millisecond-level attentional dynamics around the time of saccade drives our gaze from one position to the next. These two related research areas on attention are typically perceived as separate, both theoretically and experimentally. Here we link the two research areas by demonstrating that perisaccadic attentional dynamics improve predictions on scan path statistics. In a mathematical model, we integrated perisaccadic covert attention with dynamic scan path generation. Our model reproduces saccade amplitude distributions, angular statistics, intersaccadic turning angles, and their impact on fixation durations as well as inter-individual differences using Bayesian inference. Therefore, our result lend support to the relevance of perisaccadic attention to gaze statistics.
KW - Computational models
KW - Human behaviour
KW - Visual system
Y1 - 2020
U6 - https://doi.org/10.1038/s42003-020-01429-8
SN - 2399-3642
VL - 3
IS - 1
PB - Springer Nature
CY - London
ER -
TY - GEN
A1 - Schwetlick, Lisa
A1 - Trukenbrod, Hans Arne
A1 - Engbert, Ralf
T1 - The Influence of Visual Long Term Memory on Eye Movements During Scene Viewing
T2 - Perception
Y1 - 2019
SN - 0301-0066
SN - 1468-4233
VL - 48
IS - S1
SP - 138
EP - 138
PB - Sage Publ.
CY - London
ER -
TY - JOUR
A1 - Engbert, Ralf
A1 - Rabe, Maximilian Michael
A1 - Schwetlick, Lisa
A1 - Seelig, Stefan A.
A1 - Reich, Sebastian
A1 - Vasishth, Shravan
T1 - Data assimilation in dynamical cognitive science
JF - Trends in cognitive sciences
N2 - Dynamical models make specific assumptions about cognitive processes that generate human behavior. In data assimilation, these models are tested against timeordered data. Recent progress on Bayesian data assimilation demonstrates that this approach combines the strengths of statistical modeling of individual differences with the those of dynamical cognitive models.
Y1 - 2022
U6 - https://doi.org/10.1016/j.tics.2021.11.006
SN - 1364-6613
SN - 1879-307X
VL - 26
IS - 2
SP - 99
EP - 102
PB - Elsevier
CY - Amsterdam
ER -
TY - JOUR
A1 - Malem-Shinitski, Noa
A1 - Opper, Manfred
A1 - Reich, Sebastian
A1 - Schwetlick, Lisa
A1 - Seelig, Stefan A.
A1 - Engbert, Ralf
T1 - A mathematical model of local and global attention in natural scene viewing
JF - PLoS Computational Biology : a new community journal
N2 - Author summary
Switching between local and global attention is a general strategy in human information processing. We investigate whether this strategy is a viable approach to model sequences of fixations generated by a human observer in a free viewing task with natural scenes. Variants of the basic model are used to predict the experimental data based on Bayesian inference. Results indicate a high predictive power for both aggregated data and individual differences across observers. The combination of a novel model with state-of-the-art Bayesian methods lends support to our two-state model using local and global internal attention states for controlling eye movements.
Understanding the decision process underlying gaze control is an important question in cognitive neuroscience with applications in diverse fields ranging from psychology to computer vision. The decision for choosing an upcoming saccade target can be framed as a selection process between two states: Should the observer further inspect the information near the current gaze position (local attention) or continue with exploration of other patches of the given scene (global attention)? Here we propose and investigate a mathematical model motivated by switching between these two attentional states during scene viewing. The model is derived from a minimal set of assumptions that generates realistic eye movement behavior. We implemented a Bayesian approach for model parameter inference based on the model's likelihood function. In order to simplify the inference, we applied data augmentation methods that allowed the use of conjugate priors and the construction of an efficient Gibbs sampler. This approach turned out to be numerically efficient and permitted fitting interindividual differences in saccade statistics. Thus, the main contribution of our modeling approach is two-fold; first, we propose a new model for saccade generation in scene viewing. Second, we demonstrate the use of novel methods from Bayesian inference in the field of scan path modeling.
Y1 - 2020
U6 - https://doi.org/10.1371/journal.pcbi.1007880
SN - 1553-734X
SN - 1553-7358
VL - 16
IS - 12
PB - PLoS
CY - San Fransisco
ER -
TY - JOUR
A1 - Schwetlick, Lisa
A1 - Backhaus, Daniel
A1 - Engbert, Ralf
T1 - A dynamical scan-path model for task-dependence during scene viewing
JF - Psychological review
N2 - In real-world scene perception, human observers generate sequences of fixations to move image patches into the high-acuity center of the visual field. Models of visual attention developed over the last 25 years aim to predict two-dimensional probabilities of gaze positions for a given image via saliency maps. Recently, progress has been made on models for the generation of scan paths under the constraints of saliency as well as attentional and oculomotor restrictions. Experimental research demonstrated that task constraints can have a strong impact on viewing behavior. Here, we propose a scan-path model for both fixation positions and fixation durations, which include influences of task instructions and interindividual differences. Based on an eye-movement experiment with four different task conditions, we estimated model parameters for each individual observer and task condition using a fully Bayesian dynamical modeling framework using a joint spatial-temporal likelihood approach with sequential estimation. Resulting parameter values demonstrate that model properties such as the attentional span are adjusted to task requirements. Posterior predictive checks indicate that our dynamical model can reproduce task differences in scan-path statistics across individual observers.
KW - scene viewing
KW - eye movements
KW - task dependence
KW - individual differences;
KW - Bayesian inference
Y1 - 2023
U6 - https://doi.org/10.1037/rev0000379
SN - 0033-295X
SN - 1939-1471
VL - 130
IS - 3
SP - 807
EP - 840
PB - American Psychological Association
CY - Washington
ER -