Lisa Schwetlick

• Visual perception is a complex and dynamic process that plays a crucial role in how we perceive and interact with the world. The eyes move in a sequence of saccades and fixations, actively modulating perception by moving different parts of the visual world into focus. Eye movement behavior can therefore offer rich insights into the underlying cognitive mechanisms and decision processes. Computational models in combination with a rigorous statistical framework are critical for advancing our understanding in this field, facilitating the testing of theory-driven predictions and accounting for observed data. In this thesis, I investigate eye movement behavior through the development of two mechanistic, generative, and theory-driven models. The first model is based on experimental research regarding the distribution of attention, particularly around the time of a saccade, and explains statistical characteristics of scan paths. The second model implements a self-avoiding random walk within a confining potential to represent the microscopicVisual perception is a complex and dynamic process that plays a crucial role in how we perceive and interact with the world. The eyes move in a sequence of saccades and fixations, actively modulating perception by moving different parts of the visual world into focus. Eye movement behavior can therefore offer rich insights into the underlying cognitive mechanisms and decision processes. Computational models in combination with a rigorous statistical framework are critical for advancing our understanding in this field, facilitating the testing of theory-driven predictions and accounting for observed data. In this thesis, I investigate eye movement behavior through the development of two mechanistic, generative, and theory-driven models. The first model is based on experimental research regarding the distribution of attention, particularly around the time of a saccade, and explains statistical characteristics of scan paths. The second model implements a self-avoiding random walk within a confining potential to represent the microscopic fixational drift, which is present even while the eye is at rest, and investigates the relationship to microsaccades. Both models are implemented in a likelihood-based framework, which supports the use of data assimilation methods to perform Bayesian parameter inference at the level of individual participants, analyses of the marginal posteriors of the interpretable parameters, model comparisons, and posterior predictive checks. The application of these methods enables a thorough investigation of individual variability in the space of parameters. Results show that dynamical modeling and the data assimilation framework are highly suitable for eye movement research and, more generally, for cognitive modeling.…
• Die visuelle Wahrnehmung ist einer der komplexesten Sinne, die dem Menschen zur Verfügung stehen. Jede Sekunde werden 108 - 109 bits Information von Lichtrezeptoren in den Augen aufgenommen und verarbeitet. Dieser Verarbeitung liegen komplexe und dynamische Prozesse zugrunde, die diese große Menge an Informationen in ein kohärentes Perzept verwandeln. Da nur ein kleiner Bereich, die Fovea, hohe Auflösung aufnehmen kann, bildet die Anordnung der Lichtrezeptoren in der Retina den ersten Filtermechanismus dieses Systems. Um trotzdem das gesamte visuelle Feld scharf sehen zu können, bewegen sich die Augen nach und nach über die verschiedenen Elemente der visuellen Welt. Dabei werden interessante oder relevante Inhalte in den Fokus gerückt. Die Bewegung erfolgt in einer Reihe von schnellen Bewegungen (Sakkaden) und relativen Ruheperioden (Fixationen). Während der Fixationen ist das Auge allerdings nicht still, stattdessen sorgen mikroskopische Bewegungen, ein langsamer Drift und schnelle Mikrosakkaden, für eine konstante Bewegung desDie visuelle Wahrnehmung ist einer der komplexesten Sinne, die dem Menschen zur Verfügung stehen. Jede Sekunde werden 108 - 109 bits Information von Lichtrezeptoren in den Augen aufgenommen und verarbeitet. Dieser Verarbeitung liegen komplexe und dynamische Prozesse zugrunde, die diese große Menge an Informationen in ein kohärentes Perzept verwandeln. Da nur ein kleiner Bereich, die Fovea, hohe Auflösung aufnehmen kann, bildet die Anordnung der Lichtrezeptoren in der Retina den ersten Filtermechanismus dieses Systems. Um trotzdem das gesamte visuelle Feld scharf sehen zu können, bewegen sich die Augen nach und nach über die verschiedenen Elemente der visuellen Welt. Dabei werden interessante oder relevante Inhalte in den Fokus gerückt. Die Bewegung erfolgt in einer Reihe von schnellen Bewegungen (Sakkaden) und relativen Ruheperioden (Fixationen). Während der Fixationen ist das Auge allerdings nicht still, stattdessen sorgen mikroskopische Bewegungen, ein langsamer Drift und schnelle Mikrosakkaden, für eine konstante Bewegung des Auges. Die Auswahl der Fixationsorte sowie die Bewegung an sich bieten Hinweise auf die Verarbeitungsprozesse, die der visuellen Wahrnehmung zugrunde liegen. Wahrnehmung und Handlung sind besonders im Falle der Blickbewegung eng verknüpft und voneinander abhängig: die Bewegung beeinflusst, welche visuelle Information auf die Rezeptoren trifft und die Wahrnehmung ist entscheidend für die Auswahl der Bewegung. In meiner Dissertation entwickele ich einen dynamischen Ansatz zur Modellierung von kognitiven Prozessen, der die Entfaltung von Wahrnehmung und Handlung über die Zeit in den Vordergrund stellt. Darüber hinaus sind die angewendeten Modelle mechanistisch, d.h. sie stützen sich auf biologisch plausible Mechanismen zur Erzeugung von Verhalten. Ein mechanistischer, dynamischer Modellierungsansatz birgt einige entscheidende Vorteile für den wissenschaftlichen Erkenntnisgewinn. Ergebnisse aus der Literatur und der experimentellen Forschung dienen als Grundlage, um Verhalten zu erklären. Zeigt das Modell auf Basis dieser Mechanismen tatsächlich das erwartete Verhalten, so ist dies ein starkes Indiz für die aufgestellten Hypothesen für dessen Ursache. Des Weiteren entsteht komplexes Verhalten zumeist nicht monokausal, sondern aus einer Zusammenkunft an Ursachen oder als emergente Eigenschaft. Die Modellieung erlaubt es uns, solche komplexen Prozesse durch Variationen und Veränderungen des Modells im Detail besser zu verstehen. Der methodische Rahmen des Modellierungsansatzes stützt sich auf die umfangreiche Literatur zur dynamischen Modellierung und die Bayes’sche Likelihood-basierte Parameterinferenz. Modelle werden mithilfe dieser statistischen Methoden optimiert, sodass die statistisch bestmögliche Passung von Modell und Daten erreicht wird. Möglich gemacht wird diese Optimierung durch die Likelihood Funktion des Modells, d.h. es wird die Wahrscheinlichkeit der Daten gegeben des Modells errechnet. Zudem werden durch das Variieren der Parameter oder durch analytische Verfahren jene Parameter gewählt, welche die höchste Wahrscheinlichkeit ergeben. Darüberhinaus kann mit Hilfe eines Bays’schen Ansatzes auch eine Approximation der Wahrscheinlichkeitsverteilung (Marginal Posterior) pro Parameter errechnet werden. Wenn durch das Modell eine Likelihood Funktion definiert wird, existiert eine gute statistische Grundlage, die starke Inferenzen erlaubt. Wenn eine solche Likelihood Funktion für ein gegebenes Modell nicht formuliert werden kann, muss die Parameterinferenz anhand von anderen Qualitätsmetriken erfolgen. Obwohl dies in der Vergangenheit in den Kognitionswissenschaften häufig der Standard war, bietet die Likelihood-basierte Modellierung doch klare Vorteile, so zum Beispiel die Unabhängigkeit von der Wahl der Metrik und eine starke statistische Basis. Modellparameter in einem mechanistischen Modell haben außerdem typischerweise eine eindeutige Bedeutung für die Mechanismen des Modells. Sie repräsentieren zum Beispiel die Größe der räumlichen Aufmerksamkeitsspanne oder die zeitliche Gedächtnisspanne. Die statistische Parameterinferenz erlaubt daher auch direkte Rückschlüsse auf die Ausprägung der Mechanismen. Zudem sind die hier behandelten Modelle auch generativ, sodass es möglich ist, Daten zu simulieren. Mithilfe von sogenannten Posterior Predictive Checks ist es möglich, das Modellverhalten direkt mit experimentell beobachtetem Verhalten zu vergleichen. Im Rahmen dieser Arbeit wird der beschriebene Modellierungsansatz auf zwei Modelle menschlicher Blickbewegungen angewandt. Das erste Modell beschreibt dabei die Auswahl der Fixationsorte bei der Betrachtung von Szenen. Es modelliert explizit die Dynamik der Aufmerksamkeit und deren Auswirkungen auf die Blickbewegung. Das zweite Modell beschreibt die mikroskopischen fixationalen Driftbewegungen mithilfe eines Self-Avoiding Walks. Beide Modelle sind dynamische Modelle mit interpretierbaren Parametern und einer Likelihood Funktion. Somit kann für beide Modelle Bayes’sche Parameterinferenz auf Versuchspersonenebene ermöglicht werden. In der ersten im Rahmen dieser Dissertation präsentierten Arbeit verwenden wir das SceneWalk Modell. Dieses besteht grundsätzlich aus einer Aktivations- und einer Inhibitionskomponente, die sich jeweils über die Zeit mittels einer Differenzialgleichung entwickeln. Die Summe beider Komponenten ergibt für jeden Punkt auf einem diskreten Gitter die Wahrscheinlichkeit eine Sakkade zu diesem Punkt. Experimentelle Forschung zeigt, dass die visuelle Aufmerksamkeit kurz vor einer Sakkade bereits auf den nächsten Fixationsort verlagert wird. Des Weiteren gibt es nach der Sakkade Evidenz für eine Verschiebung der Aufmerksamkeit in die Richtung der Sakkade, aber über den intendierten Fixationsort hinaus. Hier erweitern wir das SceneWalk Modell, indem wir Aufmerksamkeitsprozesse rund um den Zeitpunkt der Sakkade implementieren. Diese Aufmerksamkeitsprozesse erwirken bei den Modiellierungergebnissen eine verbesserte Passung zwischen Daten und Modell und bieten einen Erklärungsansatz für die charakteristischen Winkelverteilungen von aufeinanderfolgenden Sakkaden. In dieser Arbeit zeigen wir außerdem, dass es möglich ist, mittels Bayes’scher Inferenz, separate und aussagekräftige Parameter für einzelne Individuen zu schätzen. In der zweiten Arbeit wenden wir dasselbe Modell, SceneWalk, und die Bayes’sche Inferenz nicht nur auf die Modellierung von verschiedenen Individuen, sondern auch verschiedenen Aufgaben an. Wir zeigen hier Evidenz für systematische Unterschiede in den dynamischen Aufmerksamkeitsparametern, die durch das Modell erfasst werden können. Überdies erweitern wir das SceneWalk Modell in dieser Arbeit um eine zeitliche Komponente (Spatiotemporal Likelihood), sodass jetzt auch die Fixationsdauer im Rahmen des Modells miterfasst wird. Mithilfe dieser Erweiterung finden wir Evidenz für eine Kopplung von Fixationsdauer und Salienz. Die dritte Arbeit beschäftigt sich mit einem Modell für fixationale Driftbewegungen. Das SAW-Modell verwendet einen statistischen Self-Avoiding Random Walk, d.h. eine quasi-zufällige Bewegung auf einem diskreten Gitter, die statistisch ihre eigene Trajektorie vermeidet. Das Gedächtnis der eigenen Trajektorie ist durch einen Parameter definiert. Diese Bewegung wird durch ein Potential daran gehindert, sich zu weit von ihrem Ausgangspunkt zu entfernen. Wir verwenden die selbe Methode der Bayes’schen Parameterinferenz und schätzen so Parameter für Individuen. Des Weiteren stellen wir eine explorative Analyse vor, die einen Zusammenhang zwischen der latenten Aktivierung des Models und Mikrosakkaden findet. In dieser Dissertation wird ein dynamischer Ansatz zur Modellierung von Kognition untersucht, wobei der Schwerpunkt auf Blickbewegungen und visueller Wahrnehmung liegt. Die Arbeit basiert auf der Beobachtung, dass Wahrnehmung und Handlung voneinander abhängig sind und sich im Laufe der Zeit dynamisch entfalten und, dass biologische und neurophysiologische Erkenntnisse die Randbedingungen für verhaltensbezogene Erklärungen liefern sollten. Beide vorgestellten Modelle erfassen zentrale Aspekte des Blickverhaltens sowie individuelle Unterschiede. Die Modelle erlauben eine Untersuchung der zeitlichen Dynamik ihrer jeweiligen Prozesse und können zur Simulation verschiedener Bedingungen und Aufgaben verwendet werden, um deren Auswirkungen auf das Verhalten zu analysieren. Der vorgestellte Modellierungsansatz beinhaltet die Verwendung von dynamischen und mechanistischen Modellen, statistische Inferenz von Parametern, Vergleich von statistischen Eigenschaften simulierter und experimenteller Daten und ermöglicht auch objektive Modellvergleiche. Der dynamische Ansatz zur Modellierung von Kognition ist eine plausible und adäquate Methode um die Interdependenz von Wahrnehmung und Handlung zu beschreiben. Sie bietet die Möglichkeit, Verhalten unter Verwendung theoriebasierter und experimentell fundierter Mechanismen zu erzeugen. Die hier vorgestellten Modelle zeigen das Potenzial dieses Ansatzes und können als Grundlage für weitere Forschungen auf dem Gebiet der kognitiven Modellierung dienen.…