TY - THES A1 - Schwetlick, Lisa T1 - Data assimilation for neurocognitive models of eye movement T1 - Datenassimilation für Neurokognitive Modelle in der Blickbewegungsforschung N2 - Visual perception is a complex and dynamic process that plays a crucial role in how we perceive and interact with the world. The eyes move in a sequence of saccades and fixations, actively modulating perception by moving different parts of the visual world into focus. Eye movement behavior can therefore offer rich insights into the underlying cognitive mechanisms and decision processes. Computational models in combination with a rigorous statistical framework are critical for advancing our understanding in this field, facilitating the testing of theory-driven predictions and accounting for observed data. In this thesis, I investigate eye movement behavior through the development of two mechanistic, generative, and theory-driven models. The first model is based on experimental research regarding the distribution of attention, particularly around the time of a saccade, and explains statistical characteristics of scan paths. The second model implements a self-avoiding random walk within a confining potential to represent the microscopic fixational drift, which is present even while the eye is at rest, and investigates the relationship to microsaccades. Both models are implemented in a likelihood-based framework, which supports the use of data assimilation methods to perform Bayesian parameter inference at the level of individual participants, analyses of the marginal posteriors of the interpretable parameters, model comparisons, and posterior predictive checks. The application of these methods enables a thorough investigation of individual variability in the space of parameters. Results show that dynamical modeling and the data assimilation framework are highly suitable for eye movement research and, more generally, for cognitive modeling. N2 - Die visuelle Wahrnehmung ist einer der komplexesten Sinne, die dem Menschen zur Verfügung stehen. Jede Sekunde werden 108 - 109 bits Information von Lichtrezeptoren in den Augen aufgenommen und verarbeitet. Dieser Verarbeitung liegen komplexe und dynamische Prozesse zugrunde, die diese große Menge an Informationen in ein kohärentes Perzept verwandeln. Da nur ein kleiner Bereich, die Fovea, hohe Auflösung aufnehmen kann, bildet die Anordnung der Lichtrezeptoren in der Retina den ersten Filtermechanismus dieses Systems. Um trotzdem das gesamte visuelle Feld scharf sehen zu können, bewegen sich die Augen nach und nach über die verschiedenen Elemente der visuellen Welt. Dabei werden interessante oder relevante Inhalte in den Fokus gerückt. Die Bewegung erfolgt in einer Reihe von schnellen Bewegungen (Sakkaden) und relativen Ruheperioden (Fixationen). Während der Fixationen ist das Auge allerdings nicht still, stattdessen sorgen mikroskopische Bewegungen, ein langsamer Drift und schnelle Mikrosakkaden, für eine konstante Bewegung des Auges. Die Auswahl der Fixationsorte sowie die Bewegung an sich bieten Hinweise auf die Verarbeitungsprozesse, die der visuellen Wahrnehmung zugrunde liegen. Wahrnehmung und Handlung sind besonders im Falle der Blickbewegung eng verknüpft und voneinander abhängig: die Bewegung beeinflusst, welche visuelle Information auf die Rezeptoren trifft und die Wahrnehmung ist entscheidend für die Auswahl der Bewegung. In meiner Dissertation entwickele ich einen dynamischen Ansatz zur Modellierung von kognitiven Prozessen, der die Entfaltung von Wahrnehmung und Handlung über die Zeit in den Vordergrund stellt. Darüber hinaus sind die angewendeten Modelle mechanistisch, d.h. sie stützen sich auf biologisch plausible Mechanismen zur Erzeugung von Verhalten. Ein mechanistischer, dynamischer Modellierungsansatz birgt einige entscheidende Vorteile für den wissenschaftlichen Erkenntnisgewinn. Ergebnisse aus der Literatur und der experimentellen Forschung dienen als Grundlage, um Verhalten zu erklären. Zeigt das Modell auf Basis dieser Mechanismen tatsächlich das erwartete Verhalten, so ist dies ein starkes Indiz für die aufgestellten Hypothesen für dessen Ursache. Des Weiteren entsteht komplexes Verhalten zumeist nicht monokausal, sondern aus einer Zusammenkunft an Ursachen oder als emergente Eigenschaft. Die Modellieung erlaubt es uns, solche komplexen Prozesse durch Variationen und Veränderungen des Modells im Detail besser zu verstehen. Der methodische Rahmen des Modellierungsansatzes stützt sich auf die umfangreiche Literatur zur dynamischen Modellierung und die Bayes’sche Likelihood-basierte Parameterinferenz. Modelle werden mithilfe dieser statistischen Methoden optimiert, sodass die statistisch bestmögliche Passung von Modell und Daten erreicht wird. Möglich gemacht wird diese Optimierung durch die Likelihood Funktion des Modells, d.h. es wird die Wahrscheinlichkeit der Daten gegeben des Modells errechnet. Zudem werden durch das Variieren der Parameter oder durch analytische Verfahren jene Parameter gewählt, welche die höchste Wahrscheinlichkeit ergeben. Darüberhinaus kann mit Hilfe eines Bays’schen Ansatzes auch eine Approximation der Wahrscheinlichkeitsverteilung (Marginal Posterior) pro Parameter errechnet werden. Wenn durch das Modell eine Likelihood Funktion definiert wird, existiert eine gute statistische Grundlage, die starke Inferenzen erlaubt. Wenn eine solche Likelihood Funktion für ein gegebenes Modell nicht formuliert werden kann, muss die Parameterinferenz anhand von anderen Qualitätsmetriken erfolgen. Obwohl dies in der Vergangenheit in den Kognitionswissenschaften häufig der Standard war, bietet die Likelihood-basierte Modellierung doch klare Vorteile, so zum Beispiel die Unabhängigkeit von der Wahl der Metrik und eine starke statistische Basis. Modellparameter in einem mechanistischen Modell haben außerdem typischerweise eine eindeutige Bedeutung für die Mechanismen des Modells. Sie repräsentieren zum Beispiel die Größe der räumlichen Aufmerksamkeitsspanne oder die zeitliche Gedächtnisspanne. Die statistische Parameterinferenz erlaubt daher auch direkte Rückschlüsse auf die Ausprägung der Mechanismen. Zudem sind die hier behandelten Modelle auch generativ, sodass es möglich ist, Daten zu simulieren. Mithilfe von sogenannten Posterior Predictive Checks ist es möglich, das Modellverhalten direkt mit experimentell beobachtetem Verhalten zu vergleichen. Im Rahmen dieser Arbeit wird der beschriebene Modellierungsansatz auf zwei Modelle menschlicher Blickbewegungen angewandt. Das erste Modell beschreibt dabei die Auswahl der Fixationsorte bei der Betrachtung von Szenen. Es modelliert explizit die Dynamik der Aufmerksamkeit und deren Auswirkungen auf die Blickbewegung. Das zweite Modell beschreibt die mikroskopischen fixationalen Driftbewegungen mithilfe eines Self-Avoiding Walks. Beide Modelle sind dynamische Modelle mit interpretierbaren Parametern und einer Likelihood Funktion. Somit kann für beide Modelle Bayes’sche Parameterinferenz auf Versuchspersonenebene ermöglicht werden. In der ersten im Rahmen dieser Dissertation präsentierten Arbeit verwenden wir das SceneWalk Modell. Dieses besteht grundsätzlich aus einer Aktivations- und einer Inhibitionskomponente, die sich jeweils über die Zeit mittels einer Differenzialgleichung entwickeln. Die Summe beider Komponenten ergibt für jeden Punkt auf einem diskreten Gitter die Wahrscheinlichkeit eine Sakkade zu diesem Punkt. Experimentelle Forschung zeigt, dass die visuelle Aufmerksamkeit kurz vor einer Sakkade bereits auf den nächsten Fixationsort verlagert wird. Des Weiteren gibt es nach der Sakkade Evidenz für eine Verschiebung der Aufmerksamkeit in die Richtung der Sakkade, aber über den intendierten Fixationsort hinaus. Hier erweitern wir das SceneWalk Modell, indem wir Aufmerksamkeitsprozesse rund um den Zeitpunkt der Sakkade implementieren. Diese Aufmerksamkeitsprozesse erwirken bei den Modiellierungergebnissen eine verbesserte Passung zwischen Daten und Modell und bieten einen Erklärungsansatz für die charakteristischen Winkelverteilungen von aufeinanderfolgenden Sakkaden. In dieser Arbeit zeigen wir außerdem, dass es möglich ist, mittels Bayes’scher Inferenz, separate und aussagekräftige Parameter für einzelne Individuen zu schätzen. In der zweiten Arbeit wenden wir dasselbe Modell, SceneWalk, und die Bayes’sche Inferenz nicht nur auf die Modellierung von verschiedenen Individuen, sondern auch verschiedenen Aufgaben an. Wir zeigen hier Evidenz für systematische Unterschiede in den dynamischen Aufmerksamkeitsparametern, die durch das Modell erfasst werden können. Überdies erweitern wir das SceneWalk Modell in dieser Arbeit um eine zeitliche Komponente (Spatiotemporal Likelihood), sodass jetzt auch die Fixationsdauer im Rahmen des Modells miterfasst wird. Mithilfe dieser Erweiterung finden wir Evidenz für eine Kopplung von Fixationsdauer und Salienz. Die dritte Arbeit beschäftigt sich mit einem Modell für fixationale Driftbewegungen. Das SAW-Modell verwendet einen statistischen Self-Avoiding Random Walk, d.h. eine quasi-zufällige Bewegung auf einem diskreten Gitter, die statistisch ihre eigene Trajektorie vermeidet. Das Gedächtnis der eigenen Trajektorie ist durch einen Parameter definiert. Diese Bewegung wird durch ein Potential daran gehindert, sich zu weit von ihrem Ausgangspunkt zu entfernen. Wir verwenden die selbe Methode der Bayes’schen Parameterinferenz und schätzen so Parameter für Individuen. Des Weiteren stellen wir eine explorative Analyse vor, die einen Zusammenhang zwischen der latenten Aktivierung des Models und Mikrosakkaden findet. In dieser Dissertation wird ein dynamischer Ansatz zur Modellierung von Kognition untersucht, wobei der Schwerpunkt auf Blickbewegungen und visueller Wahrnehmung liegt. Die Arbeit basiert auf der Beobachtung, dass Wahrnehmung und Handlung voneinander abhängig sind und sich im Laufe der Zeit dynamisch entfalten und, dass biologische und neurophysiologische Erkenntnisse die Randbedingungen für verhaltensbezogene Erklärungen liefern sollten. Beide vorgestellten Modelle erfassen zentrale Aspekte des Blickverhaltens sowie individuelle Unterschiede. Die Modelle erlauben eine Untersuchung der zeitlichen Dynamik ihrer jeweiligen Prozesse und können zur Simulation verschiedener Bedingungen und Aufgaben verwendet werden, um deren Auswirkungen auf das Verhalten zu analysieren. Der vorgestellte Modellierungsansatz beinhaltet die Verwendung von dynamischen und mechanistischen Modellen, statistische Inferenz von Parametern, Vergleich von statistischen Eigenschaften simulierter und experimenteller Daten und ermöglicht auch objektive Modellvergleiche. Der dynamische Ansatz zur Modellierung von Kognition ist eine plausible und adäquate Methode um die Interdependenz von Wahrnehmung und Handlung zu beschreiben. Sie bietet die Möglichkeit, Verhalten unter Verwendung theoriebasierter und experimentell fundierter Mechanismen zu erzeugen. Die hier vorgestellten Modelle zeigen das Potenzial dieses Ansatzes und können als Grundlage für weitere Forschungen auf dem Gebiet der kognitiven Modellierung dienen. KW - eye movement KW - mathematical modeling KW - dynamical models KW - data assimilation KW - scan paths KW - attention KW - Aufmerksamkeit KW - Datenassimilation KW - dynamische Modelle KW - Blickbewegungen KW - mathematische Modellierung KW - Blickpfade Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-598280 ER - TY - THES A1 - Chandra, Johan T1 - The role of the oculomotor control in eye movements during reading N2 - Most reading theories assume that readers aim at word centers for optimal information processing. During reading, saccade targeting turns out to be imprecise: Saccades’ initial landing positions often miss the word centers and have high variance, with an additional systematic error that is modulated by the distance from the launch site to the center of the target word. The performance of the oculomotor system, as reflected in the statistics of within-word landing positions, turns out to be very robust and mostly affected by the spatial information during reading. Hence, it is assumed that the saccade generation is highly automated. The main goal of this thesis is to explore the performance of the oculomotor system under various reading conditions where orthographic information and the reading direction were manipulated. Additionally, the challenges in understanding the eye movement data to represent the oculomotor process during reading are addressed. Two experimental studies and one simulation study were conducted for this thesis, which resulted in the following main findings: (i) Reading texts with orthographic manipulations leads to specific changes in the eye movement patterns, both in temporal and spatial measures. The findings indicate that the oculomotor control of eye movements during reading is dependent on reading conditions (Chapter 2 & 3). (ii) Saccades’ accuracy and precision can be simultaneously modulated under reversed reading condition, supporting the assumption that the random and systematic oculomotor errors are not independent. By assuming that readers increase the precision of sensory observation while maintaining the learned prior knowledge when reading direction was reversed, a process-oriented Bayesian model for saccade targeting can account for the simultaneous reduction of oculomotor errors (Chapter 2). (iii) Plausible parameter values serving as proxies for the intended within-word landing positions can be estimated by using the maximum a posteriori estimator from Bayesian inference. Using the mean value of all observations as proxies is insufficient for studies focusing on the launch-site effect because the method exhibits the strongest bias when estimating the size of the effect. Mislocated fixations remain a challenge for the currently known estimation methods, especially when the systematic oculomotor error is large (Chapter 4). The results reported in this thesis highlight the role of the oculomotor system, together with underlying cognitive processes, in eye movements during reading. The modulation of oculomotor control can be captured through a precise analysis of landing positions. N2 - Zahlreiche Theorien des Lesens gehen davon aus, dass Sakkaden beim Lesen auf die Wortmitte abzielen, um eine optimale Informationsverarbeitung zu erreichen. Die Lan- depositionen von Sakkaden verfehlen oft die Wortmitte und weisen eine hohe Varianz auf, mit einem zusätzlichen systematischen Fehler, der durch die Entfernung zwischen der Sakkadensstartposition und der Position der Wortmitte moduliert wird. Das Verhalten der Okulomotorik, wie es sich in der Statistik der Sakkadenlandepositionen widerspiegelt, erweist sich als sehr robust und wird hauptsächlich von räumlichen Informationen beeinflusst. Daher wird angenommen, dass der Sakkadengenerierungprozess automatisiert ist. Das Hauptziel dieser Dissertation ist es, das Verhalten des okulomotorischen Systems unter verschiedenen Lesebedingungen zu untersuchen. Hierzu wurden orthographische Informationen und die Leserichtung manipuliert. Blickbewegungsdaten repräsentieren den okulomotorischen Prozess beim Lesen. Die Herausforderungen beim Verständnis dieser Daten wurden thematisiert. Insgesamt wurden zwei experimentelle Studien und eine Simulationsstudie durchgeführt, die zu folgenden Hauptergebnissen führen: (i) Die Blickbewegungsmuster beim Lesen von Texten mit manipulierter Orthographie veränderten sich spezifisch zur jeweiligen Bedingung, sowohl in zeitlichen als auch räumlichen Kennwerten der Blickbewegungsdaten. Dies legt nahe, dass die okulomotorische Kontrolle beim Lesen an die Manipulation anpasst (Kapitel 2 & 3). (ii) Sowohl Genauigkeit, als auch Präzision von Sakkaden lassen sich durch die veränderte Leserichtung verbessern. Das Ergebnis zeigt, dass systematische und zufällige Fehler des okulomotorischen Systems nicht unabhängig sind. Das Bayes’sche Model zur Sakkadenplanung kann die empirischen Ergebnisse approximieren und zeitgleich die verbesserte Sakkadenausrichtung erklären. In der Rechts-nach-Links Lesebedingung verbessert sich die Präzision von sensorischen Informationen, während das a priori erlernte Vorwissen unverändert bleibt (Kapitel 2). (iii) Plausible Parameterwerte, die als Annäherung für intendierte Landepositionen dienen, können durch Verwendung des maximalen a posteriori Schätzers aus der Bayes’schen Inferenz geschätzt werden. Die einfache Mittelwertsmethode weist die stärksten Verzerrung bei der Schätzung der Effektstärke des Launch-Site-Effekts auf. Daher ist sie nicht ausreichend um den Effekt zu beschreiben. Falsch verorterte Fixationen bleiben eine Herausforderung für die derzeit bekannten Schätzmethoden, insbesondere wenn der systematische okulomotorische Fehler groß ist (Kapitel 4). Die in dieser Arbeit berichteten Ergebnisse unterstreichen die Rolle des okulomotorischen Systems, zusammen mit den zugrundeliegenden kognitiven Prozessen, bei der Blicksteuerung beim Lesen. Die Modulation der okulomotorischen Steuerung kann durch die genauen Analysen der Sakkadenlandepositionen erfasst werden. T2 - Die Rolle der Okulomotorik in Blickbewegungen beim Lesen KW - Oculomotor control KW - Eye movements KW - Reading KW - Blickbewegungen KW - Okulomotorik KW - Lesen Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-475930 ER - TY - THES A1 - Seelig, Stefan T1 - Parafoveal processing of lexical information during reading T1 - Parafoveale Verarbeitung lexikalischer Informationen beim Lesen BT - from experiments to computational modeling BT - von Experimenten zu computationaler Modellierung N2 - During sentence reading the eyes quickly jump from word to word to sample visual information with the high acuity of the fovea. Lexical properties of the currently fixated word are known to affect the duration of the fixation, reflecting an interaction of word processing with oculomotor planning. While low level properties of words in the parafovea can likewise affect the current fixation duration, results concerning the influence of lexical properties have been ambiguous (Drieghe, Rayner, & Pollatsek, 2008; Kliegl, Nuthmann, & Engbert, 2006). Experimental investigations of such lexical parafoveal-on-foveal effects using the boundary paradigm have instead shown, that lexical properties of parafoveal previews affect fixation durations on the upcoming target words (Risse & Kliegl, 2014). However, the results were potentially confounded with effects of preview validity. The notion of parafoveal processing of lexical information challenges extant models of eye movements during reading. Models containing serial word processing assumptions have trouble explaining such effects, as they usually couple successful word processing to saccade planning, resulting in skipping of the parafoveal word. Although models with parallel word processing are less restricted, in the SWIFT model (Engbert, Longtin, & Kliegl, 2002) only processing of the foveal word can directly influence the saccade latency. Here we combine the results of a boundary experiment (Chapter 2) with a predictive modeling approach using the SWIFT model, where we explore mechanisms of parafoveal inhibition in a simulation study (Chapter 4). We construct a likelihood function for the SWIFT model (Chapter 3) and utilize the experimental data in a Bayesian approach to parameter estimation (Chapter 3 & 4). The experimental results show a substantial effect of parafoveal preview frequency on fixation durations on the target word, which can be clearly distinguished from the effect of preview validity. Using the eye movement data from the participants, we demonstrate the feasibility of the Bayesian approach even for a small set of estimated parameters, by comparing summary statistics of experimental and simulated data. Finally, we can show that the SWIFT model can account for the lexical preview effects, when a mechanism for parafoveal inhibition is added. The effects of preview validity were modeled best, when processing dependent saccade cancellation was added for invalid trials. In the simulation study only the control condition of the experiment was used for parameter estimation, allowing for cross validation. Simultaneously the number of free parameters was increased. High correlations of summary statistics demonstrate the capabilities of the parameter estimation approach. Taken together, the results advocate for a better integration of experimental data into computational modeling via parameter estimation. N2 - Während des Lesens springt der Blick von Wort zu Wort, um visuelle Informationen mithilfe der hohen Auflösung der Fovea aufzunehmen. Lexikalische Eigenschaften eines zurzeit fixierten Wortes wirken sich dabei auf die Fixationsdauer aus, was eine Interaktion von Wortverarbeitung mit okulomotorischer Bewegungsplanung impliziert. Während Low-Level-Eigenschaften eines parafovealen Wortes ebenfalls die Fixationsdauer beeinflussen können, sind Ergebnisse zu Einflüssen lexikalischer Eigenschaften parafoveler Worte uneindeutig (Drieghe et al., 2008; Kliegl et al., 2006). Experimentelle Untersuchungen solcher parafoveal-on-foveal-Effekte mittels des Boundary-Paradigmas zeigten stattdessen, dass sich lexikalische Eigenschaften parafovealer Worte auf Fixationsdauern auf den Target-Wörtern auswirken (Risse & Kliegl, 2014). Diese Ergebnisse waren jedoch möglicherweise mit den Effekten der Preview-Validität konfundiert. Die Möglichkeit parafovealer Verarbeitung lexikalischer Informationen stellt bestehende Modelle für Blickbewegungen beim Lesen vor Probleme. Modelle, die auf seriellen Wortverarbeitungsannahmen fußen, können derlei Effekte nicht schlüssig erklären, da in ihnen erfolgreiche Wortverarbeitung oft starr an Bewegungsplanung gekoppelt ist, was ein Überspringen des parafovealen Wortes zur Folge hätte. Obwohl Modelle mit paralleler Wortverarbeitung weniger eingeschränkt sind, kann im SWIFT-Modell (Engbert et al., 2002) nur die Verarbeitung fovealer Worte die Sakkadenplanung direkt hemmen. Wir verbinden in dieser Arbeit die Ergebnisse eines Boundary-Experiments (Kapitel 2) mit einem prädiktiven Modellierungsansatz mit dem SWIFT-Modell, in dem wir Mechanismen parafovealer Hemmung in einer Simulationsstudie erkunden (Kapitel 4). Wir konstruieren eine Likelihood-Funktion für das SWIFT-Modell und nutzen die Experimentaldaten in einem Bayesianischen Ansatz zur Parameterschätzung (Kapitel 3 & 4). In den Ergebnissen des Experiments zeigt sich ein substanzieller Frequenzeffekt des Previews auf die Fixationsdauer auf dem Target-Wort, der klar vom Effekt der Preview-Validität unterschieden werden kann. Mittels der Blickbewegungsdaten der Probanden demonstrieren wir die Praktikabilität des gewählten Ansatzes selbst mit nur wenigen freien Parametern, indem wir Statistiken der Probanden mit jenen aus Simulationen auf der Basis geschätzter Parameter vergleichen. Schließlich können wir zeigen, dass SWIFT die lexikalischen Preview-Effekte erzeugen kann, wenn das Modell zusätzlich mit einem Mechanismus parafovealer Inhibition ausgestattet wird. Die Effekte der Preview-Validität wurden hingegen am besten modelliert, wenn eine Möglichkeit zum Abbruch der Sakkadenplanung in Abhängigkeit von der Wortverarbeitung hinzugefügt wurde. In dieser Simulationsstudie wurden lediglich Daten der Kontrollbedingung des Experiments zur Parameterschätzung genutzt, wodurch eine Kreuzvalidierung der Güte der Simulationsdaten ermöglicht wurde. Gleichzeitig wurde die Zahl der freien Parameter erhöht. Hohe Korrelationen der Statistiken verdeutlichen das Potential des Parameterschätzungsansatzes. Zusammengenommen sprechen die Ergebnisse dafür, dass Experimentaldaten mehr zur computationalen Modellierung herangezogen werden sollten, indem Möglichkeiten der Parameterschätzung ausgenutzt werden. KW - reading KW - parafoveal processing KW - predictive modeling KW - boundary paradigm KW - eye tracking KW - MCMC KW - parameter estimation KW - computational modeling KW - interindividual differences KW - lexical processing KW - MCMC KW - computationale Modellierung KW - Eye-Tracking KW - Interindividuelle Unterschiede KW - Lexikalische Verarbeitung KW - Parafoveale Verarbeitung KW - Parameterschätzung KW - Lesen KW - Boundary-Paradigma Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-508743 ER - TY - THES A1 - Blum, Franziska T1 - I see you smile, you must be happy! Social-emotional gains and usability evaluation of the new training tool E.V.A.: A pilot study N2 - Emotions are a complex concept and they are present in our everyday life. Persons on the autism spectrum are said to have difficulties in social interactions, showing deficits in emotion recognition in comparison to neurotypically developed persons. But social-emotional skills are believed to be positively augmented by training. A new adaptive social cognition training tool “E.V.A.” is introduced which teaches emotion recognition from face, voice and body language. One cross-sectional and one longitudinal study with adult neurotypical and autistic participants were conducted. The aim of the cross-sectional study was to characterize the two groups and see if differences in their social-emotional skills exist. The longitudinal study, on the other hand, aimed for detecting possible training effects following training with the new training tool. In addition, in both studies usability assessments were conducted to investigate the perceived usability of the new tool for neurotypical as well as autistic participants. Differences were found between autistic and neurotypical participants in their social-emotional and emotion recognition abilities. Training effects for neurotypical participants in an emotion recognition task were found after two weeks of home training. Similar perceived usability was found for the neurotypical and autistic participants. The current findings suggest that persons with ASC do not have a general deficit in emotion recognition, but are in need for more time to correctly recognize emotions. In addition, findings suggest that training emotion recognition abilities is possible. Further studies are needed to verify if the training effects found for neurotypical participants also manifest in a larger ASC sample. N2 - Emotionen sind ein komplexes Konzept und sie sind Teil unseres alltäglichen Lebens. Personen mit einer Autismus-Spektrum-Störung wird nachgesagt, dass sie Schwierigkeiten mit sozialen Interaktionen und Defizite in der Erkennung von Emotionen haben, im Vergleich zu neurotypischen Menschen. Allerdings glaubt man, dass sich sozio-emotionale Fähigkeiten mittels Training positiv beeinflussen lassen. Ein neues adaptives Trainingstool ”E.V.A.“ wird vorgestellt, welches Emotionserkennung von Gesicht, Stimme und Körpersprache lehrt. Eine Querschnitts- und eine Längsschnittstudie mit erwachsenen neurotypischen und autistischen Teilnehmern wurden durchgeführt. Das Ziel der Querschnittsstudie war die Charakterisierung der zwei Stichproben, sowie die Aufdeckung von möglichen Unterschieden in deren sozio-emotionalen Fähigkeiten. Die Längsschnittstudie, zum anderen, zielte auf die Entdeckung von möglichen Trainingseffekten ab, die auf das Training mit dem neuen Tool folgen. Zusätzlich wurde in beiden Studien die wahrgenommene Benutzerfreundlichkeit von neurotypischen und autistischen Teilnehmern erfasst und untersucht. Zwischen den neurotypischen und autistischen Teilnehmern wurden Unterschiede in deren sozio-emotionalen Fähigkeiten sowie deren Fähigkeit Emotionen zu erkennen gefunden. Neurotypische Teilnehmer zeigten Trainingseffekte nach einer zwei-wöchigen Nutzung des Trainingstools zu Hause. Die Benutzerfreundlichkeit wurde von den neurotypischen und den autistischen Teilnehmern ähnlich empfunden. Die vorliegenden Ergebnisse deuten darauf hin, dass Autisten kein generelles Defizit in der Erkennung von Emotionen haben, sie aber mehr Zeit dafür benötigen. Zusätzlich weisen die Ergebnisse auf die Möglichkeit des Trainings der Fähigkeit Emotionen zu erkennen hin. Weiterführende Studien sind notwendig um zu verifizieren ob sich die Trainingseffekte auch in einer größeren Stichprobe von Autisten zeigen. KW - autism KW - emotion recognition KW - social cognition training KW - Autismus KW - Emotionserkennung KW - Training Sozialer Kognition Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-505509 ER - TY - THES A1 - Galetzka, Cedric T1 - Reward and prediction errors in Bayesian sensorimotor control N2 - Midbrain dopamine neurons invigorate responses by signaling opportunity costs (tonic dopamine) and promote associative learning by encoding a reward prediction error signal (phasic dopamine). Recent studies on Bayesian sensorimotor control have implicated midbrain dopamine concentration in the integration of prior knowledge and current sensory information. The present behavioral study addressed the contributions of tonic and phasic dopamine in a Bayesian decision-making task by alternating reward magnitude and inferring reward prediction errors. Twenty-four participants were asked to indicate the position of a hidden target stimulus under varying prior and likelihood uncertainty. Trial-by-trial rewards were allocated based on performance and two different reward maxima. Overall, participants’ behavior agreed with Bayesian decision theory, but indicated excessive reliance on likelihood information. These results thus oppose accounts of statistically optimal integration in sensorimotor control, and suggest that the sensorimotor system is subject to additional decision heuristics. Moreover, higher reward magnitude was not observed to induce enhanced response vigor, and was associated with less Bayes-like integration. In addition, the weighting of prior knowledge and current sensory information proceeded independently of reward prediction errors. Taken together, these findings suggest that the process of combining prior and likelihood uncertainties in sensorimotor control is largely robust to variations in reward. N2 - Inwieweit prägen Belohnungen die Integration von vorherigem Wissen und sensorischen Informationen im Kontext der Bayesianischen Entscheidungstheorie? Untersuchungen mit Parkinson-Patienten haben gezeigt, dass die Dopamin-Verfügbarkeit in den Basalganglien Integrationsprozesse in der Sensomotorik beeinflussen. Dopaminerge Neuronen schütten Dopamin tonisch und phasisch aus, wobei diese Modi verschiedenen Funktionen unterliegen, wie dem Signalisieren von Opportunitätskosten oder der Unterstützung assoziativen Lernens. Die Konzentration tonisch freigesetzten Dopamins richtet sich nach Belohnungsgrößen, wogegen phasische Dopamin-Komponenten durch Fehler in der Belohnungserwartung hervorgerufen werden. Die Bedeutung dieser Variablen in sensomotorischem Lernen ist jedoch größtenteils unerforscht. In der vorliegenden Verhaltensstudie wurden vierundzwanzig gesunde Teilnehmer gebeten, eine sensomotorische Schätzaufgabe durchzuführen, in der Belohnungsgrößen manipuliert und Belohnungserwartungsfehler abgeleitet wurden. Es wurde vermutet, dass positive Abweichungen in der Belohnungsvorhersage zu erhöhter Gewichtung von sensorischen Informationen durch den Influx phasischen Dopamins führen. Höhere Belohnungsgrößen sollten dagegen aufgrund vermehrter Opportunitätskosten mit beschleunigten Reaktionen verbunden sein. Das Verhalten der Teilnehmer hat gezeigt, dass aktuelle und a priori Informationen größtenteils unabhängig von Belohnungsgrößen und Belohungserwartungsfehlern integriert werden. Dieses Ergebnis deutet darauf hin, dass “Prior” und “Likelihood” unabhängig von belohnungsrelevanten Prozessen repräsentiert werden, welche in Zusammenhang mit der Dopamin-Konzentration in den Basalganglien stehen. Darüber hinaus entsprachen die Resultate lediglich qualitativ der Bayesianischen Entscheidungstheorie und widersprechen somit früheren Berichten von statistisch-optimaler Integration. Da sensorische Informationen über alle Bedingungen hinweg übermäßig hoch gewichtet wurden, legt diese Studie nahe, dass das sensomotorische System zusätzlichen systematischen Urteilsverzerrungen unterliegt. KW - Bayesian decision theory KW - reward prediction error KW - sensorimotor control KW - prior-likelihood integration KW - dopamine KW - Belohnungserwartungsfehler KW - Belohnungsgrößen KW - Bayesianische Entscheidungstheorie KW - sensomotorische Integration KW - Dopamin Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-503507 ER - TY - THES A1 - Rabe, Maximilian Michael T1 - Modeling the interaction of sentence processing and eye-movement control in reading T1 - Modellierung der Interaktion von Satzverarbeitung und Blickbewegungskontrolle beim Lesen N2 - The evaluation of process-oriented cognitive theories through time-ordered observations is crucial for the advancement of cognitive science. The findings presented herein integrate insights from research on eye-movement control and sentence comprehension during reading, addressing challenges in modeling time-ordered data, statistical inference, and interindividual variability. Using kernel density estimation and a pseudo-marginal likelihood for fixation durations and locations, a likelihood implementation of the SWIFT model of eye-movement control during reading (Engbert et al., Psychological Review, 112, 2005, pp. 777–813) is proposed. Within the broader framework of data assimilation, Bayesian parameter inference with adaptive Markov Chain Monte Carlo techniques is facilitated for reliable model fitting. Across the different studies, this framework has shown to enable reliable parameter recovery from simulated data and prediction of experimental summary statistics. Despite its complexity, SWIFT can be fitted within a principled Bayesian workflow, capturing interindividual differences and modeling experimental effects on reading across different geometrical alterations of text. Based on these advancements, the integrated dynamical model SEAM is proposed, which combines eye-movement control, a traditionally psychological research area, and post-lexical language processing in the form of cue-based memory retrieval (Lewis & Vasishth, Cognitive Science, 29, 2005, pp. 375–419), typically the purview of psycholinguistics. This proof-of-concept integration marks a significant step forward in natural language comprehension during reading and suggests that the presented methodology can be useful to develop complex cognitive dynamical models that integrate processes at levels of perception, higher cognition, and (oculo-)motor control. These findings collectively advance process-oriented cognitive modeling and highlight the importance of Bayesian inference, individual differences, and interdisciplinary integration for a holistic understanding of reading processes. Implications for theory and methodology, including proposals for model comparison and hierarchical parameter inference, are briefly discussed. N2 - Die Evaluierung prozessorientierter kognitiver Theorien durch zeitlich geordnete Beobachtungen ist ein zentraler Baustein für die Weiterentwicklung der Kognitionswissenschaft. Die hier präsentierten Ergebnisse integrieren Erkenntnisse aus der Forschung zur Blickbewegungskontrolle und zur Satzverarbeitung beim Lesen und gehen dabei auf Herausforderungen bei der Modellierung von zeitlich geordneten Daten, statistischer Inferenz und interindividueller Variabilität ein. Unter Verwendung von Kerndichteschätzung und einer pseudo-marginalen Wahrscheinlichkeitverteilung für Fixationsdauern und -orte wird eine Implementation für die Likelihood des SWIFT-Modells zur Blickbewegungskontrolle beim Lesen (Engbert et al., Psychological Review, 112, 2005, S. 777–813) eingeführt. Im breiteren Kontext der Datenassimilation wird Bayes'sche Parameterinferenz mit adaptiven Markov-Chain-Monte-Carlo-Techniken verwendet, um eine zuverlässige Modellanpassung zu ermöglichen. In verschiedenen Studien hat sich dieser methodische Rahmen als geeignet erwiesen, um zuverlässige Parameterrückgewinnung aus simulierten Daten und Vorhersage experimenteller Zusammenfassungsstatistiken zu ermöglichen. Trotz dessen Komplexität kann SWIFT innerhalb eines fundierten Bayes'schen Workflows angepasst werden und macht daraufhin zuverlässige Vorhersagen für interindividuelle Unterschiede sowie die Modellierung experimenteller Effekte bei verschiedenen geometrischen Änderungen von Text. Basierend auf diesen Fortschritten wird das integrierte dynamische Modell SEAM eingeführt. Dieses kombiniert die Forschungsgebiete der traditionell psychologisch geprägten Blickbewegungskontrolle und der traditionell psycholinguistisch geprägten postlexikalischen Sprachverarbeitung in Form von cue-basiertem Gedächtnisabruf (Lewis & Vasishth, Cognitive Science, 29, 2005, S. 375–419). Der Nachweis der Durchführbarkeit solcher integrativer Modelle stellt einen bedeutenden Fortschritt bei der natürlichen Sprachverarbeitung beim Lesen dar und legt nahe, dass die vorgestellte Methodik nützlich sein kann, um komplexe kognitive dynamische Modelle zu entwickeln, die Prozesse auf den Ebenen der Wahrnehmung, höheren Kognition, und (okulo-)motorischen Kontrolle integrieren. Diese Erkenntnisse fördern insgesamt die prozessorientierte kognitive Modellierung und betonen die Bedeutung der Bayes'schen Inferenz, individueller Unterschiede und interdisziplinärer Integration für ein ganzheitliches Verständnis von Leseprozessen. Implikationen für Theorie und Methodologie, einschließlich Vorschlägen für Modellvergleich und hierarchische Parameterinferenz, werden kurz diskutiert. KW - eye movements KW - dynamical cognitive modeling KW - sequential likelihood KW - psycholinguistics KW - cognitive psychology KW - sentence processing KW - reading KW - Blickbewegungen KW - Dynamische kognitive Modellierung KW - Sequenzielle Likelihood KW - Psycholinguistik KW - Kognitionspsychologie KW - Satzverarbeitung KW - Lesen Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-622792 ER -