TY - THES A1 - Rabe, Maximilian Michael T1 - Modeling the interaction of sentence processing and eye-movement control in reading T1 - Modellierung der Interaktion von Satzverarbeitung und Blickbewegungskontrolle beim Lesen N2 - The evaluation of process-oriented cognitive theories through time-ordered observations is crucial for the advancement of cognitive science. The findings presented herein integrate insights from research on eye-movement control and sentence comprehension during reading, addressing challenges in modeling time-ordered data, statistical inference, and interindividual variability. Using kernel density estimation and a pseudo-marginal likelihood for fixation durations and locations, a likelihood implementation of the SWIFT model of eye-movement control during reading (Engbert et al., Psychological Review, 112, 2005, pp. 777–813) is proposed. Within the broader framework of data assimilation, Bayesian parameter inference with adaptive Markov Chain Monte Carlo techniques is facilitated for reliable model fitting. Across the different studies, this framework has shown to enable reliable parameter recovery from simulated data and prediction of experimental summary statistics. Despite its complexity, SWIFT can be fitted within a principled Bayesian workflow, capturing interindividual differences and modeling experimental effects on reading across different geometrical alterations of text. Based on these advancements, the integrated dynamical model SEAM is proposed, which combines eye-movement control, a traditionally psychological research area, and post-lexical language processing in the form of cue-based memory retrieval (Lewis & Vasishth, Cognitive Science, 29, 2005, pp. 375–419), typically the purview of psycholinguistics. This proof-of-concept integration marks a significant step forward in natural language comprehension during reading and suggests that the presented methodology can be useful to develop complex cognitive dynamical models that integrate processes at levels of perception, higher cognition, and (oculo-)motor control. These findings collectively advance process-oriented cognitive modeling and highlight the importance of Bayesian inference, individual differences, and interdisciplinary integration for a holistic understanding of reading processes. Implications for theory and methodology, including proposals for model comparison and hierarchical parameter inference, are briefly discussed. N2 - Die Evaluierung prozessorientierter kognitiver Theorien durch zeitlich geordnete Beobachtungen ist ein zentraler Baustein für die Weiterentwicklung der Kognitionswissenschaft. Die hier präsentierten Ergebnisse integrieren Erkenntnisse aus der Forschung zur Blickbewegungskontrolle und zur Satzverarbeitung beim Lesen und gehen dabei auf Herausforderungen bei der Modellierung von zeitlich geordneten Daten, statistischer Inferenz und interindividueller Variabilität ein. Unter Verwendung von Kerndichteschätzung und einer pseudo-marginalen Wahrscheinlichkeitverteilung für Fixationsdauern und -orte wird eine Implementation für die Likelihood des SWIFT-Modells zur Blickbewegungskontrolle beim Lesen (Engbert et al., Psychological Review, 112, 2005, S. 777–813) eingeführt. Im breiteren Kontext der Datenassimilation wird Bayes'sche Parameterinferenz mit adaptiven Markov-Chain-Monte-Carlo-Techniken verwendet, um eine zuverlässige Modellanpassung zu ermöglichen. In verschiedenen Studien hat sich dieser methodische Rahmen als geeignet erwiesen, um zuverlässige Parameterrückgewinnung aus simulierten Daten und Vorhersage experimenteller Zusammenfassungsstatistiken zu ermöglichen. Trotz dessen Komplexität kann SWIFT innerhalb eines fundierten Bayes'schen Workflows angepasst werden und macht daraufhin zuverlässige Vorhersagen für interindividuelle Unterschiede sowie die Modellierung experimenteller Effekte bei verschiedenen geometrischen Änderungen von Text. Basierend auf diesen Fortschritten wird das integrierte dynamische Modell SEAM eingeführt. Dieses kombiniert die Forschungsgebiete der traditionell psychologisch geprägten Blickbewegungskontrolle und der traditionell psycholinguistisch geprägten postlexikalischen Sprachverarbeitung in Form von cue-basiertem Gedächtnisabruf (Lewis & Vasishth, Cognitive Science, 29, 2005, S. 375–419). Der Nachweis der Durchführbarkeit solcher integrativer Modelle stellt einen bedeutenden Fortschritt bei der natürlichen Sprachverarbeitung beim Lesen dar und legt nahe, dass die vorgestellte Methodik nützlich sein kann, um komplexe kognitive dynamische Modelle zu entwickeln, die Prozesse auf den Ebenen der Wahrnehmung, höheren Kognition, und (okulo-)motorischen Kontrolle integrieren. Diese Erkenntnisse fördern insgesamt die prozessorientierte kognitive Modellierung und betonen die Bedeutung der Bayes'schen Inferenz, individueller Unterschiede und interdisziplinärer Integration für ein ganzheitliches Verständnis von Leseprozessen. Implikationen für Theorie und Methodologie, einschließlich Vorschlägen für Modellvergleich und hierarchische Parameterinferenz, werden kurz diskutiert. KW - eye movements KW - dynamical cognitive modeling KW - sequential likelihood KW - psycholinguistics KW - cognitive psychology KW - sentence processing KW - reading KW - Blickbewegungen KW - Dynamische kognitive Modellierung KW - Sequenzielle Likelihood KW - Psycholinguistik KW - Kognitionspsychologie KW - Satzverarbeitung KW - Lesen Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-622792 ER - TY - JOUR A1 - Meixner, Johannes M. A1 - Nixon, Jessie S. A1 - Laubrock, Jochen T1 - The perceptual span is dynamically adjusted in response to foveal load by beginning readers JF - Journal of experimental psychology : general N2 - The perceptual span describes the size of the visual field from which information is obtained during a fixation in reading. Its size depends on characteristics of writing system and reader, but-according to the foveal load hypothesis-it is also adjusted dynamically as a function of lexical processing difficulty. Using the moving window paradigm to manipulate the amount of preview, here we directly test whether the perceptual span shrinks as foveal word difficulty increases. We computed the momentary size of the span from word-based eye-movement measures as a function of foveal word frequency, allowing us to separately describe the perceptual span for information affecting spatial saccade targeting and temporal saccade execution. First fixation duration and gaze duration on the upcoming (parafoveal) word N + 1 were significantly shorter when the current (foveal) word N was more frequent. We show that the word frequency effect is modulated by window size. Fixation durations on word N + 1 decreased with high-frequency words N, but only for large windows, that is, when sufficient parafoveal preview was available. This provides strong support for the foveal load hypothesis. To investigate the development of the foveal load effect, we analyzed data from three waves of a longitudinal study on the perceptual span with German children in Grades 1 to 6. Perceptual span adjustment emerged early in development at around second grade and remained stable in later grades. We conclude that the local modulation of the perceptual span indicates a general cognitive process, perhaps an attentional gradient with rapid readjustment. KW - eye movements KW - attention KW - perceptual span KW - foveal load KW - reading KW - development Y1 - 2022 U6 - https://doi.org/10.1037/xge0001140 SN - 0096-3445 SN - 1939-2222 VL - 151 IS - 6 SP - 1219 EP - 1232 PB - American Psychological Association CY - Washington ER - TY - GEN A1 - Cajar, Anke A1 - Engbert, Ralf A1 - Laubrock, Jochen T1 - Potsdam Eye-Movement Corpus for Scene Memorization and Search With Color and Spatial-Frequency Filtering T2 - Zweitveröffentlichungen der Universität Potsdam : Humanwissenschaftliche Reihe T3 - Zweitveröffentlichungen der Universität Potsdam : Humanwissenschaftliche Reihe - 788 KW - eye movements KW - corpus dataset KW - scene viewing KW - object search KW - scene memorization KW - spatial frequencies KW - color KW - central and peripheral vision Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-563184 SN - 1866-8364 SP - 1 EP - 7 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - JOUR A1 - Cajar, Anke A1 - Engbert, Ralf A1 - Laubrock, Jochen T1 - Potsdam Eye-Movement Corpus for Scene Memorization and Search With Color and Spatial-Frequency Filtering JF - Frontiers in psychology / Frontiers Research Foundation KW - eye movements KW - corpus dataset KW - scene viewing KW - object search KW - scene memorization KW - spatial frequencies KW - color KW - central and peripheral vision Y1 - 2022 U6 - https://doi.org/10.3389/fpsyg.2022.850482 SN - 1664-1078 VL - 13 SP - 1 EP - 7 PB - Frontiers Research Foundation CY - Lausanne, Schweiz ER - TY - JOUR A1 - Parshina, Olga A1 - Laurinavichyute, Anna A1 - Sekerina, Irina A. T1 - Eye-movement benchmarks in heritage language reading JF - Bilingualism : language and cognition N2 - This eye-tracking study establishes basic benchmarks of eye movements during reading in heritage language (HL) by Russian-speaking adults and adolescents of high (n = 21) and low proficiency (n = 27). Heritage speakers (HSs) read sentences in Cyrillic, and their eye movements were compared to those of Russian monolingual skilled adult readers, 8-year-old children and L2 learners. Reading patterns of HSs revealed longer mean fixation durations, lower skipping probabilities, and higher regressive saccade rates than in monolingual adults. High-proficient HSs were more similar to monolingual children, while low-proficient HSs performed on par with L2 learners. Low-proficient HSs differed from high-proficient HSs in exhibiting lower skipping probabilities, higher fixation counts, and larger frequency effects. Taken together, our findings are consistent with the weaker links account of bilingual language processing as well as the divergent attainment theory of HL. KW - bilingualism KW - heritage language KW - reading KW - eye movements KW - Russian KW - children KW - L2 learners Y1 - 2021 U6 - https://doi.org/10.1017/S136672892000019X SN - 1366-7289 SN - 1469-1841 VL - 24 IS - 1 SP - 69 EP - 82 PB - Cambridge University Press CY - Cambridge ER - TY - THES A1 - Rettig, Anja T1 - Learning to read in German BT - eye movements and the perceptual span of German beginning readers and their relation to reading motivation BT - Blickbewegungen und die perzentuelle Lesespanne von deutschsprachigen Leseanfängern und der Zusammenhang zur Lesemotivation N2 - In the present dissertation, the development of eye movement behavior and the perceptual span of German beginning readers was investigated in Grades 1 to 3 (Study 1) and longitudinally within a one-year time interval (Study 2), as well as in relation to intrinsic and extrinsic reading motivation (Study 3). The presented results are intended to fill the gap of only sparse information on young readers’ eye movements and completely missing information on German young readers’ perceptual span and its development. On the other hand, reading motivation data have been scrutinized with respect to reciprocal effects on reading comprehension but not with respect to more immediate, basic cognitive processing (e.g., word decoding) that is indicated by different eye movement measures. Based on a longitudinal study design, children in Grades 1–3 participated in a moving window reading experiment with eye movement recordings in two successive years. All children were participants of a larger longitudinal study on intrapersonal developmental risk factors in childhood and adolescence (PIER study). Motivation data and other psychometric reading data were collected during individual inquiries and tests at school. Data analyses were realized in three separate studies that focused on different but related aspects of reading and perceptual span development. Study 1 presents the first cross-sectional report on the perceptual span of beginning German readers. The focus was on reading rate changes in Grades 1 to 3 and on the issue of the onset of the perceptual span development and its dependence on basic foveal reading processes. Study 2 presents a successor of Study 1 providing first longitudinal data of the perceptual span in elementary school children. It also includes information on the stability of observed and predicted reading rates and perceptual span sizes and introduces a new measure of the perceptual span based on nonlinear mixed-effects models. Another issue addressed in this study is the longitudinal between-group comparison of slower and faster readers which refers to the detection of developmental patterns. Study 3 includes longitudinal reading motivation data and investigates the relation between different eye movement measures including perceptual span and intrinsic as well as extrinsic reading motivation. In Study 1, a decelerated increase in reading rate was observed between Grades 1 to 3. Grade effects were also reported for saccade length, refixation probability, and different fixation duration measures. With higher grade, mean saccade length increased, whereas refixation probability, first-fixation duration, gaze duration, and total reading time decreased. Perceptual span development was indicated by an increase in window size effects with grade level. Grade level differences with respect to window size effects were stronger between Grades 2 and 3 than between Grades 1 and 2. These results were replicated longitudinally in Study 2. Again, perceptual span size significantly changed between Grades 2 and 3, but not between Grades 1 and 2 or Grades 3 and 4. Observed and predicted reading rates were found to be highly stable after first grade, whereas stability of perceptual span was only moderate for all grade levels. Group differences between slower and faster readers in Year 1 remained observable in Year 2 showing a pattern of stable achievement differences rather than a compensatory pattern. Between Grades 2 and 3, between-group differences in reading rate even increased resulting in a Matthew effect. A similar effect was observed for perceptual span development between Grades 3 and 4. Finally, in Study 3, significant relations between beginning readers’ eye movements and their reading motivation were observed. In both years of measurement, higher intrinsic reading motivation was related to more skilled eye movement patterns as indicated by short fixations, longer saccades, and higher reading rates. In Year 2, intrinsic reading motivation was also significantly and negatively correlated with refixation probability. These correlational patterns were confirmed in cross-sectional linear models controlling for grade level and reading amount and including both reading motivation measures, extrinsic and intrinsic motivation. While there were significant positive relations between intrinsic reading motivation and word decoding as indicated by the above stated eye movement measures, extrinsic reading motivation only predicted variance in eye movements in Year 2 (significant for fixation durations and reading rate), with a consistently opposite pattern of effects as compared to intrinsic reading motivation. Finally, longitudinal effects of Year 1 intrinsic reading motivation on Year 2 word decoding were observed for gaze duration, total reading time, refixation probability, and perceptual span within cross-lagged panel models. These effects were reciprocal because all eye movement measures significantly predicted variance in intrinsic reading motivation. Extrinsic reading motivation in Year 1 did not affect any eye movement measure in Year 2, and vice versa, except for a significant, negative relation with perceptual span. Concluding, the present dissertation demonstrates that largest gains in reading development in terms of eye movement changes are observable between Grades 1 and 2. Together with the observed pattern of stable differences between slower and faster readers and a widening achievement gap between Grades 2 and 3 for reading rate, these results underline the importance of the first year(s) of formal reading instruction. The development of the perceptual span lags behind as it is most apparent between Grades 2 and 3. This suggests that efficient parafoveal processing presupposes a certain degree of foveal reading proficiency (e.g., word decoding). Finally, this dissertation demonstrates that intrinsic reading motivation—but not extrinsic motivation—effectively supports the development of skilled reading. N2 - In der vorliegenden Dissertation wurde die Entwicklung der Blickbewegungen und der perzeptuellen Lesespanne von deutschsprachigen Leseanfängern in den Klassenstufen 1–3 im Querschnitt (Studie 1) als auch im Längsschnitt innerhalb eines Jahres (Studie 2) sowie hinsichtlich des Zusammenhangs mit der intrinsischen und der extrinsischen Lesemotivation (Studie 3) untersucht. Die Ergebnisse dieser Arbeit stellen einen bedeutsamen empirischen Beitrag zur ansonsten verhältnismäßig eher spärlichen empirisch-experimentellen Forschung zur frühen Leseentwicklung dar und liefern erste Erkenntnisse über die perzeptuelle Spanne von jungen deutschsprachigen Lesern. Des Weiteren wurde Neuland betreten, indem Blickdaten im Zusammenhang mit Lesemotivationsdaten ausgewertet wurden. Während es umfangreiche Forschungsarbeiten zum reziproken Zusammenhang zwischen Lesemotivation und dem Leserverstehen gibt, ist kaum etwas zu wechselseitigen Lesemotivationseffekten in Bezug auf basale kognitive Prozesse (z.B. die Wort-Dekodierung), wie sie durch verschiedene Blickbewegungsmaße indiziert werden, bekannt. Auf Grundlage eines längsschnittlichen Untersuchungsdesigns nahmen Kinder der Klassenstufen 1–3 in zwei aufeinanderfolgenden Jahren an einem Moving-Window-Leseexperiment mit manipuliertem Text teil. Alle Kinder waren Teilnehmer einer größeren Längsschnittstudie zur Untersuchung von intrapersonellen Risikofaktoren im Kindes- und Jugendalter (PIER-Studie). In individuellen Befragungen und Testungen in den Schulen wurden u.a. auch Lesemotivations- und andere psychometrische Lesedaten erhoben. Die im Labor erfassten Blickdaten wurden zusammen mit diesen psychometrischen Daten im Rahmen von drei separaten Studien ausgewertet, die jeweils verschiedene, jedoch miteinander in Bezug stehende Aspekte der Lese- und Lesespannen-Entwicklung untersuchen. Studie 1 präsentiert einen ersten querschnittlichen Bericht zur perzeptuellen Lesespanne von deutschsprachigen Leseanfängern. Hierbei lag der Fokus auf Veränderungen der Leserate in den Klassenstufen 1–3 und auf der Frage, wann die Entwicklung der perzeptuellen Spanne beginnt und inwiefern diese Entwicklung von basalen fovealen Leseprozessen abhängig ist. Studie 2 stellt eine Folgeuntersuchung dar, die erste Längsschnittdaten zur Entwicklung der perzeptuellen Lesespanne bei Grundschulkindern liefert. Untersucht wurden desweiteren die Stabilität der beobachteten und vorhergesagten Leserate als auch der perzeptuellen Lesespanne. In diesem Zusammenhang wird ein neues Spannenmaß vorgestellt, welches auf nicht-linearen gemischten Modellen basiert. Eine weitere Fragestellung der Studie ist der längsschnittliche Gruppenvergleich von langsameren und schnelleren Lesern, welcher auf die Entdeckung von Entwicklungsmustern abzielt. Studie 3 inkludiert längsschnittliche Lesemotivatonsdaten und untersucht die Beziehung zwischen verschiedenen Blickbewegungsmaßen einschließlich der perzeptuellen Lesespanne und der intrinsischen als auch extrinsischen Lesemotivation unter Berücksichtigung der Lesehäufigkeit. In Hinblick auf die Leseentwicklung in Klassenstufe 1–3 wurde ein zwischen den Klassenstufen abnehmender sukzessiver Anstieg in der Leserate beobachtet. Klassenstufeneffekte wurden außerdem berichtet für die Sakkadenlänge, die Refixationswahrscheinlichkeit und für verschiedene Fixationsdauermaße. Mit höherer Klassenstufe stieg die mittlere Sakkadenlänge, wohingegen die Refixationswahrscheinlichkeit, die Dauer der ersten Fixation auf einem Wort, die Blickdauer im sogenannten First-Pass und die Gesamtlesedauer von Worten abnahmen. Die Entwicklung der perzeptuellen Lesespanne wurde ersichtlich durch einen Anstieg von Fenstergrößen-Effekten mit steigender Klassenstufe. Der Unterschied zwischen den Klassenstufen im Hinblick auf Fenstergrößen-Effekte war größer zwischen Klasse 2 und 3 als zwischen den Klassen 1 und 2. Diese Ergebnisse wurden längsschnittlich repliziert in Studie 2. Wieder zeigte sich ein signifikanter Unterschied in der perzeptuellen Lesespanne zwischen Klassenstufe 2 und 3, jedoch nicht zwischen Klassenstufe 1 und 2 oder Klassenstufe 3 und 4. Die beobachtete und die vorhergesagte Leserate waren hoch stabil jenseits der ersten Klasse, wohingegen für die perzeptuelle Lesespanne für alle Klassenstufen nur eine moderate Stabilität gefunden wurde. Gruppenunterschiede zwischen langsameren und schnelleren Lesern im ersten Untersuchungsjahr wurden auch im zweiten Untersuchungsjahr beobachtet. Dabei zeichnete sich ein Muster eher stabiler anstatt kompensatorischer Leistungsunterschiede ab. Zwischen Klassenstufe 2 und 3 gab es sogar einen Anstieg der Disparität zwischen den Gruppen für die Leserate. Es zeichnete sich also ein sogenannter Matthäus-Effekt ab. Ein ähnlicher Effekt wurde für die perzeptuelle Lesespanne zwischen Klassenstufe 3 und 4 beobachtet. Abschließend wurde in Studie 3 ein signifikanter Zusammenhang zwischen den Blickbewegungen von Leseanfängern und ihrer Lesemotivation gefunden. In beiden Erhebungsjahren, korrelierte eine höhere intrinsische Lesemotivation mit geübteren Blickbewegungsmustern, was sich in kürzeren Fixationen, längeren Sakkaden und höheren Leseraten zeigte sowie im zweiten Erhebungsjahr auch in kleineren Refixationswahrscheinlichkeiten. In querschnittlichen linearen Modellen erwies sich die intrinsiche Lesemotivation als signifikanter Prädiktor für die oben genannten Blickmaße, selbst wenn für Klassenstufe und Lesehäufigkeit kontrolliert wurde und beide Motivationsmaße, die intrinische und die extrinsische Motivation, gleichzeitig ins Modell aufgenommen wurden. Die extrinsische Lesemotivation erwies sich hingegen nur im zweiten Erhebungsjahr als signifikanter Prädiktor der verschiedenen Fixationsdauern und der Leserate, wobei das Effektmuster durchweg entgegengesetzt zu dem für die intrinsische Lesemotivation beobachteten war. Schließlich wurden in kreuzverzögerten Autoregressionsmodellen längsschnittliche Effekte der intrinisichen Lesemotivation auf verschiedene Blickbewegungsmaße (Blickdauer im First-Pass, Gesamtlesezeit, Refixationswahrscheinlichkeit und perzeptuelle Lesespanne) beobachet. Diese Effekte waren reziprok, da alle Blickbewegungsmaße auch signifikant Varianz in der intrinsischen Lesemotivation vorhergesagt haben. Im Gegensatz dazu gab es weder signifikante längsschnittliche Effekte der extrinsichen Lesemotivation auf das Blickverhalten noch in die Gegenrichtung signifikante Effekte von Blickbewegungsmaßen auf die extrinsische Lesemotivation, mit Ausnahme einer signifikanten negativen Beziehung zwischen der extrinsischen Lesemotivation und der Lesespanne. Zusammenfassend lassen sich folgende Erkenntnisse festhalten: Die aktuelle Dissertation zeigt auf, dass der größte Zuwachs bei der Leseentwicklung im Sinne von Blickbewegungsänderungen zwischen den Klassenstufen 1 und 2 zu beobachten ist. Zusammen mit dem beobachteten Muster zeitlich stabiler Gruppenunterschiede zwischen langsameren und schnelleren Lesern und dem größer werdenden Leistungsabstand zwischen Klassenstufe 2 und 3 für das Maß der Leserate unterstreichen die Ergebnisse die Bedeutsamkeit des (der) ersten Jahre(s) formaler Leseinstruktion. Die Entwicklung der perzeptuellen Lesespanne ist verzögert, da sie am deutlichsten zwischen den Klassenstufen 2 und 3 sichtbar wird. Dies legt die Schlussfolgerung nah, dass effiziente parafoveale Verarbeitung einen gewissen Grad an fovealer Lesefertigkeit (d.h. basale Wortdekodierfähigkeiten) erfordert. Schließlich liefert die aktuelle Dissertation auch empirische Belege dafür, dass die intrinsische—aber nicht die extrinsische—Lesemotivation effektiv die Leseentwicklung unterstützt. T2 - Lesen Lernen im Deutschen KW - eye movements KW - perceptual span KW - reading development KW - beginning readers KW - German KW - moving window KW - longitudinal study KW - reading motivation KW - Blickbewegungen KW - perzentuelle Lesespanne KW - Leseentwicklung KW - Leseanfänger KW - Deutsch KW - Moving Window KW - Längsschnittstudie KW - Lesemotivation Y1 - 2021 ER - TY - JOUR A1 - Cajar, Anke A1 - Engbert, Ralf A1 - Laubrock, Jochen T1 - How spatial frequencies and color drive object search in real-world scenes BT - a new eye-movement corpus JF - Journal of vision N2 - When studying how people search for objects in scenes, the inhomogeneity of the visual field is often ignored. Due to physiological limitations, peripheral vision is blurred and mainly uses coarse-grained information (i.e., low spatial frequencies) for selecting saccade targets, whereas high-acuity central vision uses fine-grained information (i.e., high spatial frequencies) for analysis of details. Here we investigated how spatial frequencies and color affect object search in real-world scenes. Using gaze-contingent filters, we attenuated high or low frequencies in central or peripheral vision while viewers searched color or grayscale scenes. Results showed that peripheral filters and central high-pass filters hardly affected search accuracy, whereas accuracy dropped drastically with central low-pass filters. Peripheral filtering increased the time to localize the target by decreasing saccade amplitudes and increasing number and duration of fixations. The use of coarse-grained information in the periphery was limited to color scenes. Central filtering increased the time to verify target identity instead, especially with low-pass filters. We conclude that peripheral vision is critical for object localization and central vision is critical for object identification. Visual guidance during peripheral object localization is dominated by low-frequency color information, whereas high-frequency information, relatively independent of color, is most important for object identification in central vision. KW - scene viewing KW - eye movements KW - object search KW - central and peripheral KW - vision KW - spatial frequencies KW - color KW - gaze-contingent displays Y1 - 2020 U6 - https://doi.org/10.1167/jov.20.7.8 SN - 1534-7362 VL - 20 IS - 7 PB - Association for Research in Vision and Opthalmology CY - Rockville ER - TY - JOUR A1 - Seelig, Stefan A. A1 - Rabe, Maximilian Michael A1 - Malem-Shinitski, Noa A1 - Risse, Sarah A1 - Reich, Sebastian A1 - Engbert, Ralf T1 - Bayesian parameter estimation for the SWIFT model of eye-movement control during reading JF - Journal of mathematical psychology N2 - Process-oriented theories of cognition must be evaluated against time-ordered observations. Here we present a representative example for data assimilation of the SWIFT model, a dynamical model of the control of fixation positions and fixation durations during natural reading of single sentences. First, we develop and test an approximate likelihood function of the model, which is a combination of a spatial, pseudo-marginal likelihood and a temporal likelihood obtained by probability density approximation Second, we implement a Bayesian approach to parameter inference using an adaptive Markov chain Monte Carlo procedure. Our results indicate that model parameters can be estimated reliably for individual subjects. We conclude that approximative Bayesian inference represents a considerable step forward for computational models of eye-movement control, where modeling of individual data on the basis of process-based dynamic models has not been possible so far. KW - dynamical models KW - reading KW - eye movements KW - saccades KW - likelihood function KW - Bayesian inference KW - MCMC KW - interindividual differences Y1 - 2020 U6 - https://doi.org/10.1016/j.jmp.2019.102313 SN - 0022-2496 SN - 1096-0880 VL - 95 PB - Elsevier CY - San Diego ER - TY - JOUR A1 - Adam, Maurits A1 - Elsner, Birgit T1 - The impact of salient action effects on 6-, 7-, and 11-month-olds’ goal-predictive gaze shifts for a human grasping action JF - PLOS ONE N2 - When infants observe a human grasping action, experience-based accounts predict that all infants familiar with grasping actions should be able to predict the goal regardless of additional agency cues such as an action effect. Cue-based accounts, however, suggest that infants use agency cues to identify and predict action goals when the action or the agent is not familiar. From these accounts, we hypothesized that younger infants would need additional agency cues such as a salient action effect to predict the goal of a human grasping action, whereas older infants should be able to predict the goal regardless of agency cues. In three experiments, we presented 6-, 7-, and 11-month-olds with videos of a manual grasping action presented either with or without an additional salient action effect (Exp. 1 and 2), or we presented 7-month-olds with videos of a mechanical claw performing a grasping action presented with a salient action effect (Exp. 3). The 6-month-olds showed tracking gaze behavior, and the 11-month-olds showed predictive gaze behavior, regardless of the action effect. However, the 7-month-olds showed predictive gaze behavior in the action-effect condition, but tracking gaze behavior in the no-action-effect condition and in the action-effect condition with a mechanical claw. The results therefore support the idea that salient action effects are especially important for infants' goal predictions from 7 months on, and that this facilitating influence of action effects is selective for the observation of human hands. KW - attention KW - eye movements KW - infants perception KW - mechanisms KW - origins Y1 - 2020 U6 - https://doi.org/10.1371/journal.pone.0240165 SN - 1932-6203 VL - 15 IS - 10 PB - Public Library of Science CY - San Fransisco ER - TY - THES A1 - Abdelwahab Hussein Abdelwahab Elsayed, Ahmed T1 - Probabilistic, deep, and metric learning for biometric identification from eye movements N2 - A central insight from psychological studies on human eye movements is that eye movement patterns are highly individually characteristic. They can, therefore, be used as a biometric feature, that is, subjects can be identified based on their eye movements. This thesis introduces new machine learning methods to identify subjects based on their eye movements while viewing arbitrary content. The thesis focuses on probabilistic modeling of the problem, which has yielded the best results in the most recent literature. The thesis studies the problem in three phases by proposing a purely probabilistic, probabilistic deep learning, and probabilistic deep metric learning approach. In the first phase, the thesis studies models that rely on psychological concepts about eye movements. Recent literature illustrates that individual-specific distributions of gaze patterns can be used to accurately identify individuals. In these studies, models were based on a simple parametric family of distributions. Such simple parametric models can be robustly estimated from sparse data, but have limited flexibility to capture the differences between individuals. Therefore, this thesis proposes a semiparametric model of gaze patterns that is flexible yet robust for individual identification. These patterns can be understood as domain knowledge derived from psychological literature. Fixations and saccades are examples of simple gaze patterns. The proposed semiparametric densities are drawn under a Gaussian process prior centered at a simple parametric distribution. Thus, the model will stay close to the parametric class of densities if little data is available, but it can also deviate from this class if enough data is available, increasing the flexibility of the model. The proposed method is evaluated on a large-scale dataset, showing significant improvements over the state-of-the-art. Later, the thesis replaces the model based on gaze patterns derived from psychological concepts with a deep neural network that can learn more informative and complex patterns from raw eye movement data. As previous work has shown that the distribution of these patterns across a sequence is informative, a novel statistical aggregation layer called the quantile layer is introduced. It explicitly fits the distribution of deep patterns learned directly from the raw eye movement data. The proposed deep learning approach is end-to-end learnable, such that the deep model learns to extract informative, short local patterns while the quantile layer learns to approximate the distributions of these patterns. Quantile layers are a generic approach that can converge to standard pooling layers or have a more detailed description of the features being pooled, depending on the problem. The proposed model is evaluated in a large-scale study using the eye movements of subjects viewing arbitrary visual input. The model improves upon the standard pooling layers and other statistical aggregation layers proposed in the literature. It also improves upon the state-of-the-art eye movement biometrics by a wide margin. Finally, for the model to identify any subject — not just the set of subjects it is trained on — a metric learning approach is developed. Metric learning learns a distance function over instances. The metric learning model maps the instances into a metric space, where sequences of the same individual are close, and sequences of different individuals are further apart. This thesis introduces a deep metric learning approach with distributional embeddings. The approach represents sequences as a set of continuous distributions in a metric space; to achieve this, a new loss function based on Wasserstein distances is introduced. The proposed method is evaluated on multiple domains besides eye movement biometrics. This approach outperforms the state of the art in deep metric learning in several domains while also outperforming the state of the art in eye movement biometrics. N2 - Die Art und Weise, wie wir unsere Augen bewegen, ist individuell charakteristisch. Augenbewegungen können daher zur biometrischen Identifikation verwendet werden. Die Dissertation stellt neuartige Methoden des maschinellen Lernens zur Identifzierung von Probanden anhand ihrer Blickbewegungen während des Betrachtens beliebiger visueller Inhalte vor. Die Arbeit konzentriert sich auf die probabilistische Modellierung des Problems, da dies die besten Ergebnisse in der aktuellsten Literatur liefert. Die Arbeit untersucht das Problem in drei Phasen. In der ersten Phase stützt sich die Arbeit bei der Entwicklung eines probabilistischen Modells auf Wissen über Blickbewegungen aus der psychologischen Literatur. Existierende Studien haben gezeigt, dass die individuelle Verteilung von Blickbewegungsmustern verwendet werden kann, um Individuen genau zu identifizieren. Existierende probabilistische Modelle verwenden feste Verteilungsfamilien in Form von parametrischen Modellen, um diese Verteilungen zu approximieren. Die Verwendung solcher einfacher Verteilungsfamilien hat den Vorteil, dass sie robuste Verteilungsschätzungen auch auf kleinen Mengen von Beobachtungen ermöglicht. Ihre Flexibilität, Unterschiede zwischen Personen zu erfassen, ist jedoch begrenzt. Die Arbeit schlägt daher eine semiparametrische Modellierung der Blickmuster vor, die flexibel und dennoch robust individuelle Verteilungen von Blickbewegungsmustern schätzen kann. Die modellierten Blickmuster können als Domänenwissen verstanden werden, das aus der psychologischen Literatur abgeleitet ist. Beispielsweise werden Verteilungen über Fixationsdauern und Sprungweiten (Sakkaden) bei bestimmten Vor- und Rücksprüngen innerhalb des Textes modelliert. Das semiparametrische Modell bleibt nahe des parametrischen Modells, wenn nur wenige Daten verfügbar sind, kann jedoch auch vom parametrischen Modell abweichen, wenn genügend Daten verfügbar sind, wodurch die Flexibilität erhöht wird. Die Methode wird auf einem großen Datenbestand evaluiert und zeigt eine signifikante Verbesserung gegenüber dem Stand der Technik der Forschung zur biometrischen Identifikation aus Blickbewegungen. Später ersetzt die Dissertation die zuvor untersuchten aus der psychologischen Literatur abgeleiteten Blickmuster durch ein auf tiefen neuronalen Netzen basierendes Modell, das aus den Rohdaten der Augenbewegungen informativere komplexe Muster lernen kann. Tiefe neuronale Netze sind eine Technik des maschinellen Lernens, bei der in komplexen, mehrschichtigen Modellen schrittweise abstraktere Merkmale aus Rohdaten extrahiert werden. Da frühere Arbeiten gezeigt haben, dass die Verteilung von Blickbewegungsmustern innerhalb einer Blickbewegungssequenz informativ ist, wird eine neue Aggrgationsschicht für tiefe neuronale Netze eingeführt, die explizit die Verteilung der gelernten Muster schätzt. Die vorgeschlagene Aggregationsschicht für tiefe neuronale Netze ist nicht auf die Modellierung von Blickbewegungen beschränkt, sondern kann als Verallgemeinerung von existierenden einfacheren Aggregationsschichten in beliebigen Anwendungen eingesetzt werden. Das vorgeschlagene Modell wird in einer umfangreichen Studie unter Verwendung von Augenbewegungen von Probanden evaluiert, die Videomaterial unterschiedlichen Inhalts und unterschiedlicher Länge betrachten. Das Modell verbessert die Identifikationsgenauigkeit im Vergleich zu tiefen neuronalen Netzen mit Standardaggregationsschichten und existierenden probabilistischen Modellen zur Identifikation aus Blickbewegungen. Damit das Modell zum Anwendungszeitpunkt beliebige Probanden identifizieren kann, und nicht nur diejenigen Probanden, mit deren Daten es trainiert wurde, wird ein metrischer Lernansatz entwickelt. Beim metrischen Lernen lernt das Modell eine Funktion, mit der die Ähnlichkeit zwischen Blickbewegungssequenzen geschätzt werden kann. Das metrische Lernen bildet die Instanzen in einen neuen Raum ab, in dem Sequenzen desselben Individuums nahe beieinander liegen und Sequenzen verschiedener Individuen weiter voneinander entfernt sind. Die Dissertation stellt einen neuen metrischen Lernansatz auf Basis tiefer neuronaler Netze vor. Der Ansatz repäsentiert eine Sequenz in einem metrischen Raum durch eine Menge von Verteilungen. Das vorgeschlagene Verfahren ist nicht spezifisch für die Blickbewegungsmodellierung, und wird in unterschiedlichen Anwendungsproblemen empirisch evaluiert. Das Verfahren führt zu genaueren Modellen im Vergleich zu existierenden metrischen Lernverfahren und existierenden Modellen zur Identifikation aus Blickbewegungen. KW - probabilistic deep metric learning KW - probabilistic deep learning KW - biometrics KW - eye movements KW - biometrische Identifikation KW - Augenbewegungen KW - probabilistische tiefe neuronale Netze KW - probabilistisches tiefes metrisches Lernen Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-467980 ER -