TY - THES A1 - Schwetlick, Lisa T1 - Data assimilation for neurocognitive models of eye movement T1 - Datenassimilation für Neurokognitive Modelle in der Blickbewegungsforschung N2 - Visual perception is a complex and dynamic process that plays a crucial role in how we perceive and interact with the world. The eyes move in a sequence of saccades and fixations, actively modulating perception by moving different parts of the visual world into focus. Eye movement behavior can therefore offer rich insights into the underlying cognitive mechanisms and decision processes. Computational models in combination with a rigorous statistical framework are critical for advancing our understanding in this field, facilitating the testing of theory-driven predictions and accounting for observed data. In this thesis, I investigate eye movement behavior through the development of two mechanistic, generative, and theory-driven models. The first model is based on experimental research regarding the distribution of attention, particularly around the time of a saccade, and explains statistical characteristics of scan paths. The second model implements a self-avoiding random walk within a confining potential to represent the microscopic fixational drift, which is present even while the eye is at rest, and investigates the relationship to microsaccades. Both models are implemented in a likelihood-based framework, which supports the use of data assimilation methods to perform Bayesian parameter inference at the level of individual participants, analyses of the marginal posteriors of the interpretable parameters, model comparisons, and posterior predictive checks. The application of these methods enables a thorough investigation of individual variability in the space of parameters. Results show that dynamical modeling and the data assimilation framework are highly suitable for eye movement research and, more generally, for cognitive modeling. N2 - Die visuelle Wahrnehmung ist einer der komplexesten Sinne, die dem Menschen zur Verfügung stehen. Jede Sekunde werden 108 - 109 bits Information von Lichtrezeptoren in den Augen aufgenommen und verarbeitet. Dieser Verarbeitung liegen komplexe und dynamische Prozesse zugrunde, die diese große Menge an Informationen in ein kohärentes Perzept verwandeln. Da nur ein kleiner Bereich, die Fovea, hohe Auflösung aufnehmen kann, bildet die Anordnung der Lichtrezeptoren in der Retina den ersten Filtermechanismus dieses Systems. Um trotzdem das gesamte visuelle Feld scharf sehen zu können, bewegen sich die Augen nach und nach über die verschiedenen Elemente der visuellen Welt. Dabei werden interessante oder relevante Inhalte in den Fokus gerückt. Die Bewegung erfolgt in einer Reihe von schnellen Bewegungen (Sakkaden) und relativen Ruheperioden (Fixationen). Während der Fixationen ist das Auge allerdings nicht still, stattdessen sorgen mikroskopische Bewegungen, ein langsamer Drift und schnelle Mikrosakkaden, für eine konstante Bewegung des Auges. Die Auswahl der Fixationsorte sowie die Bewegung an sich bieten Hinweise auf die Verarbeitungsprozesse, die der visuellen Wahrnehmung zugrunde liegen. Wahrnehmung und Handlung sind besonders im Falle der Blickbewegung eng verknüpft und voneinander abhängig: die Bewegung beeinflusst, welche visuelle Information auf die Rezeptoren trifft und die Wahrnehmung ist entscheidend für die Auswahl der Bewegung. In meiner Dissertation entwickele ich einen dynamischen Ansatz zur Modellierung von kognitiven Prozessen, der die Entfaltung von Wahrnehmung und Handlung über die Zeit in den Vordergrund stellt. Darüber hinaus sind die angewendeten Modelle mechanistisch, d.h. sie stützen sich auf biologisch plausible Mechanismen zur Erzeugung von Verhalten. Ein mechanistischer, dynamischer Modellierungsansatz birgt einige entscheidende Vorteile für den wissenschaftlichen Erkenntnisgewinn. Ergebnisse aus der Literatur und der experimentellen Forschung dienen als Grundlage, um Verhalten zu erklären. Zeigt das Modell auf Basis dieser Mechanismen tatsächlich das erwartete Verhalten, so ist dies ein starkes Indiz für die aufgestellten Hypothesen für dessen Ursache. Des Weiteren entsteht komplexes Verhalten zumeist nicht monokausal, sondern aus einer Zusammenkunft an Ursachen oder als emergente Eigenschaft. Die Modellieung erlaubt es uns, solche komplexen Prozesse durch Variationen und Veränderungen des Modells im Detail besser zu verstehen. Der methodische Rahmen des Modellierungsansatzes stützt sich auf die umfangreiche Literatur zur dynamischen Modellierung und die Bayes’sche Likelihood-basierte Parameterinferenz. Modelle werden mithilfe dieser statistischen Methoden optimiert, sodass die statistisch bestmögliche Passung von Modell und Daten erreicht wird. Möglich gemacht wird diese Optimierung durch die Likelihood Funktion des Modells, d.h. es wird die Wahrscheinlichkeit der Daten gegeben des Modells errechnet. Zudem werden durch das Variieren der Parameter oder durch analytische Verfahren jene Parameter gewählt, welche die höchste Wahrscheinlichkeit ergeben. Darüberhinaus kann mit Hilfe eines Bays’schen Ansatzes auch eine Approximation der Wahrscheinlichkeitsverteilung (Marginal Posterior) pro Parameter errechnet werden. Wenn durch das Modell eine Likelihood Funktion definiert wird, existiert eine gute statistische Grundlage, die starke Inferenzen erlaubt. Wenn eine solche Likelihood Funktion für ein gegebenes Modell nicht formuliert werden kann, muss die Parameterinferenz anhand von anderen Qualitätsmetriken erfolgen. Obwohl dies in der Vergangenheit in den Kognitionswissenschaften häufig der Standard war, bietet die Likelihood-basierte Modellierung doch klare Vorteile, so zum Beispiel die Unabhängigkeit von der Wahl der Metrik und eine starke statistische Basis. Modellparameter in einem mechanistischen Modell haben außerdem typischerweise eine eindeutige Bedeutung für die Mechanismen des Modells. Sie repräsentieren zum Beispiel die Größe der räumlichen Aufmerksamkeitsspanne oder die zeitliche Gedächtnisspanne. Die statistische Parameterinferenz erlaubt daher auch direkte Rückschlüsse auf die Ausprägung der Mechanismen. Zudem sind die hier behandelten Modelle auch generativ, sodass es möglich ist, Daten zu simulieren. Mithilfe von sogenannten Posterior Predictive Checks ist es möglich, das Modellverhalten direkt mit experimentell beobachtetem Verhalten zu vergleichen. Im Rahmen dieser Arbeit wird der beschriebene Modellierungsansatz auf zwei Modelle menschlicher Blickbewegungen angewandt. Das erste Modell beschreibt dabei die Auswahl der Fixationsorte bei der Betrachtung von Szenen. Es modelliert explizit die Dynamik der Aufmerksamkeit und deren Auswirkungen auf die Blickbewegung. Das zweite Modell beschreibt die mikroskopischen fixationalen Driftbewegungen mithilfe eines Self-Avoiding Walks. Beide Modelle sind dynamische Modelle mit interpretierbaren Parametern und einer Likelihood Funktion. Somit kann für beide Modelle Bayes’sche Parameterinferenz auf Versuchspersonenebene ermöglicht werden. In der ersten im Rahmen dieser Dissertation präsentierten Arbeit verwenden wir das SceneWalk Modell. Dieses besteht grundsätzlich aus einer Aktivations- und einer Inhibitionskomponente, die sich jeweils über die Zeit mittels einer Differenzialgleichung entwickeln. Die Summe beider Komponenten ergibt für jeden Punkt auf einem diskreten Gitter die Wahrscheinlichkeit eine Sakkade zu diesem Punkt. Experimentelle Forschung zeigt, dass die visuelle Aufmerksamkeit kurz vor einer Sakkade bereits auf den nächsten Fixationsort verlagert wird. Des Weiteren gibt es nach der Sakkade Evidenz für eine Verschiebung der Aufmerksamkeit in die Richtung der Sakkade, aber über den intendierten Fixationsort hinaus. Hier erweitern wir das SceneWalk Modell, indem wir Aufmerksamkeitsprozesse rund um den Zeitpunkt der Sakkade implementieren. Diese Aufmerksamkeitsprozesse erwirken bei den Modiellierungergebnissen eine verbesserte Passung zwischen Daten und Modell und bieten einen Erklärungsansatz für die charakteristischen Winkelverteilungen von aufeinanderfolgenden Sakkaden. In dieser Arbeit zeigen wir außerdem, dass es möglich ist, mittels Bayes’scher Inferenz, separate und aussagekräftige Parameter für einzelne Individuen zu schätzen. In der zweiten Arbeit wenden wir dasselbe Modell, SceneWalk, und die Bayes’sche Inferenz nicht nur auf die Modellierung von verschiedenen Individuen, sondern auch verschiedenen Aufgaben an. Wir zeigen hier Evidenz für systematische Unterschiede in den dynamischen Aufmerksamkeitsparametern, die durch das Modell erfasst werden können. Überdies erweitern wir das SceneWalk Modell in dieser Arbeit um eine zeitliche Komponente (Spatiotemporal Likelihood), sodass jetzt auch die Fixationsdauer im Rahmen des Modells miterfasst wird. Mithilfe dieser Erweiterung finden wir Evidenz für eine Kopplung von Fixationsdauer und Salienz. Die dritte Arbeit beschäftigt sich mit einem Modell für fixationale Driftbewegungen. Das SAW-Modell verwendet einen statistischen Self-Avoiding Random Walk, d.h. eine quasi-zufällige Bewegung auf einem diskreten Gitter, die statistisch ihre eigene Trajektorie vermeidet. Das Gedächtnis der eigenen Trajektorie ist durch einen Parameter definiert. Diese Bewegung wird durch ein Potential daran gehindert, sich zu weit von ihrem Ausgangspunkt zu entfernen. Wir verwenden die selbe Methode der Bayes’schen Parameterinferenz und schätzen so Parameter für Individuen. Des Weiteren stellen wir eine explorative Analyse vor, die einen Zusammenhang zwischen der latenten Aktivierung des Models und Mikrosakkaden findet. In dieser Dissertation wird ein dynamischer Ansatz zur Modellierung von Kognition untersucht, wobei der Schwerpunkt auf Blickbewegungen und visueller Wahrnehmung liegt. Die Arbeit basiert auf der Beobachtung, dass Wahrnehmung und Handlung voneinander abhängig sind und sich im Laufe der Zeit dynamisch entfalten und, dass biologische und neurophysiologische Erkenntnisse die Randbedingungen für verhaltensbezogene Erklärungen liefern sollten. Beide vorgestellten Modelle erfassen zentrale Aspekte des Blickverhaltens sowie individuelle Unterschiede. Die Modelle erlauben eine Untersuchung der zeitlichen Dynamik ihrer jeweiligen Prozesse und können zur Simulation verschiedener Bedingungen und Aufgaben verwendet werden, um deren Auswirkungen auf das Verhalten zu analysieren. Der vorgestellte Modellierungsansatz beinhaltet die Verwendung von dynamischen und mechanistischen Modellen, statistische Inferenz von Parametern, Vergleich von statistischen Eigenschaften simulierter und experimenteller Daten und ermöglicht auch objektive Modellvergleiche. Der dynamische Ansatz zur Modellierung von Kognition ist eine plausible und adäquate Methode um die Interdependenz von Wahrnehmung und Handlung zu beschreiben. Sie bietet die Möglichkeit, Verhalten unter Verwendung theoriebasierter und experimentell fundierter Mechanismen zu erzeugen. Die hier vorgestellten Modelle zeigen das Potenzial dieses Ansatzes und können als Grundlage für weitere Forschungen auf dem Gebiet der kognitiven Modellierung dienen. KW - eye movement KW - mathematical modeling KW - dynamical models KW - data assimilation KW - scan paths KW - attention KW - Aufmerksamkeit KW - Datenassimilation KW - dynamische Modelle KW - Blickbewegungen KW - mathematische Modellierung KW - Blickpfade Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-598280 ER - TY - THES A1 - Stettner, Samuel T1 - Exploring the seasonality of rapid Arctic changes from space T1 - Erkundung der Saisonalität schneller arktischer Veränderungen aus dem Weltraum BT - monitoring of permafrost disturbance, snow cover and vegetation in tundra environments with TerraSAR-X BT - Überwachung von Permafroststörungen, Schneebedeckung und Vegetation in Tundra-Umgebungen mit TerraSAR-X N2 - Arctic warming has implications for the functioning of terrestrial Arctic ecosystems, global climate and socioeconomic systems of northern communities. A research gap exists in high spatial resolution monitoring and understanding of the seasonality of permafrost degradation, spring snowmelt and vegetation phenology. This thesis explores the diversity and utility of dense TerraSAR-X (TSX) X-Band time series for monitoring ice-rich riverbank erosion, snowmelt, and phenology of Arctic vegetation at long-term study sites in the central Lena Delta, Russia and on Qikiqtaruk (Herschel Island), Canada. In the thesis the following three research questions are addressed: • Is TSX time series capable of monitoring the dynamics of rapid permafrost degradation in ice-rich permafrost on an intra-seasonal scale and can these datasets in combination with climate data identify the climatic drivers of permafrost degradation? • Can multi-pass and multi-polarized TSX time series adequately monitor seasonal snow cover and snowmelt in small Arctic catchments and how does it perform compared to optical satellite data and field-based measurements? • Do TSX time series reflect the phenology of Arctic vegetation and how does the recorded signal compare to in-situ greenness data from RGB time-lapse camera data and vegetation height from field surveys? To answer the research questions three years of TSX backscatter data from 2013 to 2015 for the Lena Delta study site and from 2015 to 2017 for the Qikiqtaruk study site were used in quantitative and qualitative analysis complimentary with optical satellite data and in-situ time-lapse imagery. The dynamics of intra-seasonal ice-rich riverbank erosion in the central Lena Delta, Russia were quantified using TSX backscatter data at 2.4 m spatial resolution in HH polarization and validated with 0.5 m spatial resolution optical satellite data and field-based time-lapse camera data. Cliff top lines were automatically extracted from TSX intensity images using threshold-based segmentation and vectorization and combined in a geoinformation system with manually digitized cliff top lines from the optical satellite data and rates of erosion extracted from time-lapse cameras. The results suggest that the cliff top eroded at a constant rate throughout the entire erosional season. Linear mixed models confirmed that erosion was coupled with air temperature and precipitation at an annual scale, seasonal fluctuations did not influence 22-day erosion rates. The results highlight the potential of HH polarized X-Band backscatter data for high temporal resolution monitoring of rapid permafrost degradation. The distinct signature of wet snow in backscatter intensity images of TSX data was exploited to generate wet snow cover extent (SCE) maps on Qikiqtaruk at high temporal resolution. TSX SCE showed high similarity to Landsat 8-derived SCE when using cross-polarized VH data. Fractional snow cover (FSC) time series were extracted from TSX and optical SCE and compared to FSC estimations from in-situ time-lapse imagery. The TSX products showed strong agreement with the in-situ data and significantly improved the temporal resolution compared to the Landsat 8 time series. The final combined FSC time series revealed two topography-dependent snowmelt patterns that corresponded to in-situ measurements. Additionally TSX was able to detect snow patches longer in the season than Landsat 8, underlining the advantage of TSX for detection of old snow. The TSX-derived snow information provided valuable insights into snowmelt dynamics on Qikiqtaruk previously not available. The sensitivity of TSX to vegetation structure associated with phenological changes was explored on Qikiqtaruk. Backscatter and coherence time series were compared to greenness data extracted from in-situ digital time-lapse cameras and detailed vegetation parameters on 30 areas of interest. Supporting previous results, vegetation height corresponded to backscatter intensity in co-polarized HH/VV at an incidence angle of 31°. The dry, tall shrub dominated ecological class showed increasing backscatter with increasing greenness when using the cross polarized VH/HH channel at 32° incidence angle. This is likely driven by volume scattering of emerging and expanding leaves. Ecological classes with more prostrate vegetation and higher bare ground contributions showed decreasing backscatter trends over the growing season in the co-polarized VV/HH channels likely a result of surface drying instead of a vegetation structure signal. The results from shrub dominated areas are promising and provide a complementary data source for high temporal monitoring of vegetation phenology. Overall this thesis demonstrates that dense time series of TSX with optical remote sensing and in-situ time-lapse data are complementary and can be used to monitor rapid and seasonal processes in Arctic landscapes at high spatial and temporal resolution. N2 - Die Erwärmung der Arktis hat Auswirkungen auf die Stabilität und Funktion terrestrischer arktischer Ökosysteme, auf das globale Klima, sowie auf sozioökonomische Systeme nördlicher Gemeinden. Es besteht eine Forschungslücke bei der Überwachung der Saisonalität von Permafrostdegradation, Schneebedeckung und Vegetationsphänologie. Diese Dissertation untersucht den Nutzen von TerraSAR-X (TSX) X-Band Daten für die Überwachung eisreicher Ufererosion, Schneeschmelze, sowie Phänologie arktischer Vegetation im zentralen Lena Delta in Russland und auf Qikiqtaruk (Herschel Island), Kanada. Die Dynamik intrasaisonaler eisreicher Ufererosion im zentralen Lena-Delta in Russland wurde mit TSX Rückstreuintensitätsbildern quantifiziert und mit optischen Satelliten-Daten und Feldmessungen validiert. Kliff Kanten wurden automatisch aus TSX-Intensitätsbildern extrahiert und in einem Geoinformationssystem mit manuell digitalisierten Kliff Kanten aus optischen Satellitendaten, sowie mit Erosionsraten aus Zeitrafferkameras zusammengeführt. Die Ergebnisse deuten darauf hin, dass sich die Kliff Kante während der gesamten Auftauzeit mit konstanter Geschwindigkeit zurückzog. Die Verwendung von linearen Mischmodellen bestätigte, dass die Erosion im jährlichen Maßstab mit der Lufttemperatur und dem Niederschlag gekoppelt war, saisonale Schwankungen beeinflussten die Erosionsrate nicht. Die Ergebnisse stützen die Verwendung von TSX zur Überwachung schneller Permafrostdegradation mit hoher zeitlicher Auflösung. Die eindeutige Signatur von nassem Schnee in TSX Rückstreuintensitätsbildern wurde genutzt, um Schneeverteilungskarten (SCE) auf Qikiqtaruk in hoher zeitlicher Auflösung zu erzeugen. Aus TSX abgeleitete SCE zeigten eine große Ähnlichkeit zu SCE aus Landsat 8 Daten. Zeitreihen von prozentualer Schneebedeckung (FSC) wurden aus TSX und optischen SCE extrahiert und mit FSC-Schätzungen aus in-situ Zeitrafferkamera Daten verglichen. Auch hier zeigte TSX eine starke Übereinstimmung mit den in-situ-Daten und verbesserte die zeitliche Auflösung im Vergleich zur Landsat 8 Zeitreihe erheblich. Aus einer finalen kombinierten FSC-Zeitreihe konnten zwei Muster von Schneeschmelzen in ausgewählten Einzugsgebieten abgeleitet werden, die sich mit den in-situ Messungen deckten. Zusätzlich konnte TSX später in der Saison Schnee länger erkennen als Landsat 8, was den Vorteil von TSX zur Erkennung von Altschnee unterstreicht. Die TSX-abgeleiteten Schnee-Informationen lieferten wertvolle Einblicke in die Schneeschmelz-Dynamik auf Qikiqtaruk, welche zuvor nicht verfügbar waren. Die Empfindlichkeit von TSX für Vegetationsstruktur, die mit phänologischen Veränderungen einhergeht, wurde auf Qikiqtaruk untersucht. Rückstreu- und Kohärenzzeitreihen wurden aus 30 Testgebieten extrahiert. Die Rückstreu- und Kohärenzsignale wurden mit Vitalitäts-Daten verglichen, die aus in-situ-Zeitrafferkamera Zeitreihen extrahiert wurden. Die Ergebnisse zeigten einen Zusammenhang zwischen Vegetationshöhe und der Rückstreuintensität in HH / VV polarisierten Daten bei einem Einfallswinkel von 31 °. Ferner zeigte die ökologische Klasse mit einer Kombination von hohen Sträuchern und trockenen Oberflächenbedingungen eine zunehmende Rückstreuung mit zunehmende Pflanzenvitalität, wenn der kreuzpolarisierte VH / HH-Kanal bei 32 ° Einfallswinkel verwendet wurde. Die Ergebnisse aus strauchdominierten Klassen sind vielversprechend und liefern eine ergänzende Datenquelle für zeitlich hochaufgelöste Beobachtung der Vegetationsphänologie. Insgesamt zeigt diese Arbeit, dass TSX X-Band-Daten schnelle und saisonale Prozesse in arktischen Landschaften mit hoher räumlicher und zeitlicher Auflösung überwachen können. KW - SAR KW - remote sensing KW - arctic KW - SAR KW - Fernerkundung KW - Arktis Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-425783 ER -