TY - THES A1 - Schneider, Jan Niklas T1 - Computational approaches for emotion research T1 - Computergestützte Methoden für die Emotionsforschung N2 - Emotionen sind ein zentrales Element menschlichen Erlebens und spielen eine wichtige Rolle bei der Entscheidungsfindung. Diese Dissertation identifiziert drei methodische Probleme der aktuellen Emotionsforschung und zeigt auf, wie diese mittels computergestützter Methoden gelöst werden können. Dieser Ansatz wird in drei Forschungsprojekten demonstriert, die die Entwicklung solcher Methoden sowie deren Anwendung auf konkrete Forschungsfragen beschreiben. Das erste Projekt beschreibt ein Paradigma welches es ermöglicht, die subjektive und objektive Schwierigkeit der Emotionswahrnehmung zu messen. Darüber hinaus ermöglicht es die Verwendung einer beliebigen Anzahl von Emotionskategorien im Vergleich zu den üblichen sechs Kategorien der Basisemotionen. Die Ergebnisse deuten auf eine Zunahme der Schwierigkeiten bei der Wahrnehmung von Emotionen mit zunehmendem Alter der Darsteller hin und liefern Hinweise darauf, dass junge Erwachsene, ältere Menschen und Männer ihre Schwierigkeit bei der Wahrnehmung von Emotionen unterschätzen. Weitere Analysen zeigten eine geringe Relevanz personenbezogener Variablen und deuteten darauf hin, dass die Schwierigkeit der Emotionswahrnehmung vornehmlich durch die Ausprägung der Wertigkeit des Ausdrucks bestimmt wird. Das zweite Projekt zeigt am Beispiel von Arousal, einem etablierten, aber vagen Konstrukt der Emotionsforschung, wie Face-Tracking-Daten dazu genutzt werden können solche Konstrukte zu schärfen. Es beschreibt, wie aus Face-Tracking-Daten Maße für die Entfernung, Geschwindigkeit und Beschleunigung von Gesichtsausdrücken berechnet werden können. Das Projekt untersuchte wie diesen Maße mit der Arousal-Wahrnehmung in Menschen mit und ohne Autismus zusammenhängen. Der Abstand zum Neutralgesicht war prädiktiv für die Arousal-Bewertungen in beiden Gruppen. Die Ergebnisse deuten auf eine qualitativ ähnliche Wahrnehmung von Arousal für Menschen mit und ohne Autismus hin. Im dritten Projekt stellen wir die Partial-Least-Squares-Analyse als allgemeine Methode vor, um eine optimale Repräsentation zur Verknüpfung zweier hochdimensionale Datensätze zu finden. Das Projekt demonstriert die Anwendbarkeit dieser Methode in der Emotionsforschung anhand der Frage nach Unterschieden in der Emotionswahrnehmung zwischen Männern und Frauen. Wir konnten zeigen, dass die emotionale Wahrnehmung von Frauen systematisch mehr Varianz der Gesichtsausdrücke erfasst und dass signifikante Unterschiede in der Art und Weise bestehen, wie Frauen und Männer einige Gesichtsausdrücke wahrnehmen. Diese konnten wir als dynamische Gesichtsausdrücke visualisieren. Um die Anwendung der entwickelten Methode für die Forschungsgemeinschaft zu erleichtern, wurde ein Software-Paket für die Statistikumgebung R geschrieben. Zudem wurde eine Website entwickelt (thisemotiondoesnotexist.com), die es Besuchern erlaubt, ein Partial-Least-Squares-Modell von Emotionsbewertungen und Face-Tracking-Daten interaktiv zu erkunden, um die entwickelte Methode zu verbreiten und ihren Nutzen für die Emotionsforschung zu illustrieren. N2 - Emotions are a central element of human experience. They occur with high frequency in everyday life and play an important role in decision making. However, currently there is no consensus among researchers on what constitutes an emotion and on how emotions should be investigated. This dissertation identifies three problems of current emotion research: the problem of ground truth, the problem of incomplete constructs and the problem of optimal representation. I argue for a focus on the detailed measurement of emotion manifestations with computer-aided methods to solve these problems. This approach is demonstrated in three research projects, which describe the development of methods specific to these problems as well as their application to concrete research questions. The problem of ground truth describes the practice to presuppose a certain structure of emotions as the a priori ground truth. This determines the range of emotion descriptions and sets a standard for the correct assignment of these descriptions. The first project illustrates how this problem can be circumvented with a multidimensional emotion perception paradigm which stands in contrast to the emotion recognition paradigm typically employed in emotion research. This paradigm allows to calculate an objective difficulty measure and to collect subjective difficulty ratings for the perception of emotional stimuli. Moreover, it enables the use of an arbitrary number of emotion stimuli categories as compared to the commonly used six basic emotion categories. Accordingly, we collected data from 441 participants using dynamic facial expression stimuli from 40 emotion categories. Our findings suggest an increase in emotion perception difficulty with increasing actor age and provide evidence to suggest that young adults, the elderly and men underestimate their emotion perception difficulty. While these effects were predicted from the literature, we also found unexpected and novel results. In particular, the increased difficulty on the objective difficulty measure for female actors and observers stood in contrast to reported findings. Exploratory analyses revealed low relevance of person-specific variables for the prediction of emotion perception difficulty, but highlighted the importance of a general pleasure dimension for the ease of emotion perception. The second project targets the problem of incomplete constructs which relates to vaguely defined psychological constructs on emotion with insufficient ties to tangible manifestations. The project exemplifies how a modern data collection method such as face tracking data can be used to sharpen these constructs on the example of arousal, a long-standing but fuzzy construct in emotion research. It describes how measures of distance, speed and magnitude of acceleration can be computed from face tracking data and investigates their intercorrelations. We find moderate to strong correlations among all measures of static information on one hand and all measures of dynamic information on the other. The project then investigates how self-rated arousal is tied to these measures in 401 neurotypical individuals and 19 individuals with autism. Distance to the neutral face was predictive of arousal ratings in both groups. Lower mean arousal ratings were found for the autistic group, but no difference in correlation of the measures and arousal ratings could be found between groups. Results were replicated in a high autistic traits group consisting of 41 participants. The findings suggest a qualitatively similar perception of arousal for individuals with and without autism. No correlations between valence ratings and any of the measures could be found which emphasizes the specificity of our tested measures for the construct of arousal. The problem of optimal representation refers to the search for the best representation of emotions and the assumption that there is a one-fits-all solution. In the third project we introduce partial least squares analysis as a general method to find an optimal representation to relate two high-dimensional data sets to each other. The project demonstrates its applicability to emotion research on the question of emotion perception differences between men and women. The method was used with emotion rating data from 441 participants and face tracking data computed on 306 videos. We found quantitative as well as qualitative differences in the perception of emotional facial expressions between these groups. We showed that women’s emotional perception systematically captured more of the variance in facial expressions. Additionally, we could show that significant differences exist in the way that women and men perceive some facial expressions which could be visualized as concrete facial expression sequences. These expressions suggest differing perceptions of masked and ambiguous facial expressions between the sexes. In order to facilitate use of the developed method by the research community, a package for the statistical environment R was written. Furthermore, to call attention to the method and its usefulness for emotion research, a website was designed that allows users to explore a model of emotion ratings and facial expression data in an interactive fashion. KW - facial expression KW - emotion KW - perception KW - face tracking KW - perception differences KW - emotion representation KW - Gesichtsausdruck KW - Emotionen KW - Wahrnehmung KW - Wahrnehmungsunterschiede KW - computational methods KW - emotion research KW - computergestützte Methoden KW - Emotionsforschung KW - arousal perception KW - objective difficulty KW - Wahrnehmung von Arousal KW - Objektive Schwierigkeit Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-459275 ER - TY - THES A1 - Rolfs, Martin T1 - In-between fixation and movement : on the generation of microsaccades and what they convey about saccade generation T1 - Zwischen Fixation und Bewegung : zur Generierung von Mikrosakkaden und was sie über die Vorbereitung von Sakkaden mitteilen N2 - Microsaccades are an important component of the small eye movements that constitute fixation, the basis of visual perception. The specific function of microsaccades has been a long-standing research problem. Only recently, conclusive evidence emerged, showing that microsaccades aid both visual perception and oculomotor control. The main goal of this thesis was to improve our understanding of the implementation of microsaccade generation within the circuitry of saccade control, an unsolved issue in oculomotor research. We make a case for a model according to which microsaccades and saccades result from mutually dependent motor plans, competing for expression. The model consists of an activation field, coding for fixation at its center and for saccades at peripheral locations; saccade amplitude increases with eccentricity. Activity during fixation spreads to slightly peripheral locations in the field and, thus, may result in the generation of microsaccades. Inhibition of remote and excitation of neighbouring locations govern the dynamics of the field, resulting in a strong competition between fixation and saccade generation. We propose that this common-field model of microsaccade and saccade generation finds a neurophysiological counterpart in the motor map of the superior colliculus (SC), a key brainstem structure involved in the generation of saccades. In a series of five behavioral experiments, we tested implications of the model. Predictions were derived concerning (1) the behavior of microsaccades in a given task (microsaccade rate, amplitude, and direction), (2) the interactions of microsaccades and subsequent saccades, and (3) the relationship between microsaccadic behavior and neurophysiological processes at the level of the SC. The results yielded strong support for the model at all three levels of analysis, suggesting that microsaccade statistics are indicative of the state of the fixation-related part of the SC motor map. N2 - Mikrosakkaden sind ein wichtiger Bestandteil der kleinen Augenbewegungen, aus denen Fixationen, die Basis der visuellen Wahrnehmung, bestehen. Neuere Arbeiten erbrachten schlüssige Evidenz dafür, das Mikrosakkaden eine wichtige Rolle in der Wahrnehmung und der Blickbewegungskontrolle spielen. Hauptanliegen dieser Dissertation war es, unser Verständnis der Implementierung der Generierung von Mikrosakkaden im Kreislauf der Sakkadensteuerung zu vertiefen. Wir schlagen ein Modell vor, in dem Mikrosakkaden und Sakkaden konkurrierende Bewegungsprogramme darstellen, die um ihre Umsetzung wettstreiten. Das Modell besteht aus einem Aktivationsfeld, in dem Fixation im Zentrum und Sakkaden in der Peripherie repräsentiert sind (Sakkadenamplitude steigt mit der Exzentrizität). Aktivität während der Fixation breitet sich zu leicht peripheren Orten im Feld aus und kann so zur Generierung von Mikrosakkaden führen. Hemmung von entfernten und Erregung von benachbarten Orten bestimmen die Dynamik im Feld, was zu einem starken Wettstreit zwischen Fixation und Sakkadengenerierung beiträgt. Wir schlagen vor, dass dieses common-field model of microsaccade and saccade generation ein neurophysiologisches Pendant in der Bewegungskarte des colliculus superior (CS) findet, einer Struktur im Hirnstamm, die im starken Zusammenhang mit der Entstehung von Sakkaden steht. In fünf behavioralen Experimenten wurden Implikationen des Modells überprüft. Vorhersagen wurden auf drei Ebenen abgeleitet: (1) Verhalten der Mikrosakkaden in bestimmten Aufgaben (Mikrosakkadenrate, -amplitude und -richtung), (2) Interaktionen von Mikrosakkaden und nachfolgenden Sakkaden, (3) der Zusammenhang zwischen Mikrosakkadenverhalten und neurophysiologischen Prozessen auf der Ebene des CS. Die Ergebnisse unterstützten das Modell auf allen drei Analyseebenen. Mikrosakkaden scheinen ein Indikator der Fixationsaktivität in der Bewegungskarte des CS zu sein. KW - Blickbewegung KW - Aufmerksamkeit KW - Wahrnehmung KW - Blickbewegungskontrolle KW - Sakkade KW - Eye movement KW - Attention KW - Perception KW - Oculomotor control KW - Saccade Y1 - 2007 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-14581 ER -