TY - THES A1 - Ribback, Sven T1 - Psychophysiologische Untersuchung mentaler Beanspruchung in simulierten Mensch-Maschine-Interaktionen N2 - In der vorliegenden Untersuchung wurde ein arbeitspsychologisches Problem thematisiert, dass in Mensch-Maschine-Systemen auftritt. In Mensch-Maschine-Systemen werden Informationen in kodierter Form ausgetauscht. Diese inhaltlich verkürzte Informationsübertragung hat den Vorteil, keine lange Zustandsbeschreibung zu benötigen, so dass der Mensch auf die veränderten Zustände schnell und effizient reagieren kann. Dies wird aber nur dann ermöglicht, wenn der Mensch die kodierten Informationen (Kodes) vorher erlernten Bedeutungen zuordnen kann. Je nach Art der kodierten Informationen (visuelle, akustische oder alphanumerische Signale) wurden Gestaltungsempfehlungen für Kodealphabete entwickelt. Für Operateure resultiert die mentale Belastung durch Dekodierungsprozesse vor allem aus dem Umfang des Kodealphabetes (Anzahl von Kodezeichen), der wahrnehmungsmäßigen Gestaltung der Kodes und den Regeln über die Zuordnung von Bedeutungen zu Kodezeichen. Die Entscheidung über die Güte von Kodealphabeten geschieht in der Arbeitspsychologie in der Regel über Leistungsindikatoren. Dies sind üblicherweise die zur Dekodierung der Kodes benötigte Zeit und dabei auftretende Zuordnungsfehler. Psychophysiologische Daten werden oft nicht herangezogen. Fraglich ist allerdings, ob Zeiten und Fehler allein verlässliche Indikatoren für den kognitiven Aufwand bei Dekodierungsprozessen sind, da im hochgeübten Zustand bei gleichen Alphabetlängen, aber unterschiedlicher Kodezeichengestaltung sich häufig die mittleren Dekodierungszeiten zwischen Kodealphabeten nicht signifikant unterscheiden und Fehler überhaupt nicht auftreten. Die in der vorliegenden Arbeit postulierte Notwendigkeit der Ableitung von Biosignalen gründet sich auf die Annahme, dass mit ihrer Hilfe zusätzliche Informationen über die mentale Beanspruchung bei Dekodierungsprozessen gewonnen werden können, die mit der Erhebung von Leistungsdaten nicht erfasst werden. Denn gerade dann, wenn sich die Leistungsdaten zweier Kodealphabete nicht unterscheiden, können psychophysiologische Daten unterschiedliche Aspekte mentaler Beanspruchung erfassen, die mit Hilfe von Leistungsdaten nicht bestimmt werden können. Daher wird in Erweiterung des etablierten Untersuchungsansatzes vorgeschlagen, Biosignale als dritten Datenbereich, neben Leistungsdaten und subjektiven Daten mentaler Beanspruchung, abzuleiten, um zusätzliche Informationen über die mentale Beanspruchung bei Dekodierungsprozessen zu erhalten. Diese Annahme sollte mit Hilfe der Ableitung von Biosignalen überprüft werden. Der Begriff mentaler Beanspruchung wird in der bisherigen Literatur nur unzureichend definiert und differenziert. Daher wird zur Untersuchung dieses Konzepts, die wissenschaftliche Literatur berücksichtigend, ein erweitertes Modell mentaler Beanspruchung vorgestellt. Dabei wird die mentale Beanspruchung abgegrenzt von der emotionalen Beanspruchung. Mentale Beanspruchung wird weiterhin unterschieden in psychomotorische, perzeptive und kognitive Beanspruchung. Diese Aspekte mentaler Beanspruchung werden jeweils vom psychomotorischen, perzeptiven oder kognitiven Aufwand der zu bearbeitenden Aufgabe ausgelöst. In der vorliegenden Untersuchung wurden zwei zentrale Fragestellungen untersucht: Einerseits wurde die Analyse der anwendungsbezogenen Frage fokussiert, inwieweit psychophysiologische Indikatoren mentaler Beanspruchung über die Leistungsdaten (Dekodierungszeiten und Fehleranzahl) hinaus, zusätzliche Informationen zur Bestimmung der Güte von Kodealphabeten liefern. Andererseits wurde der Forschungsaspekt untersucht, inwieweit psychophysiologische Indikatoren mentaler Beanspruchung die zur Dekodierung notwendigen perzeptiven und kognitiven Aspekte mentaler Beanspruchung differenzieren können. Emotionale Beanspruchung war nicht Gegenstand der Analysen, weshalb in der Operationalisierung versucht wurde, sie weitgehend zu vermeiden. Psychomotorische Beanspruchung als dritter Aspekt mentaler Beanspruchung (neben perzeptiver und kognitiver Beanspruchung) wurde für beide Experimentalgruppen weitgehend konstant gehalten. In Lernexperimenten hatten zwei anhand eines Lern- und Gedächtnistests homogenisierte Stichproben jeweils die Bedeutung von 54 Kodes eines Kodealphabets zu erwerben. Dabei wurde jeder der zwei unahbhängigen Stichproben ein anderes Kodealphabet vorgelegt, wobei sich die Kodealphabete hinsichtlich Buchstabenanzahl (Kodelänge) und anzuwendender Zuordnungsregeln unterschieden. Damit differierten die Kodealphabete im perzeptiven und kognitiven Aspekt mentaler Beanspruchung. Die Kombination der Abkürzungen entsprach den in einer Feuerwehrleitzentrale verwendeten (Kurzbeschreibungen von Notfallsituationen). In der Lernphase wurden den Probanden zunächst die Kodealphabete geblockt mit ihren Bedeutungen präsentiert. Anschließend wurden die Kodes (ohne deren Bedeutung) in sechs aufeinanderfolgenden Prüfphasen randomisiert einzeln dargeboten, wobei die Probanden instruiert waren, die Bedeutung der jeweiligen Kodes in ein Mikrofon zu sprechen. Während des gesamten Experiments wurden, neben Leistungsdaten (Dekodierungszeiten und Fehleranzahl) und subjektiven Daten über die mentale Beanspruchung im Verlauf der Experimente, folgende zentralnervöse und peripherphysiologische Biosignale abgeleitet: Blutdruck, Herzrate, phasische und tonische elektrodermale Aktivität und Elektroenzephalogramm. Aus ihnen wurden zunächst 13 peripherphysiologische und 7 zentralnervöse Parameter berechnet, von denen 7 peripherphysiologische und 3 zentralnervöse Parameter die statistischen Voraussetzungen (Einschlusskriterien) soweit erfüllten, dass sie in die inferenzstatistische Datenanalyse einbezogen wurden. Leistungsdaten und subjektive Beanspruchungseinschätzungen der Versuchsdurchgänge wurden zu den psychophysiologischen Parametern in Beziehung gesetzt. Die Befunde zeigen, dass mittels der psychophysiologischen Daten zusätzliche Erkenntnisse über den kognitiven Aufwand gewonnen werden können. Als weitere Analyse wurden die Kodes post hoc in zwei neue Kodealphabete eingeteilt. Ziel dieser Analyse war es, die Unterschiede zwischen beiden Kodealphabeten zu erhöhen, um deutlichere reizbezogene psychophysiologische Unterschiede in den EEG-Daten zwischen den Kodealphabeten zu erhalten. Dazu wurde diejenigen, hinsichtlich ihrer Bedeutung, parallelen Kodes in beiden Kodealphabeten ausgewählt, die sich in der Dekodierungszeit maximal voneinander unterschieden. Eine erneute Analyse der EEG-Daten erbrachte jedoch keine Verbesserung der Ergebnisse. Drei Hauptergebnisse bezüglich der psychophysiologischen Parameter konnten festgestellt werden: Das erste Ergebnis ist für die psychophysiologische Methodik bedeutsam. Viele psychophysiologische Parameter unterschieden zwischen den Prüfphasen und zeigen damit eine hinreichende Sensitivität zur Untersuchung mentaler Beanspruchung bei Dekodierungsprozessen an. Dazu gehören die Anzahl der spontanen Hautleitwertsreaktionen, die Amplitude der Hautleitwertsreaktionen, das Hautleitwertsniveau, die Herzrate, die Herzratendifferenz und das Beta-2-Band des EEG. Diese Parameter zeigen einen ähnlichen Verlauf wie die Leistungsdaten. Dies zeigt, dass es möglich ist, die hier operationaliserte Art mentaler Beanspruchung in Form von Dekodierungsprozessen psychophysiologisch zu analysieren. Ein zweites Ergebnis betrifft die Möglichkeit, Unterschiede mentaler Beanspruchung zwischen beiden Gruppen psychophysiologisch abzubilden: Das Hautleitwertsniveau und das Theta-Frequenzband des Spontan-EEG zeigten Unterschiede zwischen beiden Stichproben von der ersten Prüfphase an. Diese Parameter indizieren unterschiedlichen kognitiven Aufwand in beiden Stichproben über alle Prüfphasen. Das wichtigste Ergebnis betrifft die Frage nach einem Informationsgewinn bei Einsatz psychophysiologischer Methoden zur Bewertung der Güte von Kodealphabeten: Einen tatsächlichen Informationsgewinn gegenüber den Leistungsdaten zeigte die Amplitude der elektrodermalen Aktivität und die Herzraten-Differenz an. Denn in den späteren Prüfphasen, wenn sich die Leistungsdaten beider Kodealphabete nicht mehr unterschieden, konnten unterschiedliche Ausprägungen dieser psychophysiologischen Parameter zwischen beiden Kodealphabeten verzeichnet werden. Damit konnten unterschiedliche Aspekte mentaler Beanspruchung in beiden Kodealphabeten in den späteren Prüfphasen erfasst werden, in denen sich die Leistungsdaten nicht mehr unterschieden. Alle drei Ergebnisse zeigen, dass es, trotz erheblichen technischen und methodischen Aufwands, sinnvoll erscheint, bei der Charakterisierung mentaler Belastungen und für die Gestaltung von Kodealphabeten auch psychophysiologische Daten heranzuziehen, da zusätzliche Informationen über den perzeptiven und kognitiven Dekodierungsaufwand gewonnen werden können. N2 - In this study a problem from the work psychology was focussed, which appears in human-machine systems. In human-machine systems informations were exchanged as codes. Using this kind of shortened information transmission needs no long description of the system state, so that the operator can react to the changed system state in a quick and efficient way. This is possible only in this case, if the operator has learned the meaning of the codes before. For the different kinds of coded informations (visual, acoustic or alphanumeric signals) special recommendations for their design were developed. Mental workload caused by decoding processes resulting from the size of the code alphabet, the percepted design of the codes, and the rules about the allocation of code meanings. The decision about the validity of code alphabets in work psychology is normally made by indicators of performance, which are the decoding times and decoding mistakes. Nearly all studies do not refer to psychophysiological data. It is questioned, if times and mistakes alone are valid indicators for the cognitive cost, because in well learned state and for the same size of the code alphabet but different design of the codes, the decoding times between code alphabets are not significantly different, and mistakes do not appear. This study postulates a necessity for the registration of psychophysiological data, so that additionally informations, which are not included in the performance data, can be examined. If the performance data does not differ between two code alphabets, psychophysiological data measures different aspects of mental workload, which could not be detected by performance data. To enlarge the established approach, it is recommended to registrate biosignals as a third domain of data to get additional informations about decoding processes. These hypotheses should be verified by registration of biosignals. There are vague definitions and deficient differentiations of the concept of mental workload in the scientific publications. To examine mental workload an enlarged model of mental workload is presented. Mental workload is delimited from emotional strain. Furthermore mental workload is differentiated in psychomotoric, perceptive, and cognitive aspects. These aspects of mental workload are caused by the psychomotoric, perceptive, and cognitive cost, which are initiated by the assigned task. Two main questions were examined in this study. First question refers to applied research. Do psychophysiological indicators of mental workload provide more information about the validity of code alphabets than performance data? The second question refers to what extent psychophysiological indicators of mental workload necessary for the decoding process could differentiate the perceptive and cognitive aspects of mental workload. >The emotional strain was not the objective of this study, therefore it was excluded from the experimental design. Psychomotoric workload as the third aspect of mental workload was a constant value for both experimental samples. In two learning experiments two samples with identical habituational memory performance were instructed to learn the meaning of 54 codes of a code alphabet. Both samples was presented another code alphabet, which differed in the number of included letters and the allocation rules. Thus the two code alphabets differed in the perceptive and in the cognitive aspect of mental workload. The combination of abbreviations was comparable to those used in a fire station. In a learning phase the code alphabets were presented with their meanings. Afterwards the codes were presented without their meanings in six following tests phases. Subjects were instructed to answer in a microphone. During the whole experiment performance data, subjective data of perceived strain, and psychophysiological data were registrated. The psychophysiological data contained: blood pressure, heart rate, phasic and tonic electrodermal activity, and the EEG. Thirteen peripherphysiological and seven EEG parameters were extracted from these raw data. Seven peripherphysiological and three EEG parameters accomplished the statistical premises and were included to further statistical analysis. Performance data and subjective data were set in relation to the psychophysiological parameters. The outcomes showed that using psychophysiological data generate additional informations about the cognitive cost. For further analysis the code items were divided into two new code alphabets. The intention of this analysis was to maximize the difference between the two code alphabets to get more stimuli based psychophysiological differences in the EEG data. This analysis included those pairs of codes with identical meaning and maximum difference in their decoding time. This further analysis did not improve the outcomes. Three main outcomes in respect to the psychophysiological data were detected. The first one is an important outcome for psychophysiological methodology. Many psychophysiological parameters differ between the test phases and thus show a sufficient sensitivity to examine mental workload in decoding processes. The number of spontaneous electrodermal responses, the amplitude of electrodermal responses, the electrodermal level, the heart rate, the heart rate difference, and the beta-2 frequency band of the EEG belong to these parameters. These parameters show a similar distribution like performance data. This shows the possibility of the operationalized mental workload through decoding processes analysable with psychophysiological methods. A second outcome concerns the possibility to show differences in mental workload between both samples in psychophysiological parameters: The electrodermal level and the theta frequency band of the EEG showed differences between both samples beginning from the first test phase. These parameters indicate different cognitive cost in both samples in all test phases. The most important outcome regards to the profit of information by using psychophysiological methods to test the validity of code alphabets. The amplitude of the electrodermal responses and the heart rate difference shows a surplus of information compared to performance data. Thus in later test phases, in which the performance data did no longer differ, different characteristics of psychophysiological parameters between both code alphabets were registrated. Therefore different aspects of mental workload could be quantified. All three outcomes showed that, nevertheless of the considerable technical and methodological expenditure, it is reasonable to use psychophysiological data to design code alphabets, because it supplies additional information about the perceptional and cognitive cost of the decoding processes. KW - Psychophysiologie KW - mentale Beanspruchung KW - Dekodierung KW - Stress KW - EEG KW - Herzrate KW - EKG KW - Herzratenvariabilität KW - EDA KW - Psychophysiology KW - mental workload KW - decoding process KW - mental stress KW - EEG KW - heart rate KW - ECG KW - heart rate variability KW - electrodermal activity Y1 - 2003 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-0000833 ER - TY - THES A1 - Allefeld, Carsten T1 - Phase synchronization analysis of event-related brain potentials in language processing N2 - Das Forschungsthema Synchronisation bildet einen Schnittpunkt von Nichtlinearer Dynamik und Neurowissenschaft. So hat zum einen neurobiologische Forschung gezeigt, daß die Synchronisation neuronaler Aktivität einen wesentlichen Aspekt der Funktionsweise des Gehirns darstellt. Zum anderen haben Fortschritte in der physikalischen Theorie zur Entdeckung des Phänomens der Phasensynchronisation geführt. Eine dadurch motivierte Datenanalysemethode, die Phasensynchronisations-Analyse, ist bereits mit Erfolg auf empirische Daten angewandt worden. Die vorliegende Dissertation knüpft an diese konvergierenden Forschungslinien an. Ihren Gegenstand bilden methodische Beiträge zur Fortentwicklung der Phasensynchronisations-Analyse, sowie deren Anwendung auf ereigniskorrelierte Potentiale, eine besonders in den Kognitionswissenschaften wichtige Form von EEG-Daten. Die methodischen Beiträge dieser Arbeit bestehen zum ersten in einer Reihe spezialisierter statistischer Tests auf einen Unterschied der Synchronisationsstärke in zwei verschiedenen Zuständen eines Systems zweier Oszillatoren. Zweitens wird im Hinblick auf den viel-kanaligen Charakter von EEG-Daten ein Ansatz zur multivariaten Phasensynchronisations-Analyse vorgestellt. Zur empirischen Untersuchung neuronaler Synchronisation wurde ein klassisches Experiment zur Sprachverarbeitung repliziert, in dem der Effekt einer semantischen Verletzung im Satzkontext mit demjenigen der Manipulation physischer Reizeigenschaften (Schriftfarbe) verglichen wird. Hier zeigt die Phasensynchronisations-Analyse eine Verringerung der globalen Synchronisationsstärke für die semantische Verletzung sowie eine Verstärkung für die physische Manipulation. Im zweiten Fall läßt sich der global beobachtete Synchronisationseffekt mittels der multivariaten Analyse auf die Interaktion zweier symmetrisch gelegener Gehirnareale zurückführen. Die vorgelegten Befunde zeigen, daß die physikalisch motivierte Methode der Phasensynchronisations-Analyse einen wesentlichen Beitrag zur Untersuchung ereigniskorrelierter Potentiale in den Kognitionswissenschaften zu leisten vermag. N2 - The topic of synchronization forms a link between nonlinear dynamics and neuroscience. On the one hand, neurobiological research has shown that the synchronization of neuronal activity is an essential aspect of the working principle of the brain. On the other hand, recent advances in the physical theory have led to the discovery of the phenomenon of phase synchronization. A method of data analysis that is motivated by this finding - phase synchronization analysis - has already been successfully applied to empirical data. The present doctoral thesis ties up to these converging lines of research. Its subject are methodical contributions to the further development of phase synchronization analysis, as well as its application to event-related potentials, a form of EEG data that is especially important in the cognitive sciences. The methodical contributions of this work consist firstly in a number of specialized statistical tests for a difference in the synchronization strength in two different states of a system of two oscillators. Secondly, in regard of the many-channel character of EEG data an approach to multivariate phase synchronization analysis is presented. For the empirical investigation of neuronal synchronization a classic experiment on language processing was replicated, comparing the effect of a semantic violation in a sentence context with that of the manipulation of physical stimulus properties (font color). Here phase synchronization analysis detects a decrease of global synchronization for the semantic violation as well as an increase for the physical manipulation. In the latter case, by means of the multivariate analysis the global synchronization effect can be traced back to an interaction of symmetrically located brain areas.
The findings presented show that the method of phase synchronization analysis motivated by physics is able to provide a relevant contribution to the investigation of event-related potentials in the cognitive sciences. T2 - Phase synchronization analysis of event-related brain potentials in language processing KW - Synchronisation KW - EEG KW - Sprachverarbeitung KW - Multivariate Analyse KW - synchronization KW - EEG KW - language processing KW - multivariate analysis Y1 - 2004 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-0001873 ER - TY - THES A1 - Ziehe, Andreas T1 - Blind source separation based on joint diagonalization of matrices with applications in biomedical signal processing T1 - Blinde Signalquellentrennung beruhend auf simultaner Diagonalisierung von Matrizen mit Anwendungen in der biomedizinischen Signalverarbeitung T1 - Blinde Signalquellentrennung beruhend auf simultaner Diagonalisierung von Matrizen mit Anwendungen in der biomedizinischen Signalverarbeitung N2 - This thesis is concerned with the solution of the blind source separation problem (BSS). The BSS problem occurs frequently in various scientific and technical applications. In essence, it consists in separating meaningful underlying components out of a mixture of a multitude of superimposed signals. In the recent research literature there are two related approaches to the BSS problem: The first is known as Independent Component Analysis (ICA), where the goal is to transform the data such that the components become as independent as possible. The second is based on the notion of diagonality of certain characteristic matrices derived from the data. Here the goal is to transform the matrices such that they become as diagonal as possible. In this thesis we study the latter method of approximate joint diagonalization (AJD) to achieve a solution of the BSS problem. After an introduction to the general setting, the thesis provides an overview on particular choices for the set of target matrices that can be used for BSS by joint diagonalization. As the main contribution of the thesis, new algorithms for approximate joint diagonalization of several matrices with non-orthogonal transformations are developed. These newly developed algorithms will be tested on synthetic benchmark datasets and compared to other previous diagonalization algorithms. Applications of the BSS methods to biomedical signal processing are discussed and exemplified with real-life data sets of multi-channel biomagnetic recordings. N2 - Diese Arbeit befasst sich mit der Lösung des Problems der blinden Signalquellentrennung (BSS). Das BSS Problem tritt häufig in vielen wissenschaftlichen und technischen Anwendungen auf. Im Kern besteht das Problem darin, aus einem Gemisch von überlagerten Signalen die zugrundeliegenden Quellsignale zu extrahieren. In wissenschaftlichen Publikationen zu diesem Thema werden hauptsächlich zwei Lösungsansätze verfolgt: Ein Ansatz ist die sogenannte "Analyse der unabhängigen Komponenten", die zum Ziel hat, eine lineare Transformation V der Daten X zu finden, sodass die Komponenten Un der transformierten Daten U = V X (die sogenannten "independent components") so unabhängig wie möglich sind. Ein anderer Ansatz beruht auf einer simultanen Diagonalisierung mehrerer spezieller Matrizen, die aus den Daten gebildet werden. Diese Möglichkeit der Lösung des Problems der blinden Signalquellentrennung bildet den Schwerpunkt dieser Arbeit. Als Hauptbeitrag der vorliegenden Arbeit präsentieren wir neue Algorithmen zur simultanen Diagonalisierung mehrerer Matrizen mit Hilfe einer nicht-orthogonalen Transformation. Die neu entwickelten Algorithmen werden anhand von numerischen Simulationen getestet und mit bereits bestehenden Diagonalisierungsalgorithmen verglichen. Es zeigt sich, dass unser neues Verfahren sehr effizient und leistungsfähig ist. Schließlich werden Anwendungen der BSS Methoden auf Probleme der biomedizinischen Signalverarbeitung erläutert und anhand von realistischen biomagnetischen Messdaten wird die Nützlichkeit in der explorativen Datenanalyse unter Beweis gestellt. KW - Signaltrennung KW - Mischung KW - Diagonalisierung KW - Bioelektrisches Signal KW - Magnetoencephalographie KW - Elektroencephalographie KW - Signalquellentrennung KW - Matrizen-Eigenwertaufgabe KW - Simultane Diagonalisierung KW - Optimierungsproblem KW - blind source separation KW - BSS KW - ICA KW - independent component analysis KW - approximate joint diagonalization KW - EEG KW - MEG Y1 - 2005 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-5694 ER - TY - THES A1 - Dornhege, Guido T1 - Increasing information transfer rates for brain-computer interfacing T1 - Erhöhung der Informationstransferrate einer Gehirn-Computer-Schnittstelle N2 - The goal of a Brain-Computer Interface (BCI) consists of the development of a unidirectional interface between a human and a computer to allow control of a device only via brain signals. While the BCI systems of almost all other groups require the user to be trained over several weeks or even months, the group of Prof. Dr. Klaus-Robert Müller in Berlin and Potsdam, which I belong to, was one of the first research groups in this field which used machine learning techniques on a large scale. The adaptivity of the processing system to the individual brain patterns of the subject confers huge advantages for the user. Thus BCI research is considered a hot topic in machine learning and computer science. It requires interdisciplinary cooperation between disparate fields such as neuroscience, since only by combining machine learning and signal processing techniques based on neurophysiological knowledge will the largest progress be made. In this work I particularly deal with my part of this project, which lies mainly in the area of computer science. I have considered the following three main points: Establishing a performance measure based on information theory: I have critically illuminated the assumptions of Shannon's information transfer rate for application in a BCI context. By establishing suitable coding strategies I was able to show that this theoretical measure approximates quite well to what is practically achieveable. Transfer and development of suitable signal processing and machine learning techniques: One substantial component of my work was to develop several machine learning and signal processing algorithms to improve the efficiency of a BCI. Based on the neurophysiological knowledge that several independent EEG features can be observed for some mental states, I have developed a method for combining different and maybe independent features which improved performance. In some cases the performance of the combination algorithm outperforms the best single performance by more than 50 %. Furthermore, I have theoretically and practically addressed via the development of suitable algorithms the question of the optimal number of classes which should be used for a BCI. It transpired that with BCI performances reported so far, three or four different mental states are optimal. For another extension I have combined ideas from signal processing with those of machine learning since a high gain can be achieved if the temporal filtering, i.e., the choice of frequency bands, is automatically adapted to each subject individually. Implementation of the Berlin brain computer interface and realization of suitable experiments: Finally a further substantial component of my work was to realize an online BCI system which includes the developed methods, but is also flexible enough to allow the simple realization of new algorithms and ideas. So far, bitrates of up to 40 bits per minute have been achieved with this system by absolutely untrained users which, compared to results of other groups, is highly successful. N2 - Ein Brain-Computer Interface (BCI) ist eine unidirektionale Schnittstelle zwischen Mensch und Computer, bei der ein Mensch in der Lage ist, ein Gerät einzig und allein Kraft seiner Gehirnsignale zu steuern. In den BCI Systemen fast aller Forschergruppen wird der Mensch in Experimenten über Wochen oder sogar Monaten trainiert, geeignete Signale zu produzieren, die vordefinierten allgemeinen Gehirnmustern entsprechen. Die BCI Gruppe in Berlin und Potsdam, der ich angehöre, war in diesem Feld eine der ersten, die erkannt hat, dass eine Anpassung des Verarbeitungssystems an den Menschen mit Hilfe der Techniken des Maschinellen Lernens große Vorteile mit sich bringt. In unserer Gruppe und mittlerweile auch in vielen anderen Gruppen wird BCI somit als aktuelles Forschungsthema im Maschinellen Lernen und folglich in der Informatik mit interdisziplinärer Natur in Neurowissenschaften und anderen Feldern verstanden, da durch die geeignete Kombination von Techniken des Maschinellen Lernens und der Signalverarbeitung basierend auf neurophysiologischem Wissen der größte Erfolg erzielt werden konnte. In dieser Arbeit gehe ich auf meinem Anteil an diesem Projekt ein, der vor allem im Informatikbereich der BCI Forschung liegt. Im Detail beschäftige ich mich mit den folgenden drei Punkten: Diskussion eines informationstheoretischen Maßes für die Güte eines BCI's: Ich habe kritisch die Annahmen von Shannon's Informationsübertragungsrate für die Anwendung im BCI Kontext beleuchtet. Durch Ermittlung von geeigneten Kodierungsstrategien konnte ich zeigen, dass dieses theoretische Maß den praktisch erreichbaren Wert ziemlich gut annähert. Transfer und Entwicklung von geeigneten Techniken aus dem Bereich der Signalverarbeitung und des Maschinellen Lernens: Eine substantielle Komponente meiner Arbeit war die Entwicklung von Techniken des Machinellen Lernens und der Signalverarbeitung, um die Effizienz eines BCI's zu erhöhen. Basierend auf dem neurophysiologischem Wissen, dass verschiedene unabhängige Merkmale in Gehirnsignalen für verschiedene mentale Zustände beobachtbar sind, habe ich eine Methode zur Kombination von verschiedenen und unter Umständen unabhängigen Merkmalen entwickelt, die sehr erfolgreich die Fähigkeiten eines BCI's verbessert. Besonders in einigen Fällen übertraf die Leistung des entwickelten Kombinationsalgorithmus die beste Leistung auf den einzelnen Merkmalen mit mehr als 50 %. Weiterhin habe ich theoretisch und praktisch durch Einführung geeigneter Algorithmen die Frage untersucht, wie viele Klassen man für ein BCI nutzen kann und sollte. Auch hier wurde ein relevantes Resultat erzielt, nämlich dass für BCI Güten, die bis heute berichtet sind, die Benutzung von 3 oder 4 verschiedenen mentalen Zuständen in der Regel optimal im Sinne von erreichbarer Leistung sind. Für eine andere Erweiterung wurden Ideen aus der Signalverarbeitung mit denen des Maschinellen Lernens kombiniert, da ein hoher Erfolg erzielt werden kann, wenn der temporale Filter, d.h. die Wahl des benutzten Frequenzbandes, automatisch und individuell für jeden Menschen angepasst wird. Implementation des Berlin Brain-Computer Interfaces und Realisierung von geeigneten Experimenten: Eine weitere wichtige Komponente meiner Arbeit war eine Realisierung eines online BCI Systems, welches die entwickelten Methoden umfasst, aber auch so flexibel ist, dass neue Algorithmen und Ideen einfach zu verwirklichen sind. Bis jetzt wurden mit diesem System Bitraten von bis zu 40 Bits pro Minute von absolut untrainierten Personen in ihren ersten BCI Experimenten erzielt. Dieses Resultat übertrifft die bisher berichteten Ergebnisse aller anderer BCI Gruppen deutlich.
Bemerkung: Der Autor wurde mit dem Michelson-Preis 2005/2006 für die beste Promotion des Jahrgangs der Mathematisch-Naturwissenschaftlichen Fakultät der Universität Potsdam ausgezeichnet. KW - Kybernetik KW - Maschinelles Lernen KW - Gehirn-Computer-Schnittstelle KW - BCI KW - EEG KW - Spatio-Spectral Filter KW - Feedback KW - Multi-Class KW - Classification KW - Signal Processing KW - Brain Computer Interface KW - Information Transfer Rate KW - Machine Learning KW - Single Trial Analysis KW - Feature Combination KW - Common Spatial Pattern Y1 - 2006 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-7690 ER - TY - JOUR A1 - Dornhege, Guido A1 - Blankertz, Benjamin A1 - Krauledat, Matthias A1 - Losch, Florian A1 - Curio, Gabriel A1 - Müller, Klaus-Robert T1 - Combined optimization of spatial and temporal filters for improving brain-computer interfacing JF - IEEE transactions on bio-medical electronics N2 - Brain-computer interface (BCI) systems create a novel communication channel from the brain to an output de ice by bypassing conventional motor output pathways of nerves and muscles. Therefore they could provide a new communication and control option for paralyzed patients. Modern BCI technology is essentially based on techniques for the classification of single-trial brain signals. Here we present a novel technique that allows the simultaneous optimization of a spatial and a spectral filter enhancing discriminability rates of multichannel EEG single-trials. The evaluation of 60 experiments involving 22 different subjects demonstrates the significant superiority of the proposed algorithm over to its classical counterpart: the median classification error rate was decreased by 11%. Apart from the enhanced classification, the spatial and/or the spectral filter that are determined by the algorithm can also be used for further analysis of the data, e.g., for source localization of the respective brain rhythms. KW - brain-computer interface KW - common spatial patterns KW - EEG KW - event-related desynchronization KW - single-trial-analysis Y1 - 2006 U6 - https://doi.org/10.1109/TBME.2006.883649 SN - 0018-9294 VL - 53 IS - 11 SP - 2274 EP - 2281 PB - IEEE CY - New York ER - TY - BOOK A1 - Dambacher, Michael T1 - Bottom-up and top-down processes in reading : influences of frequency and predictability on event-related potentials and eye movements N2 - In reading, word frequency is commonly regarded as the major bottom-up determinant for the speed of lexical access. Moreover, language processing depends on top-down information, such as the predictability of a word from a previous context. Yet, however, the exact role of top-down predictions in visual word recognition is poorly understood: They may rapidly affect lexical processes, or alternatively, influence only late post-lexical stages. To add evidence about the nature of top-down processes and their relation to bottom-up information in the timeline of word recognition, we examined influences of frequency and predictability on event-related potentials (ERPs) in several sentence reading studies. The results were related to eye movements from natural reading as well as to models of word recognition. As a first and major finding, interactions of frequency and predictability on ERP amplitudes consistently revealed top-down influences on lexical levels of word processing (Chapters 2 and 4). Second, frequency and predictability mediated relations between N400 amplitudes and fixation durations, pointing to their sensitivity to a common stage of word recognition; further, larger N400 amplitudes entailed longer fixation durations on the next word, a result providing evidence for ongoing processing beyond a fixation (Chapter 3). Third, influences of presentation rate on ERP frequency and predictability effects demonstrated that the time available for word processing critically co-determines the course of bottom-up and top-down influences (Chapter 4). Fourth, at a near-normal reading speed, an early predictability effect suggested the rapid comparison of top-down hypotheses with the actual visual input (Chapter 5). The present results are compatible with interactive models of word recognition assuming that early lexical processes depend on the concerted impact of bottom-up and top-down information. We offered a framework that reconciles the findings on a timeline of word recognition taking into account influences of frequency, predictability, and presentation rate (Chapter 4). N2 - Wortfrequenz wird in der Leseforschung als wesentliche Bottom-up Determinante für die Geschwindigkeit des lexikalischen Zugriffs betrachtet. Darüber hinaus spielen Top-down Informationen, wie die kontextbasierte Wortvorhersagbarkeit, in der Sprachverarbeitung eine wichtige Rolle. Bislang ist die exakte Bedeutung von Top-down Vorhersagen in der visuellen Worterkennung jedoch unzureichend verstanden: Es herrscht Uneinigkeit darüber, ob ausschließlich späte post-lexikalische, oder auch frühe lexikalische Verarbeitungsstufen durch Vorhersagbarkeit beeinflusst werden. Um ein besseres Verständnis von Top-down Prozessen und deren Zusammenhänge mit Bottom-up Informationen in der Worterkennung zu gewährleisten, wurden in der vorliegenden Arbeit Einflüsse von Frequenz und Vorhersagbarkeit auf ereigniskorrelierte Potentiale (EKPs) untersucht. Die Ergebnisse aus mehreren Satzlesestudien wurden mit Blickbewegungen beim natürlichen Lesen sowie mit Modellen der Worterkennung in Beziehung gesetzt. Als primärer Befund zeigten sich in EKP Amplituden konsistent Interaktionen zwischen Frequenz und Vorhersagbarkeit. Die Ergebnisse deuten auf Top-down Einflüsse während lexikalischer Wortverarbeitungsstufen hin (Kapitel 2 und 4). Zweitens mediierten Frequenz und Vorhersagbarkeit Zusammenhänge zwischen N400 Amplituden und Fixationsdauern; die Modulation beider abhängigen Maße lässt auf eine gemeinsame Wortverarbeitungsstufe schließen. Desweiteren signalisierten längere Fixationsdauern nach erhöhten N400 Amplituden das Andauern der Wortverarbeitung über die Dauer einer Fixation hinaus (Kapitel 3). Drittens zeigten sich Einflüsse der Präsentationsrate auf Frequenz- und Vorhersagbarkeitseffekte in EKPs. Der Verlauf von Bottom-up und Top-down Prozessen wird demnach entscheidend durch die zur Wortverarbeitung verfügbaren Zeit mitbestimmt (Kapitel 4). Viertens deutete ein früher Vorhersagbarkeitseffekt bei einer leseähnlichen Präsentationsgeschwindigkeit auf den schnellen Abgleich von Top-down Vorhersagen mit dem tatsächlichen visuellen Input hin (Kapitel 5). Die Ergebnisse sind mit interaktiven Modellen der Worterkennung vereinbar, nach welchen Bottom-up und Top-down Informationen gemeinsam frühe lexikalische Verarbeitungsstufen beeinflussen. Unter Berücksichtigung der Effekte von Frequenz, Vorhersagbarkeit und Präsentationsgeschwindigkeit wird ein Modell vorgeschlagen, das die vorliegenden Befunde zusammenführt (Kapitel 4). T3 - Potsdam Cognitive Science Series - 1 KW - Lesen KW - visuelle Worterkennung KW - Bottom-up KW - Top-down KW - Frequenz KW - Vorhersagbarkeit KW - Stimulus-Onset Asynchrony KW - EEG KW - ereigniskorrelierte Potentiale KW - reading KW - visual word recognition KW - bottom-up KW - top-down KW - frequency KW - predictability KW - stimulus-onset asynchrony KW - EEG KW - event-related potentials Y1 - 2010 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-42024 SN - 978-3-86956-059-5 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - JOUR A1 - Dimigen, Olaf A1 - Sommer, Werner A1 - Hohlfeld, Annette A1 - Jacobs, Arthur M. A1 - Kliegl, Reinhold T1 - Coregistration of eye movements and EEG in natural reading analyses and review JF - Journal of experimental psychology : General N2 - Brain-electric correlates of reading have traditionally been studied with word-by-word presentation, a condition that eliminates important aspects of the normal reading process and precludes direct comparisons between neural activity and oculomotor behavior. In the present study, we investigated effects of word predictability on eye movements (EM) and fixation-related brain potentials (FRPs) during natural sentence reading. Electroencephalogram (EEG) and EM (via video-based eye tracking) were recorded simultaneously while subjects read heterogeneous German sentences, moving their eyes freely over the text. FRPs were time-locked to first-pass reading fixations and analyzed according to the cloze probability of the currently fixated word. We replicated robust effects of word predictability on EMs and the N400 component in FRPs. The data were then used to model the relation among fixation duration, gaze duration, and N400 amplitude, and to trace the time course of EEG effects relative to effects in EM behavior. In an extended Methodological Discussion section, we review 4 technical and data-analytical problems that need to be addressed when FRPs are recorded in free-viewing situations (such as reading, visual search, or scene perception) and propose solutions. Results suggest that EEG recordings during normal vision are feasible and useful to consolidate findings from EEG and eye-tracking studies. KW - EEG KW - eye tracking KW - fixation-related potentials KW - artifact correction KW - natural viewing Y1 - 2011 U6 - https://doi.org/10.1037/a0023885 SN - 0096-3445 VL - 140 IS - 4 SP - 552 EP - 572 PB - American Psychological Association CY - Washington ER - TY - JOUR A1 - Dimigen, Olaf A1 - Kliegl, Reinhold A1 - Sommer, Werner T1 - Trans-saccadic parafoveal preview benefits in fluent reading: A study with fixation-related brain potentials JF - NeuroImage : a journal of brain function N2 - During natural reading, a parafoveal preview of the upcoming word facilitates its subsequent recognition (e.g., shorter fixation durations compared to masked preview) but nothing is known about the neural correlates of this so-called preview benefit. Furthermore, while the evidence is strong that readers preprocess orthographic features of upcoming words, it is controversial whether word meaning can also be accessed parafoveally. We investigated the timing, scope, and electrophysiological correlates of parafoveal information use in reading by simultaneously recording eye movements and fixation-related brain potentials (FRPs) while participants read word lists fluently from left to right. For one word the target (e.g., "blade") parafoveal information was manipulated by showing an identical ("blade"), semantically related ("knife"), or unrelated ("sugar") word as preview. In boundary trials, the preview was shown parafoveally but changed to the correct target word during the incoming saccade. Replicating classic findings, target words were fixated shorter after identical previews. In the EEG, this benefit was reflected in an occipitotemporal preview positivity between 200 and 280 ms. In contrast, there was no facilitation from related previews. In parafoveal-on-foveal trials, preview and target were embedded at neighboring list positions without a display change. Consecutive fixation of two related words produced N400 priming effects, but only shortly (160 ms) after the second word was directly fixated. Results demonstrate that neural responses to words are substantially altered by parafoveal preprocessing under normal reading conditions. We found no evidence that word meaning contributes to these effects. Saccade-contingent display manipulations can be combined with EEG recordings to study extrafoveal perception in vision. KW - EEG KW - Eye tracking KW - Active vision KW - Eye-fixation-related potentials (EFRP) KW - Parafoveal vision KW - Boundary technique Y1 - 2012 U6 - https://doi.org/10.1016/j.neuroimage.2012.04.006 SN - 1053-8119 SN - 1095-9572 VL - 62 IS - 1 SP - 381 EP - 393 PB - Elsevier CY - San Diego ER - TY - JOUR A1 - Kühnpast, Nicole A1 - Gramann, Klaus A1 - Pollatos, Olga T1 - Electrophysiologic evidence for multilevel deficits in emotional face processing in patients with Bulimia Nervosa JF - Psychosomatic medicine N2 - Background: Empirical evidence suggests substantial deficits regarding emotion recognition in bulimia nervosa (BN). The aim of the current study was to investigate electrophysiologic evidence for deficits in emotional face processing in patients with BN. Methods: Event-related potentials were recorded from 13 women with BN and 13 matched healthy controls while viewing neutral, happy, fearful, and angry facial expressions. Participants' recognition performance for emotional faces was tested in a subsequent categorization task. In addition, the degree of alexithymia, depression, and anxiety were assessed via questionnaires. Results: Categorization of emotional faces was hampered in BN (p = .01). Amplitudes of event-related potentials differed during emotional face processing: face-specific N170 amplitudes were less pronounced for angry faces in patients with BN (mean [M] [standard deviation {SD}] = 1.46 [0.56] mu V versus M [SD] = -1.23 [0.61] mu V, p = .02). In contrast, P3 amplitudes were more pronounced in patients with BN as compared with controls (M [SD] = 2.64 [0.46] mu V versus M [SD] = 1.25 [0.39] mu V, p = .04), independent of emotional expression. Conclusions: The study provides novel electrophysiologic data showing that emotional faces are processed differently in patients with BN as compared with healthy controls. We suggest that deficits in early automatic emotion classification in BN are followed by an increased allocation of attentional resources to compensate for those deficits. These findings might contribute to a better understanding of the impaired social functioning in BN. KW - eating disorders KW - bulimia nervosa KW - EEG KW - emotions KW - face recognition KW - N170 KW - N2 KW - P3 Y1 - 2012 U6 - https://doi.org/10.1097/PSY.0b013e31825ca15a SN - 0033-3174 VL - 74 IS - 7 SP - 736 EP - 744 PB - Lippincott Williams & Wilkins CY - Philadelphia ER - TY - THES A1 - Metzner, Paul-Philipp T1 - Eye movements and brain responses in natural reading T1 - Blickbewegungen und Hirnströme im natürlichen Lesen N2 - Intuitively, it is clear that neural processes and eye movements in reading are closely connected, but only few studies have investigated both signals simultaneously. Instead, the usual approach is to record them in separate experiments and to subsequently consolidate the results. However, studies using this approach have shown that it is feasible to coregister eye movements and EEG in natural reading and contributed greatly to the understanding of oculomotor processes in reading. The present thesis builds upon that work, assessing to what extent coregistration can be helpful for sentence processing research. In the first study, we explore how well coregistration is suited to study subtle effects common to psycholinguistic experiments by investigating the effect of distance on dependency resolution. The results demonstrate that researchers must improve the signal-to-noise ratio to uncover more subdued effects in coregistration. In the second study, we compare oscillatory responses in different presentation modes. Using robust effects from world knowledge violations, we show that the generation and retrieval of memory traces may differ between natural reading and word-by-word presentation. In the third study, we bridge the gap between our knowledge of behavioral and neural responses to integration difficulties in reading by analyzing the EEG in the context of regressive saccades. We find the P600, a neural indicator of recovery processes, when readers make a regressive saccade in response to integration difficulties. The results in the present thesis demonstrate that coregistration can be a useful tool for the study of sentence processing. However, they also show that it may not be suitable for some questions, especially if they involve subtle effects. N2 - Es erscheint offensichtlich, dass neuronale Prozesse und Blickbewegungen im Lesen eng miteinander verwoben sind, aber nur wenige Studien haben beide Signale simultan betrachtet. Der übliche Ansatz ist, sie stattdessen in separaten Esxperimenten aufzuzeichnen und die Ergebnisse anschließend miteinander zu vereinbaren. Es wurde jedoch bereits gezeigt, dass Blickbewegungen und EEG im natürlichen Lesen koregistriert werden können; Studien, die diesen Ansatzes verfolgen, haben entscheidend zum Verständnis okulomotorischer Prozesse beim Lesen beigetragen. Von diesen Studien ausgehend erörtert die vorliegende Dissertation, inwieweit Koregistrierung auch für Satzverarbeitungsforschung nützlich sein kann. In der ersten Studie wird erörtert, wie gut Koregistrierung für die Erfassung schwacher Effekte geeignet ist, wie sie für psycholinguistische Experimente typisch sind. Die linguistische Fragestellung in dieser Studie ist, wie sich Distanz auf die Auflösung linguistischer Abhängigkeiten auswirkt. Die Ergebnisse verdeutlichen, dass Forscher den Signal-Rausch-Abstand erhöhen müssen, um kleinere Effekte mittels Koregistrierung zu erfassen. In der zweiten Studie werden neuronale Oszillationen in unterschiedlichen Präsentationsformen untersucht. Mithilfe robuster Effekte in Reaktion auf Weltwissensverletzungen wird gezeigt, dass Enkodierung und Abruf von Gedächtnisspuren sich zwischen natürlichem und wortweisem Lesen unterscheidet. In der dritten Studie wird eine Verbindung zwischen behavioralen und elektrophysiologischen Reaktionen auf Integrationsschwierigkeiten im Lesen hergestellt. Hierzu wird das EEG in An- und Abwesenheit regressiver Sakkaden analysiert. Die P600, eine neuronale Reflektion von Reparaturprozessen, ist nur im Kontext von regressiven Sakkaden in Reaktion auf Integrationsschwierigkeiten zu beobachen. Die Ergebnisse der vorliegenden Arbeit demonstrieren, dass Koregistrierung eine vielversprechende Methode für die Satzverarbeitungsforschung ist. Sie zeigen jedoch auch, dass Koregistrierung sich nicht für jede Fragestellung eignet, insbesondere, wenn schwache Effekte zu erwarten sind. KW - natural reading KW - sentence processing KW - eye tracking KW - EEG KW - coregistration KW - dependency resolution KW - neural oscillations KW - regressive saccades KW - natürliches Lesen KW - Satzverarbeitung KW - Blickbewegungen KW - EEG KW - Koregistrierung KW - Abhängigkeitsauflösung KW - neuronale Oszillationen KW - regressive Sakkaden Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-82806 ER -