TY - THES A1 - Kuhnke, Philipp T1 - The neural basis of conceptual knowledge retrieval T1 - Die neuronale Basis der Konzeptverarbeitung BT - insights from fMRI & TMS in the healthy human brain BT - Einblicke durch fMRT & TMS im gesunden menschlichen Gehirn N2 - Conceptual knowledge about objects, people and events in the world is central to human cognition, underlying core cognitive abilities such as object recognition and use, and word comprehension. Previous research indicates that concepts consist of perceptual and motor features represented in modality-specific perceptual-motor brain regions. In addition, cross-modal convergence zones integrate modality-specific features into more abstract conceptual representations. However, several questions remain open: First, to what extent does the retrieval of perceptual-motor features depend on the concurrent task? Second, how do modality-specific and cross-modal regions interact during conceptual knowledge retrieval? Third, which brain regions are causally relevant for conceptually-guided behavior? This thesis addresses these three key issues using functional magnetic resonance imaging (fMRI) and transcranial magnetic stimulation (TMS) in the healthy human brain. Study 1 - an fMRI activation study - tested to what extent the retrieval of sound and action features of concepts, and the resulting engagement of auditory and somatomotor brain regions depend on the concurrent task. 40 healthy human participants performed three different tasks - lexical decision, sound judgment, and action judgment - on words with a high or low association to sounds and actions. We found that modality-specific regions selectively respond to task-relevant features: Auditory regions selectively responded to sound features during sound judgments, and somatomotor regions selectively responded to action features during action judgments. Unexpectedly, several regions (e.g. the left posterior parietal cortex; PPC) exhibited a task-dependent response to both sound and action features. We propose these regions to be "multimodal", and not "amodal", convergence zones which retain modality-specific information. Study 2 - an fMRI connectivity study - investigated the functional interaction between modality-specific and multimodal areas during conceptual knowledge retrieval. Using the above fMRI data, we asked (1) whether modality-specific and multimodal regions are functionally coupled during sound and action feature retrieval, (2) whether their coupling depends on the task, (3) whether information flows bottom-up, top-down, or bidirectionally, and (4) whether their coupling is behaviorally relevant. We found that functional coupling between multimodal and modality-specific areas is task-dependent, bidirectional, and relevant for conceptually-guided behavior. Left PPC acted as a connectivity "switchboard" that flexibly adapted its coupling to task-relevant modality-specific nodes. Hence, neuroimaging studies 1 and 2 suggested a key role of left PPC as a multimodal convergence zone for conceptual knowledge. However, as neuroimaging is correlational, it remained unknown whether left PPC plays a causal role as a multimodal conceptual hub. Therefore, study 3 - a TMS study - tested the causal relevance of left PPC for sound and action feature retrieval. We found that TMS over left PPC selectively impaired action judgments on low sound-low action words, as compared to sham stimulation. Computational simulations of the TMS-induced electrical field revealed that stronger stimulation of left PPC was associated with worse performance on action, but not sound, judgments. These results indicate that left PPC causally supports conceptual processing when action knowledge is task-relevant and cannot be compensated by sound knowledge. Our findings suggest that left PPC is specialized for action knowledge, challenging the view of left PPC as a multimodal conceptual hub. Overall, our studies support "hybrid theories" which posit that conceptual processing involves both modality-specific perceptual-motor regions and cross-modal convergence zones. In our new model of the conceptual system, we propose conceptual processing to rely on a representational hierarchy from modality-specific to multimodal up to amodal brain regions. Crucially, this hierarchical system is flexible, with different regions and connections being engaged in a task-dependent fashion. Our model not only reconciles the seemingly opposing grounded cognition and amodal theories, it also incorporates task dependency of conceptually-related brain activity and connectivity, thereby resolving several current issues on the neural basis of conceptual knowledge retrieval. N2 - Konzeptuelles Wissen über Objekte, Menschen und Ereignisse in der Welt ist zentral für die menschliche Kognition. So unterliegt es kognitiven Fähigkeiten wie der Objekterkennung und -benutzung und dem Wortverständnis. Die bisherige Forschung legt nahe, dass Konzepte aus perzeptuellen und motorischen Merkmalen bestehen, die in modalitätsspezifischen perzeptuell-motorischen Hirnregionen repräsentiert sind. Darüber hinaus integrieren crossmodale Konvergenzzonen modalitätsspezifische Merkmale in abstraktere konzeptuelle Repräsentationen. Mehrere Fragen bleiben jedoch offen. Erstens: Inwiefern hängt die Aktivierung perzeptuell-motorischer Areale von der Aufgabe ab? Zweitens: Wie interagieren modalitätsspezifische und crossmodale Areale miteinander? Drittens: Welche Hirnregionen sind kausal relevant für konzeptgeleitetes Verhalten? Diese Dissertation adressiert diese Kernfragen mittels funktioneller Magnetresonanztomografie (fMRT) und transkranieller Magnetstimulation (TMS) im gesunden menschlichen Gehirn. Studie 1—eine fMRT Aktivierungsstudie—prüfte, inwiefern die Aktivierung von Geräusch– und Handlungsmerkmalen von der Aufgabe abhängt. Vierzig gesunde Probanden führten drei verschiedene Aufgaben—lexikalische Entscheidungen, Geräuschentscheidungen, Handlungsentscheidungen—bei Wörtern mit einer hohen oder niedrigen Assoziation zu Geräuschen und Handlungen aus. Die Ergebnisse zeigten, dass modalitätsspezifische Regionen selektiv für aufgabenrelevante Merkmale aktiv wurden: Auditorische Regionen aktivierten selektiv für Geräuschmerkmale während Geräuschentscheidungen. Somatomotorische Areale hingehen aktivierten selektiv für Handlungsmerkmale während Handlungsentscheidungen. Überraschenderweise zeigten mehrere Regionen (z.B. der linke posteriore Parietalkortex; PPC) aufgabenabhängige Aktivität für Geräusch- und Handlungsmerkmale. Wir schlagen vor, dass die Regionen „multimodale“ (und nicht „amodale“) Konvergenzzonen sind, die modalitätsspezifische Informationen behalten. Studie 2—eine fMRT Konnektivitätsstudie—untersuchte die funktionale Interaktion zwischen modalitätsspezifischen und multimodalen Arealen während der Konzeptverarbeitung. Mit denselben fMRT-Daten fragten wir, (1) ob modalitätsspezifische und multimodale Areale während der Verarbeitung von Geräusch- und Handlungsmerkmalen zusammenarbeiten, (2) ob deren Interaktion von der Aufgabe abhängt, (3) in welche Richtung die Information fließt und (4) ob die Interaktion das Verhalten der Probanden bestimmt. Wir fanden heraus, dass die funktionale Interaktion zwischen modalitätsspezifischen und multimodalen Arealen aufgabenabhängig, bidirektional und relevant für das Verhalten ist. Der linke PPC agierte als „Schaltstelle“, die flexibel ihre Konnektivität zu aufgabenrelevanten modalitätsspezifischen Knoten adaptierte. Studien 1 und 2 legen also eine zentrale Rolle des linken PPC als multimodale Konvergenzzone für konzeptuelles Wissen nahe. Da bildgebende Verfahren jedoch korrelativ sind, bleibt unklar, ob der linke LPP tatsächlich eine kausale Rolle als multimodales konzeptuelles Areal spielt. Studie 3—eine TMS Studie—testete daher die kausale Relevanz des linken PPC für Geräusch- und Handlungswissen. Die Ergebnisse zeigten, dass TMS über dem linken PPC (im Vergleich zu Placebo-Stimulation) selektiv Handlungsentscheidungen störte. Computersimulationen des TMS-induzierten elektrischen Feldes zeigten zudem, dass stärkere Stimulation des linken PPC mit schlechterer Verhaltensleistung bei Handlungsentscheidungen, aber nicht bei Geräuschentscheidungen, assoziiert war. Diese Ergebnisse deuten darauf hin, dass der linke PPC auf Handlungswissen spezialisiert ist, was die Sicht des PPC als multimodales konzeptuelles Areal herausfordert. Insgesamt unterstützen unsere Studien sogenannte Hybridtheorien, die vorschlagen, dass konzeptuelle Verarbeitung sowohl modalitätsspezifische als auch crossmodale Hirnregionen involviert. Unser neues Modell des konzeptuellen Systems postuliert, dass konzeptuelle Verarbeitung auf einer repräsentationalen Hierarchie von modalitätsspezifischen zu multimodalen bis hin zu amodalen Regionen basiert. Dieses hierarchische System ist flexibel, sodass verschiedene Regionen und Verbindungen in aufgabenabhängiger Weise aktiviert werden. Unser Modell bringt somit nicht nur die scheinbar widersprüchlichen grounded cognition und amodalen Theorien in Einklang, sondern es berücksichtigt auch die Aufgabenabhängigkeit von konzeptueller Hirnaktivität und -konnektivität und klärt so einige aktuelle Kernfragen zur neuronalen Basis der Konzeptverarbeitung. KW - neuroscience KW - cognitive science KW - cognition KW - semantics KW - concepts KW - fMRI KW - TMS KW - neuroimaging KW - brain stimulation KW - language KW - Kognition KW - Kognitionswissenschaft KW - Konzept KW - Gedächtnis KW - Semantik KW - Sprache KW - Bildgebung KW - Hirnstimulation KW - Neurostimulation KW - funktionelle Magnetresonanztomografie KW - fMRT KW - transkranielle Magnetstimulation KW - TMS Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-514414 ER - TY - THES A1 - Chujfi-La-Roche, Salim T1 - Human Cognition and natural Language Processing in the Digitally Mediated Environment N2 - Organizations continue to assemble and rely upon teams of remote workers as an essential element of their business strategy; however, knowledge processing is particular difficult in such isolated, largely digitally mediated settings. The great challenge for a knowledge-based organization lies not in how individuals should interact using technology but in how to achieve effective cooperation and knowledge exchange. Currently more attention has been paid to technology and the difficulties machines have processing natural language and less to studies of the human aspect—the influence of our own individual cognitive abilities and preferences on the processing of information when interacting online. This thesis draws on four scientific domains involved in the process of interpreting and processing massive, unstructured data—knowledge management, linguistics, cognitive science, and artificial intelligence—to build a model that offers a reliable way to address the ambiguous nature of language and improve workers’ digitally mediated interactions. Human communication can be discouragingly imprecise and is characterized by a strong linguistic ambiguity; this represents an enormous challenge for the computer analysis of natural language. In this thesis, I propose and develop a new data interpretation layer for the processing of natural language based on the human cognitive preferences of the conversants themselves. Such a semantic analysis merges information derived both from the content and from the associated social and individual contexts, as well as the social dynamics that emerge online. At the same time, assessment taxonomies are used to analyze online comportment at the individual and community level in order to successfully identify characteristics leading to greater effectiveness of communication. Measurement patterns for identifying effective methods of individual interaction with regard to individual cognitive and learning preferences are also evaluated; a novel Cyber-Cognitive Identity (CCI)—a perceptual profile of an individual’s cognitive and learning styles—is proposed. Accommodation of such cognitive preferences can greatly facilitate knowledge management in the geographically dispersed and collaborative digital environment. Use of the CCI is proposed for cognitively labeled Latent Dirichlet Allocation (CLLDA), a novel method for automatically labeling and clustering knowledge that does not rely solely on probabilistic methods, but rather on a fusion of machine learning algorithms and the cognitive identities of the associated individuals interacting in a digitally mediated environment. Advantages include: a greater perspicuity of dynamic and meaningful cognitive rules leading to greater tagging accuracy and a higher content portability at the sentence, document, and corpus level with respect to digital communication. N2 - Zunehmend bauen Organisationen Telearbeit als zentrales Element ihrer Geschäftsstrategie auf. Allerdings führt die Wissensverarbeitung in solchen digital vermittelnden -weitegehend aber nicht interaktiv strukturierten- Kontexten zu Schwierigkeiten. Dabei liegt die wesentliche Herausforderung für wissensbasierte Organisationen nicht in der Frage, wie Individuen mithilfe von Technologien zusammenarbeiten sollten, sondern darin, wie effektiv die Zusammenarbeit und ein effektiver Wissensaustausch zu erreichen sind. Gegenwärtige Untersuchungen fokussieren weit mehr auf Technologien selbst als auf den menschlichen Voraussetzungen von kognitiven Fähigkeiten und Präferenzen bei der online basierten Zusammenarbeit. Genauso ist der Umstand noch nicht hinreichend berücksichtigt worden, dass Natural Language Processing (NLP) den generellen Begleiterscheinungen von Sprache wie Missverständnissen und Mehrdeutigkeiten unterworfen ist. Diese Arbeit setzt auf vier wissenschaftlichen Feldern auf, die in der Verarbeitung und Interpretation von großen, teils unstrukturierten Datenmengen wesentlich sind: Wissensmanagement, Kognitionswissenschaft, Linguistik und Künstliche Intelligenz. Auf dieser breiten Grundlage wird ein Modell angeboten, das auf verlässliche Art, den nicht-deterministischen Charakter von Sprache betont und vor diesem Hintergrund Verbesserungspotentiale digital gestützter Zusammenarbeit aufzeigt. Menschliche Kommunikation kann entmutigend unpräzise sein und ist von linguistischer Mehrdeutigkeit geprägt. Dies bildet eine wesentliche Herausforderung für die computertechnische Analyse natürlicher Sprache. In dieser Arbeit entwickle ich unter Berücksichtigung kognitiver Präferenzen von Gesprächspartnern den Vorschlag für einen neuen Interpretationsansatz von Daten. Im Rahmen dieser semantischen Analyse werden Informationen zusammengeführt, die sowohl den zu vermittelnden Inhalt als auch die damit verbundenen sozialen und individuellen Kontexte, sowie die Gruppendynamik im Online-Umfeld einbeziehen. Gleichzeitig werden Bewertungstaxonomien verwendet, um das Online-Verhalten sowohl auf individueller wie gruppendynamischer Ebene zu analysieren, um darin Merkmale für eine größere Effektivität der Kommunikation zu identifizieren. Es werden Muster zur Identifizierung und Messung wirksamer Methoden der Interaktion in Hinblick auf individuelle kognitive und lernpsychologische Präferenzen bewertet. Hierzu wird der Begriff einer Cyber-Cognitive Identity (CCI) vorgeschlagen, der unterschiedliche Wahrnehmungsprofile kognitiver und lernpsychologischer Stile verschiedener Individuen beschreibt. Die Bezugnahme auf solche kognitiven Präferenzen kann das Wissensmanagement in geografisch verteilten, kollaborativen digitalen Umgebungen erheblich erleichtern und damit das Wissensaustausch verbessern. Cognitive Labeled Latent Dirichlet Allocation (CLLDA) wird als generatives Wahrscheinlichkeitsmodell für die automatische Kennzeichnung und Clusterbildung von CCI-gewonnenen Profilen verwendet. Dabei dominieren methodologisch die Kognitionstypen gegenüber den Wahrscheinlichkeitsaspekten. Mit der Einführung und Weiterverarbeitung des CCI-Begriffs wird der bisherige Forschungsstand um ein fundiertes Verfahrensmodell erweitert, das eine Grundlage für sich potentiell anschließende Forschungsarbeiten und praktische Anwendungen bietet. KW - cognitive science KW - natural language processing KW - knowledge management KW - thinking styles KW - artificial intelligence KW - Kognitionswissenschaft KW - Verarbeitung natürlicher Sprache KW - Wissensmanagement KW - Denkstile KW - künstliche Intelligenz Y1 - 2020 ER -