TY - THES A1 - Verdiani, Silvia T1 - Silenzio, immagini e parole. La costruzione del significato nella multimodalità digitale T1 - Stille, Bilder und Wörter. Die Bedeutungskonstitution in der digitalen Multimodalität T1 - SILENCE, IMAGES AND WORDS. The construction of meaning in digital multimodality. N2 - Internetsprache weist besondere Merkmale auf, denn neben dem verbalen Text sind auch andere Elemente wichtig: die Reaktionszeit, das Fehlen einer Antwort sowie die umfangreiche Verwendung von Bild- und Multimedia-Elementen. Greg Myers (2010: 15) verwendet in diesem Zusammenhang den Begriff – und das Sprachspiel – aural materials: Bild-, Multimedia- und Sprachmaterial haben im Computer Mediated Communication (CMC) als Referent ein bestimmtes Interpretationsfeld. In dieser Perspektive funktioniert verbale Sprache als Aktivator der möglichen inferentialen Wege und Kontexte innerhalb unserer Welt. Wichtig sind die Kultur- und Lebenserfahrungen der Teilnehmer (Basile 2012: 21), die uns ermöglichen die Nachricht zu verstehen und an der Kommunikation teilzunehmen. Die indexikalische Rolle der verbalen Sprache in Bezug auf Bilder und Multimedia, so wie sie in der Online-Kommunikation verwendet wird, ist von zentraler Bedeutung. Die Einbeziehung dieser Referenzdatei erregt die Aufmerksamkeit der Leser: Das Multimedia-Material ist sowohl ein integraler Bestandteil der Interaktion als auch deren Ausdrucksweise, Focus des Gesprächs und gemeinsame Bildsprache. Die Anwendungsbereiche sind vielfältig, denn der Prozess des Bildlesens ist in der Rezeption, aber auch in der künstlerischen Produktion, in der Werbung, der politischen Propaganda und darüber hinaus in der multimedialen Kommunikation präsent. Die Konglomerate von Sprache und Bild sind in der Lage, komplexe Begriffe zu synthetisieren, aber auch in der Erinnerung der Empfänger genau zu haften, und zwar aufgrund ihres gemischten Codes und ihrer synästhetischen Natur. Dies ist funktional für die digitale Kommunikation, die sich auf die phatischen und spielerischen Aspekte der Interaktion konzentriert. Die Auswirkungen auf die sprachliche Verwendung sind zweifellos einer der interessantesten und aktuellsten Aspekte dieser Art von hybriden Kommunikation, die Neuheit liegt nicht so sehr in der Wahl einer medienübergreifenden expressiven Dimension – auch in der Vergangenheit vielseitig bezeugt –, sondern in ihrer aktuellen Verbreitung, denn sie ist in der Tat die normale kommunikative Dimension für eine immer größere Anzahl von Benutzern geworden. N2 - What happens when different linguistic awareness, apart from being separated from the era, from the geographical area of origin or from social differentiation, is not only pertinent to different linguistic dimensions, but also to different semiotic domains? This is what occurs every time we communicate on a social network: digital interaction is, in fact, the hybrid field of communication par excellence, in which a mixture of different languages is superimposed on different codes. It is precisely the new expressive needs and the new communicative situations that push towards linguistic innovations; it therefore seems interesting to take into account the importance assumed by the visual repertoire in the spontaneous use of new media as well as the particular strategies of construction of the meaning that cannot be separated from these second dimensions. The role of digital communication has been addressed through research using different scientific perspectives: this project investigates how different research areas, apparently distant from each other, can productively interact with the scientific landscape of language sciences, of image and communication. We should be aware of these other functions of the language in digital use to be able to deal with all the innovations connected to it without prejudice. The indexical function of language has a crucial role in the use of verbal language on the Internet, which is associated with the presence of a shared archive of reference and determines a new kind of inferentiality in the receiver. Online Conversation, in fact, allows actions that are not necessarily present in the vis-a-vis verbal exchange, but which are instead specific to FB, Twitter, G +, Instagram, Flickr and other social networks: the sharing of various multimedia material, the option to retrieve messages related to a specific topic and the possibility to gloss it. The multimedia material thus becomes simultaneously an integral part of the communication and expressive modality, focus of the discourse and shared metaphorical language. We are faced with a metamorphosis of the media communication structure that overlaps written text and image. The digital dimension assumed by communication in recent years has made it possible to focus more clearly on the model of these conglomerates. Internet, especially social media, in fact, allows us to observe these conglomerates of language and image while speakers spontaneously create them. This research proposes a transversal path that considers all the semiotic domains normally involved in digital communication, proposing the formulation of an updated model of the dynamics of linguistic hybridization of the current digital dimension. N2 - Cosa avviene quando coscienze linguistiche distinte, oltre ad essere separate dall’epoca, dall’area geografica di provenienza o dalla differenziazione sociale, dalle diverse dimensioni linguistiche, appartengono anche a domini semiotici diversi? È quel che accade ogni volta che comunichiamo in rete, l’interazione digitale è infatti l’ambito di comunicazione ibrido per eccellenza: in esso alla mescolanza di lingue diverse si sovrappone la mescolanza di codici diversi. Partendo dal presupposto che siano i nuovi bisogni espressivi e le nuove situazioni comunicative a spingere verso le innovazioni linguistiche, sembra dunque interessante tener conto del rilievo assunto dal repertorio visuale – e più in generale multimodale – nell’uso spontaneo dei nuovi media e constatare come le particolari strategie di costruzione del significato attualmente in atto non possano ormai più prescindere da queste seconde dimensioni. Del loro peso nell’uso digitale della lingua è bene avere consapevolezza per affrontare senza pregiudizi tutte le novità ad essa connesse. Un ruolo di centrale importanza nell’approccio al linguaggio verbale in Internet è legato alla funzione indessicale della lingua che, unito alla presenza di un archivio di riferimento di conoscenze del mondo condiviso, innesca un nuovo tipo d’inferenzialità nel ricevente. La conversazione attraverso i social network consente infatti azioni che non necessariamente sono presenti nello scambio vis-a-vis, ma che invece sono peculiari di Facebook, Twitter, G+, Instagram, Flickr e in generale dei social network: la condivisione di materiale multimediale di vario genere, l’opzione di richiamare i messaggi relativi a un tema specifico e la possibilità di glossarlo. Il materiale multimediale diventa così al tempo stesso parte integrante della comunicazione e modalità espressiva, focus del discorso e linguaggio metaforico condiviso. Questo lavoro di ricerca indaga come ambiti di ricerca diversi, e apparentemente distanti fra loro, possano interagire produttivamente con il panorama scientifico delle scienze del linguaggio, dell’immagine e della comunicazione, giungendo alla formulazione di un modello aggiornato dell'ibridazione linguistica che caratterizza la comunicazione in rete. KW - Iconolinguistica KW - Germanistica KW - Romanistica KW - Linguistica cognitiva KW - Linguistica digitale multimodale KW - Pragmatica KW - Semantica KW - Linguistica del testo KW - Politolinguistica KW - Semiotica KW - Testologia semiotica KW - Bildlinguistik KW - Germanistik KW - Romanistik KW - Kognitive Linguistik KW - Digitale multimodale Linguistik KW - Pragmatik KW - Semantik KW - Textlinguistik KW - Politolinguistik KW - Semiotik KW - Semiotische Textologie KW - Image studies KW - German Studies KW - Romance Studies KW - Cognitive linguistics KW - Digital Multimodal Linguistics KW - Pragmatics KW - Semantics KW - Text Linguistics KW - Politolinguistics KW - Semiotics KW - Semiotic Testology Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-523590 SN - 9788875901516 ER - TY - THES A1 - Kuhnke, Philipp T1 - The neural basis of conceptual knowledge retrieval T1 - Die neuronale Basis der Konzeptverarbeitung BT - insights from fMRI & TMS in the healthy human brain BT - Einblicke durch fMRT & TMS im gesunden menschlichen Gehirn N2 - Conceptual knowledge about objects, people and events in the world is central to human cognition, underlying core cognitive abilities such as object recognition and use, and word comprehension. Previous research indicates that concepts consist of perceptual and motor features represented in modality-specific perceptual-motor brain regions. In addition, cross-modal convergence zones integrate modality-specific features into more abstract conceptual representations. However, several questions remain open: First, to what extent does the retrieval of perceptual-motor features depend on the concurrent task? Second, how do modality-specific and cross-modal regions interact during conceptual knowledge retrieval? Third, which brain regions are causally relevant for conceptually-guided behavior? This thesis addresses these three key issues using functional magnetic resonance imaging (fMRI) and transcranial magnetic stimulation (TMS) in the healthy human brain. Study 1 - an fMRI activation study - tested to what extent the retrieval of sound and action features of concepts, and the resulting engagement of auditory and somatomotor brain regions depend on the concurrent task. 40 healthy human participants performed three different tasks - lexical decision, sound judgment, and action judgment - on words with a high or low association to sounds and actions. We found that modality-specific regions selectively respond to task-relevant features: Auditory regions selectively responded to sound features during sound judgments, and somatomotor regions selectively responded to action features during action judgments. Unexpectedly, several regions (e.g. the left posterior parietal cortex; PPC) exhibited a task-dependent response to both sound and action features. We propose these regions to be "multimodal", and not "amodal", convergence zones which retain modality-specific information. Study 2 - an fMRI connectivity study - investigated the functional interaction between modality-specific and multimodal areas during conceptual knowledge retrieval. Using the above fMRI data, we asked (1) whether modality-specific and multimodal regions are functionally coupled during sound and action feature retrieval, (2) whether their coupling depends on the task, (3) whether information flows bottom-up, top-down, or bidirectionally, and (4) whether their coupling is behaviorally relevant. We found that functional coupling between multimodal and modality-specific areas is task-dependent, bidirectional, and relevant for conceptually-guided behavior. Left PPC acted as a connectivity "switchboard" that flexibly adapted its coupling to task-relevant modality-specific nodes. Hence, neuroimaging studies 1 and 2 suggested a key role of left PPC as a multimodal convergence zone for conceptual knowledge. However, as neuroimaging is correlational, it remained unknown whether left PPC plays a causal role as a multimodal conceptual hub. Therefore, study 3 - a TMS study - tested the causal relevance of left PPC for sound and action feature retrieval. We found that TMS over left PPC selectively impaired action judgments on low sound-low action words, as compared to sham stimulation. Computational simulations of the TMS-induced electrical field revealed that stronger stimulation of left PPC was associated with worse performance on action, but not sound, judgments. These results indicate that left PPC causally supports conceptual processing when action knowledge is task-relevant and cannot be compensated by sound knowledge. Our findings suggest that left PPC is specialized for action knowledge, challenging the view of left PPC as a multimodal conceptual hub. Overall, our studies support "hybrid theories" which posit that conceptual processing involves both modality-specific perceptual-motor regions and cross-modal convergence zones. In our new model of the conceptual system, we propose conceptual processing to rely on a representational hierarchy from modality-specific to multimodal up to amodal brain regions. Crucially, this hierarchical system is flexible, with different regions and connections being engaged in a task-dependent fashion. Our model not only reconciles the seemingly opposing grounded cognition and amodal theories, it also incorporates task dependency of conceptually-related brain activity and connectivity, thereby resolving several current issues on the neural basis of conceptual knowledge retrieval. N2 - Konzeptuelles Wissen über Objekte, Menschen und Ereignisse in der Welt ist zentral für die menschliche Kognition. So unterliegt es kognitiven Fähigkeiten wie der Objekterkennung und -benutzung und dem Wortverständnis. Die bisherige Forschung legt nahe, dass Konzepte aus perzeptuellen und motorischen Merkmalen bestehen, die in modalitätsspezifischen perzeptuell-motorischen Hirnregionen repräsentiert sind. Darüber hinaus integrieren crossmodale Konvergenzzonen modalitätsspezifische Merkmale in abstraktere konzeptuelle Repräsentationen. Mehrere Fragen bleiben jedoch offen. Erstens: Inwiefern hängt die Aktivierung perzeptuell-motorischer Areale von der Aufgabe ab? Zweitens: Wie interagieren modalitätsspezifische und crossmodale Areale miteinander? Drittens: Welche Hirnregionen sind kausal relevant für konzeptgeleitetes Verhalten? Diese Dissertation adressiert diese Kernfragen mittels funktioneller Magnetresonanztomografie (fMRT) und transkranieller Magnetstimulation (TMS) im gesunden menschlichen Gehirn. Studie 1—eine fMRT Aktivierungsstudie—prüfte, inwiefern die Aktivierung von Geräusch– und Handlungsmerkmalen von der Aufgabe abhängt. Vierzig gesunde Probanden führten drei verschiedene Aufgaben—lexikalische Entscheidungen, Geräuschentscheidungen, Handlungsentscheidungen—bei Wörtern mit einer hohen oder niedrigen Assoziation zu Geräuschen und Handlungen aus. Die Ergebnisse zeigten, dass modalitätsspezifische Regionen selektiv für aufgabenrelevante Merkmale aktiv wurden: Auditorische Regionen aktivierten selektiv für Geräuschmerkmale während Geräuschentscheidungen. Somatomotorische Areale hingehen aktivierten selektiv für Handlungsmerkmale während Handlungsentscheidungen. Überraschenderweise zeigten mehrere Regionen (z.B. der linke posteriore Parietalkortex; PPC) aufgabenabhängige Aktivität für Geräusch- und Handlungsmerkmale. Wir schlagen vor, dass die Regionen „multimodale“ (und nicht „amodale“) Konvergenzzonen sind, die modalitätsspezifische Informationen behalten. Studie 2—eine fMRT Konnektivitätsstudie—untersuchte die funktionale Interaktion zwischen modalitätsspezifischen und multimodalen Arealen während der Konzeptverarbeitung. Mit denselben fMRT-Daten fragten wir, (1) ob modalitätsspezifische und multimodale Areale während der Verarbeitung von Geräusch- und Handlungsmerkmalen zusammenarbeiten, (2) ob deren Interaktion von der Aufgabe abhängt, (3) in welche Richtung die Information fließt und (4) ob die Interaktion das Verhalten der Probanden bestimmt. Wir fanden heraus, dass die funktionale Interaktion zwischen modalitätsspezifischen und multimodalen Arealen aufgabenabhängig, bidirektional und relevant für das Verhalten ist. Der linke PPC agierte als „Schaltstelle“, die flexibel ihre Konnektivität zu aufgabenrelevanten modalitätsspezifischen Knoten adaptierte. Studien 1 und 2 legen also eine zentrale Rolle des linken PPC als multimodale Konvergenzzone für konzeptuelles Wissen nahe. Da bildgebende Verfahren jedoch korrelativ sind, bleibt unklar, ob der linke LPP tatsächlich eine kausale Rolle als multimodales konzeptuelles Areal spielt. Studie 3—eine TMS Studie—testete daher die kausale Relevanz des linken PPC für Geräusch- und Handlungswissen. Die Ergebnisse zeigten, dass TMS über dem linken PPC (im Vergleich zu Placebo-Stimulation) selektiv Handlungsentscheidungen störte. Computersimulationen des TMS-induzierten elektrischen Feldes zeigten zudem, dass stärkere Stimulation des linken PPC mit schlechterer Verhaltensleistung bei Handlungsentscheidungen, aber nicht bei Geräuschentscheidungen, assoziiert war. Diese Ergebnisse deuten darauf hin, dass der linke PPC auf Handlungswissen spezialisiert ist, was die Sicht des PPC als multimodales konzeptuelles Areal herausfordert. Insgesamt unterstützen unsere Studien sogenannte Hybridtheorien, die vorschlagen, dass konzeptuelle Verarbeitung sowohl modalitätsspezifische als auch crossmodale Hirnregionen involviert. Unser neues Modell des konzeptuellen Systems postuliert, dass konzeptuelle Verarbeitung auf einer repräsentationalen Hierarchie von modalitätsspezifischen zu multimodalen bis hin zu amodalen Regionen basiert. Dieses hierarchische System ist flexibel, sodass verschiedene Regionen und Verbindungen in aufgabenabhängiger Weise aktiviert werden. Unser Modell bringt somit nicht nur die scheinbar widersprüchlichen grounded cognition und amodalen Theorien in Einklang, sondern es berücksichtigt auch die Aufgabenabhängigkeit von konzeptueller Hirnaktivität und -konnektivität und klärt so einige aktuelle Kernfragen zur neuronalen Basis der Konzeptverarbeitung. KW - neuroscience KW - cognitive science KW - cognition KW - semantics KW - concepts KW - fMRI KW - TMS KW - neuroimaging KW - brain stimulation KW - language KW - Kognition KW - Kognitionswissenschaft KW - Konzept KW - Gedächtnis KW - Semantik KW - Sprache KW - Bildgebung KW - Hirnstimulation KW - Neurostimulation KW - funktionelle Magnetresonanztomografie KW - fMRT KW - transkranielle Magnetstimulation KW - TMS Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-514414 ER - TY - THES A1 - Wittenberg, Eva T1 - With Light Verb Constructions from Syntax to Concepts T1 - Mit Funktionsverbgefügen von der Syntax zur konzeptuellen Struktur N2 - This dissertation uses a common grammatical phenomenon, light verb constructions (LVCs) in English and German, to investigate how syntax-semantics mapping defaults influence the relationships between language processing, representation and conceptualization. LVCs are analyzed as a phenomenon of mismatch in the argument structure. The processing implication of this mismatch are experimentally investigated, using ERPs and a dual task. Data from these experiments point to an increase in working memory. Representational questions are investigated using structural priming. Data from this study suggest that while the syntax of LVCs is not different from other structures’, the semantics and mapping are represented differently. This hypothesis is tested with a new categorization paradigm, which reveals that the conceptual structure that LVC evoke differ in interesting, and predictable, ways from non-mismatching structures’. N2 - Diese Dissertation untersucht mittels psycho- und neurolinguistischer Experimente, wie deutsche und englische Funktionsverbgefüge (’light verb constructions’) mental repräsentiert und verarbeitet werden. Funktionsverbgefüge sind Konstruktionen wie einen Kuss geben, in denen die Semantik überwiegend durch die Nominalisierung Kuss geliefert wird, während das Funktionsverb geben lediglich den syntaktischen Rahmen und grammatische Marker, aber nur wenige Bedeutungsaspekte beiträgt. T3 - Potsdam Cognitive Science Series - 7 KW - light verb constructions KW - syntax KW - semantics KW - event-related potential KW - priming KW - Syntax KW - Semantik KW - Sprachverarbeitung KW - Funktionsverbgefüge KW - Priming Y1 - 2016 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-82361 SN - 978-3-86956-329-9 SN - 2190-4545 SN - 2190-4553 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - THES A1 - Hohenstein, Sven T1 - Eye movements and processing of semantic information in the parafovea during reading T1 - Blickbewegungen und die Verarbeitung semantischer Informationen in der Parafovea beim Lesen N2 - When we read a text, we obtain information at different levels of representation from abstract symbols. A reader’s ultimate aim is the extraction of the meaning of the words and the text. The reserach of eye movements in reading covers a broad range of psychological systems, ranging from low-level perceptual and motor processes to high-level cognition. Reading of skilled readers proceeds highly automatic, but is a complex phenomenon of interacting subprocesses at the same time. The study of eye movements during reading offers the possibility to investigate cognition via behavioral measures during the excercise of an everyday task. The process of reading is not limited to the directly fixated (or foveal) word but also extends to surrounding (or parafoveal) words, particularly the word to the right of the gaze position. This process may be unconscious, but parafoveal information is necessary for efficient reading. There is an ongoing debate on whether processing of the upcoming word encompasses word meaning (or semantics) or only superficial features. To increase the knowledge about how the meaning of one word helps processing another word, seven experiments were conducted. In these studies, words were exachanged during reading. The degree of relatedness between the word to the right of the currently fixated one and the word subsequently fixated was experimentally manipulated. Furthermore, the time course of the parafoveal extraction of meaning was investigated with two different approaches, an experimental one and a statistical one. As a major finding, fixation times were consistently lower if a semantically related word was presented compared to the presence of an unrelated word. Introducing an experimental technique that allows controlling the duration for which words are available, the time course of processing and integrating meaning was evaluated. Results indicated both facilitation and inhibition due to relatedness between the meanings of words. In a more natural reading situation, the effectiveness of the processing of parafoveal words was sometimes time-dependent and substantially increased with shorter distances between the gaze position and the word. Findings are discussed with respect to theories of eye-movement control. In summary, the results are more compatible with models of distributed word processing. The discussions moreover extend to language differences and technical issues of reading research. N2 - Wenn wir einen Text lesen, erfassen wir Informationen auf verschiedenen Repräsentationsebenen anhand abstrakter Symbole. Das oberste Ziel des Lesers ist das Erfassen der Bedeutung der Worte und des Textes. Die Erforschung der Blickbewegungen beim Lesen umfasst verschiedene Verarbeitungsebenen, die von Warhnehmung über motorische Prozesse bis hin zu Kognition auf übergeordneter Ebene reichen. Das Lesen geübter Leser verläuft zum großen Teil automatisch, ist aber gleichzeitig ein komplexes Phänomen interagierender Teilprozesse. Die Untersuchung von Blickbewegungen beim Lesen eröffnet die Möglichkeit, kognitive Prozesse bei der Ausübung einer alltäglichen Aufgabe anhand von Verhaltensmaßen zu untersuchen. Der Leseprozess ist nicht beschränkt auf das direkt fixierte (oder foveale) Wort, sondern umfasst auch umgebende (oder parafoveale) Wörter, insbesondere das Wort rechts der Blickposition. Obgleich dies nicht notwendigerweise bewusst geschieht, ist die parafoveale Information dennoch wichtig für effizientes Lesen. Es wird darüber diskutiert, ob die Verarbeitung des nächsten Wortes die Wortbedeutung (Semantik) oder nur oberflächliche Eigenschaften umfasst. Um ein besseres Verständnis zu erhalten, ob die Bedeutung eines Wortes bei der Verarbeitung eines anderen Wortes hilft, wurden sieben Experimente durchgeführt. In diesen Studien wurde ein Wort im Satz während des Lesens ausgetauscht. Der inhaltliche Zusammenhang zwischen einer parafoveal präsentierten Vorschau und dem anschließend fixierten Zielwort wurde experimentell manipuliert. Außerdem wurde der zeitliche Verlauf der Bedeutungserfassung aus parafovealen Wörtern mit zwei Ansätzen untersucht, einem experimentellen und einem statistischen. Als primärer Befund zeigte sich, dass die Fixationszeiten durchweg kürzer waren, wenn ein semantisch verwandtes Wort als Vorschau präsentiert wurde, verglichen mit einem Wort ohne Verwandtschaft. Mit der in dieser Arbeit verwendeten experimentellen Vorgehensweise konnte zudem der zeitliche Verlauf des Verarbeitens und Integrierens von Bedeutung ermittelt wurde. Dabei ergaben sich kürzere Fixationszeiten auf dem Zielwort bei ähnlichen Wortbedeutungen und längere Fixationszeiten bei unterschiedlichen Wortbedeutungen. Die Ergebnisse zeigten sowohl leichtere als auch schwerere Verarbeitung in Folge der Ähnlichkeit von Wortbedeutungen. In einer natürlicheren Lesesituation war die Wirksamkeit der Verarbeitung nachfolgender Wörter teilweise abhängig von der Dauer der Vorschau, und sie war deutlich größer bei kürzerer räumlicher Distanz zwischen der Blickposition und der Vorschau. Die Befunde werden mit Blick auf Theorien der Blickbewegunskontrolle diskutiert. Die Ergebnisse sind stärker mit Modellen verteilter Wortverarbeitung vereinbar. Die Diskussion erstreckt sich außerdem auf Sprachunterschiede und technische Aspekte der Leseforschung. KW - Blickbewegungen KW - Lesen KW - parafoveale Verarbeitung KW - Semantik KW - eye movements KW - reading KW - parafoveal processing KW - semantics Y1 - 2013 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-70363 ER -