TY - GEN A1 - Burmester, Juliane A1 - Sauermann, Antje A1 - Spalek, Katharina A1 - Wartenburger, Isabell T1 - Sensitivity to salience BT - linguistic vs. visual cues affect sentence processing and pronoun resolution T2 - Postprints der Universität Potsdam : Humanwissenschaftliche Reihe N2 - Sentence comprehension is optimised by indicating entities as salient through linguistic (i.e., information-structural) or visual means. We compare how salience of a depicted referent due to a linguistic (i.e., topic status) or visual cue (i.e., a virtual person’s gaze shift) modulates sentence comprehension in German. We investigated processing of sentences with varying word order and pronoun resolution by means of self-paced reading and an antecedent choice task, respectively. Our results show that linguistic as well as visual salience cues immediately speeded up reading times of sentences mentioning the salient referent first. In contrast, for pronoun resolution, linguistic and visual cues modulated antecedent choice preferences less congruently. In sum, our findings speak in favour of a significant impact of linguistic and visual salience cues on sentence comprehension, substantiating that salient information delivered via language as well as the visual environment is integrated in the current mental representation of the discourse. T3 - Zweitveröffentlichungen der Universität Potsdam : Humanwissenschaftliche Reihe - 454 KW - topic status KW - eye gaze KW - visual context KW - reading times KW - antecedent choice Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-412838 IS - 454 ER - TY - JOUR A1 - Burmester, Juliane A1 - Spalek, Katharina A1 - Wartenburger, Isabell T1 - Context updating during sentence comprehension: The effect of aboutness topic JF - Brain & language : a journal of the neurobiology of language KW - Information structure KW - Discourse context KW - Aboutness topic KW - Sentence processing KW - Word order variation KW - ERP KW - Late positivity KW - Syntax-Discourse Model Y1 - 2014 U6 - https://doi.org/10.1016/j.bandl.2014.08.001 SN - 0093-934X SN - 1090-2155 VL - 137 SP - 62 EP - 76 PB - Elsevier CY - San Diego ER - TY - THES A1 - Burmester, Juliane T1 - Linguistic and visual salience in sentence comprehension T1 - Linguistische und visuelle Salienz im Satzverständnis BT - evidence from behavioural and electrophysiological studies BT - Evidenz aus behavioralen and elektrophysiologischen Studien N2 - Interlocutors typically link their utterances to the discourse environment and enrich communication by linguistic (e.g., information packaging) and extra-linguistic (e.g., eye gaze, gestures) means to optimize information transfer. Psycholinguistic studies underline that ‒for meaning computation‒ listeners profit from linguistic and visual cues that draw their focus of attention to salient information. This dissertation is the first work that examines how linguistic compared to visual salience cues influence sentence comprehension using the very same experimental paradigms and materials, that is, German subject-before-object (SO) and object-before-subject (OS) sentences, across the two cue modalities. Linguistic salience was induced by indicating a referent as the aboutness topic. Visual salience was induced by implicit (i.e., unconscious) or explicit (i.e., shared) manipulations of listeners’ attention to a depicted referent. In Study 1, a selective, facilitative impact of linguistic salience on the context-sensitive OS word order was found using offline comprehensibility judgments. More precisely, during online sentence processing, this impact was characterized by a reduced sentence-initial Late positivity which reflects reduced processing costs for updating the current mental representation of discourse. This facilitative impact of linguistic salience was not replicated by means of an implicit visual cue (Study 2) shown to modulate word order preferences during sentence production. However, a gaze shift to a depicted referent as an indicator of shared attention eased sentence-initial processing similar to linguistic salience as revealed by reduced reading times (Study 3). Yet, this cue did not modulate the strong subject-antecedent preference during later pronoun resolution like linguistic salience. Taken together, these findings suggest a significant impact of linguistic and visual salience cues on sentence comprehension, which substantiates that both the information delivered via language and via the visual environment is integrated into the mental representation of the discourse; but, the way how salience is induced is crucial to its impact. N2 - In der alltäglichen Kommunikation optimieren Gesprächspartner den Informationstransfer typischerweise durch linguistische und extra-linguistische, visuelle Hinweise (z.B. Blickbewegungen, Zeigegesten), mittels derer sie ihre Äußerungen mit dem Diskursumfeld verknüpfen. Psycholinguistische Studien unterstreichen, dass Zuhörer für das Verstehen von Sätzen sowohl von linguistischen als auch visuellen Hinweisreizen profitieren, die ihre Aufmerksamkeit auf saliente Informationen lenken. Ziel dieser Dissertation ist es, zu charakterisieren, ob und inwiefern visuelle im Vergleich zu linguistischer Salienz das Satzverständnis beeinflusst. Linguistische Salienz wurde durch das Einführen eines Referenten, als sog. Topik, induziert. Visuelle Salienz wurde durch implizite (unbewusste) oder explizite (bewusste) Manipulationen der Aufmerksamkeit von erwachsenen StudienteilnehmerInnen auf einen visuell abgebildeten Referenten hervorgerufen. Im Fokus der drei Studien dieser Dissertation steht die Untersuchung des Einflusses von linguistischer und visueller Salienz auf die satzinitiale Verarbeitung von kanonischen Subjekt-Verb-Objekt (SO)- und nicht-kanonischen Objekt-Verb-Subjekt (OS)-Sätzen im Deutschen, wobei in beiden Modalitäten dieselben experimentellen Paradigmen verwendet werden. Studie 1 liefert Evidenz für einen selektiven, erleichternden Einfluss von zuvor induzierter linguistischer Salienz auf das Verstehen von OS-Sätzen. Dieser Einfluss linguistischer Salienz zeigte sich sowohl nach der Präsentation der Zielsätze, nämlich anhand behavioraler Daten zur Beurteilung des Verständnisses, als auch während des Lesens von OS-Sätzen, nämlich in Form einer satzinitialen, reduzierten späten Positivierung (sog. Late Positivity) in den ereigniskorrelierten Potentialen der elektrophysiologischen Messung. Dieser erleichternde Einfluss der linguistischen Salienz wurde nicht durch die implizite, visuelle Manipulation der Aufmerksamkeit der StudienteilnehmerInnen auf einen visuell abgebildeten Referenten repliziert (Studie 2). In Studie 3 weist die explizite, intentionale Manipulation der Aufmerksamkeit der StudienteilnehmerInnen mittels der Blickbewegung einer (virtuellen) Person auf einen visuell abgebildeten Referenten jedoch auf eine satzinitiale Verarbeitungserleichterung in Form verkürzter Lesezeiten von SO- und OS-Sätzen hin. Dieser Effekt visueller Salienz ähnelte zwar dem Einfluss linguistischer Salienz während des satzinitialen Lesens, unterschied sich jedoch von dieser während der anschließenden Pronomeninterpretation. Zusammengefasst liefern die Ergebnisse dieser Dissertation Evidenz für einen signifikanten Einfluss linguistischer und visueller Salienz auf das Satzverständnis, wobei die kontextuelle Einbettung von Salienzmerkmalen eine entscheidende Rolle für die Integration von Information in die mentale Diskursrepräsentation spielt. KW - sentence processing KW - sentence comprehension KW - linguistic salience KW - visual salience KW - aboutness topic KW - German word order KW - information structure KW - discourse context KW - mental representation KW - Satzverarbeitung KW - Satzverständnis KW - linguistische Salienz KW - visuelle Salienz KW - Topik KW - Wortstellung im Deutschen KW - Informationsstruktur KW - Diskurskontext KW - mentale Repräsentation Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-443155 ER - TY - JOUR A1 - Burmester, Juliane A1 - Sauermann, Antje A1 - Spalek, Katharina A1 - Wartenburger, Isabell T1 - Sensitivity to salience BT - linguistic vs. visual cues affect sentence processing and pronoun resolution JF - Language, cognition and neuroscience N2 - Sentence comprehension is optimised by indicating entities as salient through linguistic (i.e., information-structural) or visual means. We compare how salience of a depicted referent due to a linguistic (i.e., topic status) or visual cue (i.e., a virtual person's gaze shift) modulates sentence comprehension in German. We investigated processing of sentences with varying word order and pronoun resolution by means of self-paced reading and an antecedent choice task, respectively. Our results show that linguistic as well as visual salience cues immediately speeded up reading times of sentences mentioning the salient referent first. In contrast, for pronoun resolution, linguistic and visual cues modulated antecedent choice preferences less congruently. In sum, our findings speak in favour of a significant impact of linguistic and visual salience cues on sentence comprehension, substantiating that salient information delivered via language as well as the visual environment is integrated in the current mental representation of the discourse. KW - Topic status KW - eye gaze KW - visual context KW - reading times KW - antecedent choice Y1 - 2018 U6 - https://doi.org/10.1080/23273798.2018.1428758 SN - 2327-3798 SN - 2327-3801 VL - 33 IS - 6 SP - 784 EP - 801 PB - Routledge, Taylor & Francis Group CY - Abingdon ER -