TY - THES A1 - Burmester, Juliane T1 - Linguistic and visual salience in sentence comprehension T1 - Linguistische und visuelle Salienz im Satzverständnis BT - evidence from behavioural and electrophysiological studies BT - Evidenz aus behavioralen and elektrophysiologischen Studien N2 - Interlocutors typically link their utterances to the discourse environment and enrich communication by linguistic (e.g., information packaging) and extra-linguistic (e.g., eye gaze, gestures) means to optimize information transfer. Psycholinguistic studies underline that ‒for meaning computation‒ listeners profit from linguistic and visual cues that draw their focus of attention to salient information. This dissertation is the first work that examines how linguistic compared to visual salience cues influence sentence comprehension using the very same experimental paradigms and materials, that is, German subject-before-object (SO) and object-before-subject (OS) sentences, across the two cue modalities. Linguistic salience was induced by indicating a referent as the aboutness topic. Visual salience was induced by implicit (i.e., unconscious) or explicit (i.e., shared) manipulations of listeners’ attention to a depicted referent. In Study 1, a selective, facilitative impact of linguistic salience on the context-sensitive OS word order was found using offline comprehensibility judgments. More precisely, during online sentence processing, this impact was characterized by a reduced sentence-initial Late positivity which reflects reduced processing costs for updating the current mental representation of discourse. This facilitative impact of linguistic salience was not replicated by means of an implicit visual cue (Study 2) shown to modulate word order preferences during sentence production. However, a gaze shift to a depicted referent as an indicator of shared attention eased sentence-initial processing similar to linguistic salience as revealed by reduced reading times (Study 3). Yet, this cue did not modulate the strong subject-antecedent preference during later pronoun resolution like linguistic salience. Taken together, these findings suggest a significant impact of linguistic and visual salience cues on sentence comprehension, which substantiates that both the information delivered via language and via the visual environment is integrated into the mental representation of the discourse; but, the way how salience is induced is crucial to its impact. N2 - In der alltäglichen Kommunikation optimieren Gesprächspartner den Informationstransfer typischerweise durch linguistische und extra-linguistische, visuelle Hinweise (z.B. Blickbewegungen, Zeigegesten), mittels derer sie ihre Äußerungen mit dem Diskursumfeld verknüpfen. Psycholinguistische Studien unterstreichen, dass Zuhörer für das Verstehen von Sätzen sowohl von linguistischen als auch visuellen Hinweisreizen profitieren, die ihre Aufmerksamkeit auf saliente Informationen lenken. Ziel dieser Dissertation ist es, zu charakterisieren, ob und inwiefern visuelle im Vergleich zu linguistischer Salienz das Satzverständnis beeinflusst. Linguistische Salienz wurde durch das Einführen eines Referenten, als sog. Topik, induziert. Visuelle Salienz wurde durch implizite (unbewusste) oder explizite (bewusste) Manipulationen der Aufmerksamkeit von erwachsenen StudienteilnehmerInnen auf einen visuell abgebildeten Referenten hervorgerufen. Im Fokus der drei Studien dieser Dissertation steht die Untersuchung des Einflusses von linguistischer und visueller Salienz auf die satzinitiale Verarbeitung von kanonischen Subjekt-Verb-Objekt (SO)- und nicht-kanonischen Objekt-Verb-Subjekt (OS)-Sätzen im Deutschen, wobei in beiden Modalitäten dieselben experimentellen Paradigmen verwendet werden. Studie 1 liefert Evidenz für einen selektiven, erleichternden Einfluss von zuvor induzierter linguistischer Salienz auf das Verstehen von OS-Sätzen. Dieser Einfluss linguistischer Salienz zeigte sich sowohl nach der Präsentation der Zielsätze, nämlich anhand behavioraler Daten zur Beurteilung des Verständnisses, als auch während des Lesens von OS-Sätzen, nämlich in Form einer satzinitialen, reduzierten späten Positivierung (sog. Late Positivity) in den ereigniskorrelierten Potentialen der elektrophysiologischen Messung. Dieser erleichternde Einfluss der linguistischen Salienz wurde nicht durch die implizite, visuelle Manipulation der Aufmerksamkeit der StudienteilnehmerInnen auf einen visuell abgebildeten Referenten repliziert (Studie 2). In Studie 3 weist die explizite, intentionale Manipulation der Aufmerksamkeit der StudienteilnehmerInnen mittels der Blickbewegung einer (virtuellen) Person auf einen visuell abgebildeten Referenten jedoch auf eine satzinitiale Verarbeitungserleichterung in Form verkürzter Lesezeiten von SO- und OS-Sätzen hin. Dieser Effekt visueller Salienz ähnelte zwar dem Einfluss linguistischer Salienz während des satzinitialen Lesens, unterschied sich jedoch von dieser während der anschließenden Pronomeninterpretation. Zusammengefasst liefern die Ergebnisse dieser Dissertation Evidenz für einen signifikanten Einfluss linguistischer und visueller Salienz auf das Satzverständnis, wobei die kontextuelle Einbettung von Salienzmerkmalen eine entscheidende Rolle für die Integration von Information in die mentale Diskursrepräsentation spielt. KW - sentence processing KW - sentence comprehension KW - linguistic salience KW - visual salience KW - aboutness topic KW - German word order KW - information structure KW - discourse context KW - mental representation KW - Satzverarbeitung KW - Satzverständnis KW - linguistische Salienz KW - visuelle Salienz KW - Topik KW - Wortstellung im Deutschen KW - Informationsstruktur KW - Diskurskontext KW - mentale Repräsentation Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-443155 ER - TY - THES A1 - Zona, Carlotta Isabella T1 - Visuo-linguistic integration for thematic-role assignment across speakers T1 - Visuell-linguistische Integration für die Zuweisung thematischer Rollen über Sprecher hinweg N2 - This dissertation examines the integration of incongruent visual-scene and morphological-case information (“cues”) in building thematic-role representations of spoken relative clauses in German. Addressing the mutual influence of visual and linguistic processing, the Coordinated Interplay Account (CIA) describes a mechanism in two steps supporting visuo-linguistic integration (Knoeferle & Crocker, 2006, Cog Sci). However, the outcomes and dynamics of integrating incongruent thematic-role representations from distinct sources have been investigated scarcely. Further, there is evidence that both second-language (L2) and older speakers may rely on non-syntactic cues relatively more than first-language (L1)/young speakers. Yet, the role of visual information for thematic-role comprehension has not been measured in L2 speakers, and only limitedly across the adult lifespan. Thematically unambiguous canonically ordered (subject-extracted) and noncanonically ordered (object-extracted) spoken relative clauses in German (see 1a-b) were presented in isolation and alongside visual scenes conveying either the same (congruent) or the opposite (incongruent) thematic relations as the sentence did. 1 a Das ist der Koch, der die Braut verfolgt. This is the.NOM cook who.NOM the.ACC bride follows This is the cook who is following the bride. b Das ist der Koch, den die Braut verfolgt. This is the.NOM cook whom.ACC the.NOM bride follows This is the cook whom the bride is following. The relative contribution of each cue to thematic-role representations was assessed with agent identification. Accuracy and latency data were collected post-sentence from a sample of L1 and L2 speakers (Zona & Felser, 2023), and from a sample of L1 speakers from across the adult lifespan (Zona & Reifegerste, under review). In addition, the moment-by-moment dynamics of thematic-role assignment were investigated with mouse tracking in a young L1 sample (Zona, under review). The following questions were addressed: (1) How do visual scenes influence thematic-role representations of canonical and noncanonical sentences? (2) How does reliance on visual-scene, case, and word-order cues vary in L1 and L2 speakers? (3) How does reliance on visual-scene, case, and word-order cues change across the lifespan? The results showed reliable effects of incongruence of visually and linguistically conveyed thematic relations on thematic-role representations. Incongruent (vs. congruent) scenes yielded slower and less accurate responses to agent-identification probes presented post-sentence. The recently inspected agent was considered as the most likely agent ~300ms after trial onset, and the convergence of visual scenes and word order enabled comprehenders to assign thematic roles predictively. L2 (vs. L1) participants relied more on word order overall. In response to noncanonical clauses presented with incongruent visual scenes, sensitivity to case predicted the size of incongruence effects better than L1-L2 grouping. These results suggest that the individual’s ability to exploit specific cues might predict their weighting. Sensitivity to case was stable throughout the lifespan, while visual effects increased with increasing age and were modulated by individual interference-inhibition levels. Thus, age-related changes in comprehension may stem from stronger reliance on visually (vs. linguistically) conveyed meaning. These patterns represent evidence for a recent-role preference – i.e., a tendency to re-assign visually conveyed thematic roles to the same referents in temporally coordinated utterances. The findings (i) extend the generalizability of CIA predictions across stimuli, tasks, populations, and measures of interest, (ii) contribute to specifying the outcomes and mechanisms of detecting and indexing incongruent representations within the CIA, and (iii) speak to current efforts to understand the sources of variability in sentence comprehension. N2 - Diese Dissertation untersucht die Integration inkongruenter visueller Szenen- und morphologisch-kasusbezogener Informationen ("Hinweise") beim Aufbau thematischer Rollenrepräsentationen gesprochener Relativsätze auf Deutsch. Das Coordinated Interplay Account (CIA) beschreibt einen Mechanismus in zwei Schritten zur Unterstützung der visuell-linguistischen Integration, der die wechselseitige Beeinflussung visueller und sprachlicher Verarbeitung adressiert (Knoeferle & Crocker, 2006, Cog Sci). Die Ergebnisse und Dynamiken der Integration inkongruenter thematischer Rollenrepräsentationen aus verschiedenen Quellen wurden jedoch kaum untersucht. Außerdem gibt es Hinweise darauf, dass sich sowohl Zweitsprachler (L2) als auch ältere Sprecher möglicherweise relativ stärker auf nicht-syntaktische Hinweise verlassen als Erstsprachler (L1)/jüngere Sprecher. Dennoch wurde die Rolle visueller Informationen für das Verständnis thematischer Rollen bei L2-Sprechern nicht gemessen und nur begrenzt über die gesamte Lebensspanne hinweg. Thematisch eindeutige, kanonisch geordnete (subjektausgezogene) und nichtkanonisch geordnete (objektausgezogene) gesprochene Relativsätze auf Deutsch (siehe 1a-b) wurden isoliert und zusammen mit visuellen Szenen präsentiert, die entweder dieselben (kongruente) oder entgegengesetzte (inkongruente) thematische Beziehungen wie der Satz vermittelten. Die relative Beitrag jedes Hinweises zur thematischen Rollenrepräsentation wurde durch die Identifizierung des Agenten bewertet. Genauigkeits- und Latenzdaten wurden nach dem Satz von einer Stichprobe von L1- und L2-Sprechern (Zona & Felser, 2023) sowie von einer Stichprobe von L1-Sprechern über die Lebensspanne hinweg (Zona & Reifegerste, in Überprüfung) gesammelt. Darüber hinaus wurden die momentane Dynamik der Zuweisung thematischer Rollen mit Mausverfolgung in einer jungen L1-Stichprobe untersucht (Zona, in Überprüfung). Die folgenden Fragen wurden adressiert: (1) Wie beeinflussen visuelle Szenen thematische Rollenrepräsentationen kanonischer und nichtkanonischer Sätze? (2) Wie variiert der Verlass auf visuelle Szenen, Kasus- und Wortstellungs-Hinweise bei L1- und L2-Sprechern? (3) Wie verändert sich der Verlass auf visuelle Szenen, Kasus- und Wortstellungs-Hinweise im Laufe des Lebens? Die Ergebnisse zeigten zuverlässige Effekte der Inkongruenz visuell und sprachlich vermittelter thematischer Beziehungen auf thematische Rollenrepräsentationen. Inkongruente (vs. kongruente) Szenen führten zu langsameren und weniger genauen Reaktionen auf Agentenidentifikationsproben, die nach dem Satz präsentiert wurden. Der kürzlich inspizierte Agent wurde etwa 300 ms nach Beginn des Versuchs als der wahrscheinlichste Agent betrachtet, und die Übereinstimmung von visuellen Szenen und Wortstellung ermöglichte es den Verstehenden, thematische Rollen vorherzusagen. L2-Teilnehmer (vs. L1) verließen sich insgesamt stärker auf die Wortstellung. Auf nichtkanonische Klauseln, die mit inkongruenten visuellen Szenen präsentiert wurden, sagte die Sensibilität für den Kasus die Größe der Inkongruenzeffekte besser vorher als die Einteilung in L1-L2. Diese Ergebnisse legen nahe, dass die Fähigkeit des Einzelnen, bestimmte Hinweise auszunutzen, ihr Gewicht vorhersagen könnte. Die Sensibilität für den Kasus blieb über die Lebensspanne hinweg stabil, während sich visuelle Effekte mit zunehmendem Alter verstärkten und durch individuelle Interferenz-Hemmungslevel moduliert wurden. Somit können altersbedingte Veränderungen im Verständnis von einer stärkeren Abhängigkeit von visuell (vs. sprachlich) vermittelter Bedeutung herrühren. Diese Muster stellen einen Beleg für eine Präferenz für kürzlich eingeführte Rollen dar - d. h. eine Tendenz, visuell vermittelte thematische Rollen den gleichen Referenten in zeitlich koordinierten Äußerungen neu zuzuweisen. Die Ergebnisse (i) erweitern die Verallgemeinerbarkeit der Vorhersagen des CIAs über Stimuli, Aufgaben, Populationen und Interessenmaße hinweg, (ii) tragen zur Spezifizierung der Ergebnisse und Mechanismen bei der Erkennung und Indizierung inkongruenter Repräsentationen innerhalb des CIAs bei und (iii) sprechen aktuelle Bemühungen an, die Quellen der Variabilität im Satzverständnis zu verstehen. KW - spoken sentence comprehension KW - visuo-linguistic integration KW - thematic-role assignment KW - Sprachverständnis KW - Zuweisung thematischer Rollen KW - visuell-linguistische Integration Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-631857 ER - TY - THES A1 - Knospe, Gloria-Mona T1 - Processing of pronouns and reflexives in Turkish-German bilinguals T1 - Die Verarbeitung von Personal- und Reflexivpronomen bei Deutsch-Türkisch-Bilingualen N2 - Previous studies on native language (L1) anaphor resolution have found that monolingual native speakers are sensitive to syntactic, pragmatic, and semantic constraints on pronouns and reflexive resolution. However, most studies have focused on English and other Germanic languages, and little is currently known about the online (i.e., real-time) processing of anaphors in languages with syntactically less restricted anaphors, such as Turkish. We also know relatively little about how 'non-standard' populations such as non-native (L2) speakers and heritage speakers (HSs) resolve anaphors. This thesis investigates the interpretation and real-time processing of anaphors in German and in a typologically different and as yet understudied language, Turkish. It compares hypotheses about differences between native speakers' (L1ers) and L2 speakers' (L2ers) sentence processing, looking into differences in processing mechanisms as well as the possibility of cross-linguistic influence. To help fill the current research gap regarding HS sentence comprehension, it compares findings for this group with those for L2ers. To investigate the representation and processing of anaphors in these three populations, I carried out a series of offline questionnaires and Visual-World eye-tracking experiments on the resolution of reflexives and pronouns in both German and Turkish. In the German experiments, native German speakers as well as L2ers of German were tested, while in the Turkish experiments, non-bilingual native Turkish speakers as well as HSs of Turkish with L2 German were tested. This allowed me to observe both cross-linguistic differences as well as population differences between monolinguals' and different types of bilinguals' resolution of anaphors. Regarding the comprehension of Turkish anaphors by L1ers, contrary to what has been previously assumed, I found that Turkish has no reflexive that follows Condition A of Binding theory (Chomsky, 1981). Furthermore, I propose more general cross-linguistic differences between Turkish and German, in the form of a stronger reliance on pragmatic information in anaphor resolution overall in Turkish compared to German. As for the processing differences between L1ers and L2ers of a language, I found evidence in support of hypotheses which propose that L2ers of German rely more strongly on non-syntactic information compared to L1ers (Clahsen & Felser, 2006, 2017; Cunnings, 2016, 2017) independent of a potential influence of their L1. HSs, on the other hand, showed a tendency to overemphasize interpretational contrasts between different Turkish anaphors compared to monolingual native speakers. However, lower-proficiency HSs were likely to merge different forms for simplified representation and processing. Overall, L2ers and HSs showed differences from monolingual native speakers both in their final interpretation of anaphors and during online processing. However, these differences were not parallel between the two types of bilingual and thus do not support a unified model of L2 and HS processing (cf. Montrul, 2012). The findings of this thesis contribute to the field of anaphor resolution by providing data from a previously unexplored language, Turkish, as well as contributing to research on native and non-native processing differences. My results also illustrate the importance of considering individual differences in the acquisition process when studying bilingual language comprehension. Factors such as age of acquisition, language proficiency and the type of input a language learner receives may influence the processing mechanisms they develop and employ, both between and within different bilingual populations. N2 - Bisherige Studien zur Auflösung von Anaphern in der Muttersprache (L1) zeigten, dass einsprachig aufgewachsene MuttersprachlerInnen syntaktische, pragmatische und semantische Beschränkungen berücksichtigen. Die meisten dieser Studien haben sich jedoch auf Englisch und andere germanische Sprachen konzentriert, und über die “Online”-Verarbeitung (d.h. Echtzeitverarbeitung) von Anaphern in Sprachen mit syntaktisch weniger eingeschränkten Anaphern, wie beispielsweise Türkisch, ist derzeit wenig bekannt. Wir wissen auch relativ wenig darüber, wie untypischere Populationen wie nicht-muttersprachliche (L2-) SprecherInnen und “Heritage"-SprecherInnen (HSer) Anaphern auflösen. Diese Arbeit untersucht die Interpretation und Echtzeitverarbeitung von Anaphern im Deutschen und in einer typologisch anderen und noch wenig untersuchten Sprache, dem Türkischen. Sie vergleicht Hypothesen über Unterschiede zwischen der Satzverarbeitung von MuttersprachlerInnen (L1er) und von L2-SprecherInnen (L2er), genauer Unterschiede in den Verarbeitungsmechanismen sowie die Möglichkeit eines Einflusses von einer Sprache auf die Verarbeitung in der anderen Sprache. Um die aktuelle Forschungslücke bezüglich des HSer-Satzverständnisses zu schließen, werden die Ergebnisse für diese Gruppe mit denen für L2er verglichen. Um die Repräsentation und Verarbeitung von Anaphern in diesen drei Populationen zu untersuchen, habe ich eine Reihe von Offline-Fragebögen und Visual-World Eye-Tracking-Experimenten zur Auflösung von Reflexivpronomen und Personalpronomen im Deutschen und Türkischen durchgeführt. In den deutschen Experimenten wurden sowohl deutsche MuttersprachlerInnen als auch L2er getestet, während in den türkischen Experimenten einsprachig aufgewachsene türkische MuttersprachlerInnen sowie HSer des Türkischen mit Deutsch als L2 getestet wurden. Dies ermöglichte es mir, sowohl Unterschiede zwischen den Sprachen als auch Populationsunterschiede zwischen monolingualen und verschiedenen Arten von bilingualen SprecherInnen bei der Verarbeitung von Anaphern zu beobachten. Was das Verständnis der türkischen Anaphern durch L1er betrifft, so habe ich im Gegensatz zu früheren Annahmen festgestellt, dass das Türkische kein Reflexivpronomen hat, das dem Prinzip A der Bindungstheorie folgt (Chomsky, 1981). Darüber hinaus schlage ich allgemeinere Unterschiede zwischen Türkisch und Deutsch vor, und zwar in Form eines stärkeren Einflusses pragmatischer Informationen in der Anapherauflösung im Türkischen im Vergleich zum Deutschen. Was die Verarbeitungsunterschiede zwischen L1ern und L2ern einer Sprache betrifft, so fand ich Belege für Hypothesen, die vorschlagen, dass L2er des Deutschen sich stärker auf nichtsyntaktische Informationen verlassen als L1er (Clahsen & Felser, 2006, 2017; Cunnings, 2016, 2017), unabhängig von einem möglichen Einfluss ihrer L1. HSer hingegen zeigten eine Tendenz zur Überbetonung von Interpretationskontrasten zwischen verschiedenen türkischen Anaphern im Vergleich zu einsprachigen Muttersprachlern. Allerdings neigten HSer mit geringeren Sprachkenntnissen dazu, die Unterschiede zwischen Formen zu vereinfachen, indem sie die unterschiedlichen Anaphern sowohl in der Interpretation und in der Verarbeitung gleichbehandelten. Insgesamt zeigten L2er und HSer sowohl in der endgültigen Interpretation von Anaphern als auch bei der Online-Verarbeitung Unterschiede zu monolingualen MuttersprachlerInnen. Diese Unterschiede waren jedoch nicht gleichförmig zwischen den beiden Arten von Bilingualen und unterstützen daher kein einheitliches Modell der L2- und HS-Verarbeitung (vgl. Montrul, 2012). Die Ergebnisse dieser Arbeit tragen durch die Bereitstellung von Daten aus einer bisher unerforschten Sprache, Türkisch, zum Forschungsfeld der Anapherauflösung bei, und leisten außerdem einen Beitrag zur Forschung über Unterschiede in der Verarbeitung zwischen MuttersprachlerInnen und Nicht-MuttersprachlerInnen. Meine Ergebnisse verdeutlichen auch die Bedeutung der Berücksichtigung individueller Unterschiede im Erwerbsprozess bei der Erforschung des bilingualen Sprachverständnisses. Faktoren wie das Erwerbsalter, die Sprachkenntnisse und die Art des Inputs, den SprachlernerInnen erhalten, können die Verarbeitungsmechanismen beeinflussen, die sie entwickeln und anwenden, und somit zu Unterschieden sowohl zwischen als auch innerhalb verschiedener bilingualer Bevölkerungsgruppen führen. KW - language processing KW - bilingualism KW - anaphors KW - eye-tracking KW - visual world KW - pronouns KW - reflexives KW - Sprachverarbeitung KW - Bilingualismus KW - Anaphern KW - Eye-Tracking KW - Visual World KW - Pronomen KW - Reflexivpronomen Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-436442 ER -