Carlotta Isabella Zona

• This dissertation examines the integration of incongruent visual-scene and morphological-case information (“cues”) in building thematic-role representations of spoken relative clauses in German. Addressing the mutual influence of visual and linguistic processing, the Coordinated Interplay Account (CIA) describes a mechanism in two steps supporting visuo-linguistic integration (Knoeferle & Crocker, 2006, Cog Sci). However, the outcomes and dynamics of integrating incongruent thematic-role representations from distinct sources have been investigated scarcely. Further, there is evidence that both second-language (L2) and older speakers may rely on non-syntactic cues relatively more than first-language (L1)/young speakers. Yet, the role of visual information for thematic-role comprehension has not been measured in L2 speakers, and only limitedly across the adult lifespan. Thematically unambiguous canonically ordered (subject-extracted) and noncanonically ordered (object-extracted) spoken relative clauses in German (see 1a-b) wereThis dissertation examines the integration of incongruent visual-scene and morphological-case information (“cues”) in building thematic-role representations of spoken relative clauses in German. Addressing the mutual influence of visual and linguistic processing, the Coordinated Interplay Account (CIA) describes a mechanism in two steps supporting visuo-linguistic integration (Knoeferle & Crocker, 2006, Cog Sci). However, the outcomes and dynamics of integrating incongruent thematic-role representations from distinct sources have been investigated scarcely. Further, there is evidence that both second-language (L2) and older speakers may rely on non-syntactic cues relatively more than first-language (L1)/young speakers. Yet, the role of visual information for thematic-role comprehension has not been measured in L2 speakers, and only limitedly across the adult lifespan. Thematically unambiguous canonically ordered (subject-extracted) and noncanonically ordered (object-extracted) spoken relative clauses in German (see 1a-b) were presented in isolation and alongside visual scenes conveying either the same (congruent) or the opposite (incongruent) thematic relations as the sentence did. 1 a Das ist der Koch, der die Braut verfolgt. This is the.NOM cook who.NOM the.ACC bride follows This is the cook who is following the bride. b Das ist der Koch, den die Braut verfolgt. This is the.NOM cook whom.ACC the.NOM bride follows This is the cook whom the bride is following. The relative contribution of each cue to thematic-role representations was assessed with agent identification. Accuracy and latency data were collected post-sentence from a sample of L1 and L2 speakers (Zona & Felser, 2023), and from a sample of L1 speakers from across the adult lifespan (Zona & Reifegerste, under review). In addition, the moment-by-moment dynamics of thematic-role assignment were investigated with mouse tracking in a young L1 sample (Zona, under review). The following questions were addressed: (1) How do visual scenes influence thematic-role representations of canonical and noncanonical sentences? (2) How does reliance on visual-scene, case, and word-order cues vary in L1 and L2 speakers? (3) How does reliance on visual-scene, case, and word-order cues change across the lifespan? The results showed reliable effects of incongruence of visually and linguistically conveyed thematic relations on thematic-role representations. Incongruent (vs. congruent) scenes yielded slower and less accurate responses to agent-identification probes presented post-sentence. The recently inspected agent was considered as the most likely agent ~300ms after trial onset, and the convergence of visual scenes and word order enabled comprehenders to assign thematic roles predictively. L2 (vs. L1) participants relied more on word order overall. In response to noncanonical clauses presented with incongruent visual scenes, sensitivity to case predicted the size of incongruence effects better than L1-L2 grouping. These results suggest that the individual’s ability to exploit specific cues might predict their weighting. Sensitivity to case was stable throughout the lifespan, while visual effects increased with increasing age and were modulated by individual interference-inhibition levels. Thus, age-related changes in comprehension may stem from stronger reliance on visually (vs. linguistically) conveyed meaning. These patterns represent evidence for a recent-role preference – i.e., a tendency to re-assign visually conveyed thematic roles to the same referents in temporally coordinated utterances. The findings (i) extend the generalizability of CIA predictions across stimuli, tasks, populations, and measures of interest, (ii) contribute to specifying the outcomes and mechanisms of detecting and indexing incongruent representations within the CIA, and (iii) speak to current efforts to understand the sources of variability in sentence comprehension.…
• Diese Dissertation untersucht die Integration inkongruenter visueller Szenen- und morphologisch-kasusbezogener Informationen ("Hinweise") beim Aufbau thematischer Rollenrepräsentationen gesprochener Relativsätze auf Deutsch. Das Coordinated Interplay Account (CIA) beschreibt einen Mechanismus in zwei Schritten zur Unterstützung der visuell-linguistischen Integration, der die wechselseitige Beeinflussung visueller und sprachlicher Verarbeitung adressiert (Knoeferle & Crocker, 2006, Cog Sci). Die Ergebnisse und Dynamiken der Integration inkongruenter thematischer Rollenrepräsentationen aus verschiedenen Quellen wurden jedoch kaum untersucht. Außerdem gibt es Hinweise darauf, dass sich sowohl Zweitsprachler (L2) als auch ältere Sprecher möglicherweise relativ stärker auf nicht-syntaktische Hinweise verlassen als Erstsprachler (L1)/jüngere Sprecher. Dennoch wurde die Rolle visueller Informationen für das Verständnis thematischer Rollen bei L2-Sprechern nicht gemessen und nur begrenzt über die gesamte Lebensspanne hinweg. ThematischDiese Dissertation untersucht die Integration inkongruenter visueller Szenen- und morphologisch-kasusbezogener Informationen ("Hinweise") beim Aufbau thematischer Rollenrepräsentationen gesprochener Relativsätze auf Deutsch. Das Coordinated Interplay Account (CIA) beschreibt einen Mechanismus in zwei Schritten zur Unterstützung der visuell-linguistischen Integration, der die wechselseitige Beeinflussung visueller und sprachlicher Verarbeitung adressiert (Knoeferle & Crocker, 2006, Cog Sci). Die Ergebnisse und Dynamiken der Integration inkongruenter thematischer Rollenrepräsentationen aus verschiedenen Quellen wurden jedoch kaum untersucht. Außerdem gibt es Hinweise darauf, dass sich sowohl Zweitsprachler (L2) als auch ältere Sprecher möglicherweise relativ stärker auf nicht-syntaktische Hinweise verlassen als Erstsprachler (L1)/jüngere Sprecher. Dennoch wurde die Rolle visueller Informationen für das Verständnis thematischer Rollen bei L2-Sprechern nicht gemessen und nur begrenzt über die gesamte Lebensspanne hinweg. Thematisch eindeutige, kanonisch geordnete (subjektausgezogene) und nichtkanonisch geordnete (objektausgezogene) gesprochene Relativsätze auf Deutsch (siehe 1a-b) wurden isoliert und zusammen mit visuellen Szenen präsentiert, die entweder dieselben (kongruente) oder entgegengesetzte (inkongruente) thematische Beziehungen wie der Satz vermittelten. Die relative Beitrag jedes Hinweises zur thematischen Rollenrepräsentation wurde durch die Identifizierung des Agenten bewertet. Genauigkeits- und Latenzdaten wurden nach dem Satz von einer Stichprobe von L1- und L2-Sprechern (Zona & Felser, 2023) sowie von einer Stichprobe von L1-Sprechern über die Lebensspanne hinweg (Zona & Reifegerste, in Überprüfung) gesammelt. Darüber hinaus wurden die momentane Dynamik der Zuweisung thematischer Rollen mit Mausverfolgung in einer jungen L1-Stichprobe untersucht (Zona, in Überprüfung). Die folgenden Fragen wurden adressiert: (1) Wie beeinflussen visuelle Szenen thematische Rollenrepräsentationen kanonischer und nichtkanonischer Sätze? (2) Wie variiert der Verlass auf visuelle Szenen, Kasus- und Wortstellungs-Hinweise bei L1- und L2-Sprechern? (3) Wie verändert sich der Verlass auf visuelle Szenen, Kasus- und Wortstellungs-Hinweise im Laufe des Lebens? Die Ergebnisse zeigten zuverlässige Effekte der Inkongruenz visuell und sprachlich vermittelter thematischer Beziehungen auf thematische Rollenrepräsentationen. Inkongruente (vs. kongruente) Szenen führten zu langsameren und weniger genauen Reaktionen auf Agentenidentifikationsproben, die nach dem Satz präsentiert wurden. Der kürzlich inspizierte Agent wurde etwa 300 ms nach Beginn des Versuchs als der wahrscheinlichste Agent betrachtet, und die Übereinstimmung von visuellen Szenen und Wortstellung ermöglichte es den Verstehenden, thematische Rollen vorherzusagen. L2-Teilnehmer (vs. L1) verließen sich insgesamt stärker auf die Wortstellung. Auf nichtkanonische Klauseln, die mit inkongruenten visuellen Szenen präsentiert wurden, sagte die Sensibilität für den Kasus die Größe der Inkongruenzeffekte besser vorher als die Einteilung in L1-L2. Diese Ergebnisse legen nahe, dass die Fähigkeit des Einzelnen, bestimmte Hinweise auszunutzen, ihr Gewicht vorhersagen könnte. Die Sensibilität für den Kasus blieb über die Lebensspanne hinweg stabil, während sich visuelle Effekte mit zunehmendem Alter verstärkten und durch individuelle Interferenz-Hemmungslevel moduliert wurden. Somit können altersbedingte Veränderungen im Verständnis von einer stärkeren Abhängigkeit von visuell (vs. sprachlich) vermittelter Bedeutung herrühren. Diese Muster stellen einen Beleg für eine Präferenz für kürzlich eingeführte Rollen dar - d. h. eine Tendenz, visuell vermittelte thematische Rollen den gleichen Referenten in zeitlich koordinierten Äußerungen neu zuzuweisen. Die Ergebnisse (i) erweitern die Verallgemeinerbarkeit der Vorhersagen des CIAs über Stimuli, Aufgaben, Populationen und Interessenmaße hinweg, (ii) tragen zur Spezifizierung der Ergebnisse und Mechanismen bei der Erkennung und Indizierung inkongruenter Repräsentationen innerhalb des CIAs bei und (iii) sprechen aktuelle Bemühungen an, die Quellen der Variabilität im Satzverständnis zu verstehen.…