TY - JOUR A1 - Jäger, Lena Ann A1 - Mertzen, Daniela A1 - Van Dyke, Julie A. A1 - Vasishth, Shravan T1 - Interference patterns in subject-verb agreement and reflexives revisited BT - a large-sample study JF - Journal of memory and language N2 - Cue-based retrieval theories in sentence processing predict two classes of interference effect: (i) Inhibitory interference is predicted when multiple items match a retrieval cue: cue-overloading leads to an overall slowdown in reading time; and (ii) Facilitatory interference arises when a retrieval target as well as a distractor only partially match the retrieval cues; this partial matching leads to an overall speedup in retrieval time. Inhibitory interference effects are widely observed, but facilitatory interference apparently has an exception: reflexives have been claimed to show no facilitatory interference effects. Because the claim is based on underpowered studies, we conducted a large-sample experiment that investigated both facilitatory and inhibitory interference. In contrast to previous studies, we find facilitatory interference effects in reflexives. We also present a quantitative evaluation of the cue-based retrieval model of Engelmann, Jager, and Vasishth (2019). KW - Sentence processing KW - Cue-based retrieval KW - Similarity-based interference KW - Reflexives KW - Agreement KW - Bayesian data analysis KW - Replication Y1 - 2020 U6 - https://doi.org/10.1016/j.jml.2019.104063 SN - 0749-596X SN - 1096-0821 VL - 111 PB - Elsevier CY - San Diego ER - TY - THES A1 - Mertzen, Daniela T1 - A cross-linguistic investigation of similarity-based interference in sentence comprehension T1 - Eine cross-linguistische Untersuchung ähnlichkeitsbasierter Interferenz in der Satzverarbeitung N2 - The aim of this dissertation was to conduct a larger-scale cross-linguistic empirical investigation of similarity-based interference effects in sentence comprehension. Interference studies can offer valuable insights into the mechanisms that are involved in long-distance dependency completion. Many studies have investigated similarity-based interference effects, showing that syntactic and semantic information are employed during long-distance dependency formation (e.g., Arnett & Wagers, 2017; Cunnings & Sturt, 2018; Van Dyke, 2007, Van Dyke & Lewis, 2003; Van Dyke & McElree, 2011). Nevertheless, there are some important open questions in the interference literature that are critical to our understanding of the constraints involved in dependency resolution. The first research question concerns the relative timing of syntactic and semantic interference in online sentence comprehension. Only few interference studies have investigated this question, and, to date, there is not enough data to draw conclusions with regard to their time course (Van Dyke, 2007; Van Dyke & McElree, 2011). Our first cross-linguistic study explores the relative timing of syntactic and semantic interference in two eye-tracking reading experiments that implement the study design used in Van Dyke (2007). The first experiment tests English sentences. The second, larger-sample experiment investigates the two interference types in German. Overall, the data suggest that syntactic and semantic interference can arise simultaneously during retrieval. The second research question concerns a special case of semantic interference: We investigate whether cue-based retrieval interference can be caused by semantically similar items which are not embedded in a syntactic structure. This second interference study builds on a landmark study by Van Dyke & McElree (2006). The study design used in their study is unique in that it is able to pin down the source of interference as a consequence of cue overload during retrieval, when semantic retrieval cues do not uniquely match the retrieval target. Unlike most other interference studies, this design is able to rule out encoding interference as an alternative explanation. Encoding accounts postulate that it is not cue overload at the retrieval site but the erroneous encoding of similar linguistic items in memory that leads to interference (Lewandowsky et al., 2008; Oberauer & Kliegl, 2006). While Van Dyke & McElree (2006) reported cue-based retrieval interference from sentence-external distractors, the evidence for this effect was weak. A subsequent study did not show interference of this type (Van Dyke et al., 2014). Given these inconclusive findings, further research is necessary to investigate semantic cue-based retrieval interference. The second study in this dissertation provides a larger-scale cross-linguistic investigation of cue-based retrieval interference from sentence-external items. Three larger-sample eye-tracking studies in English, German, and Russian tested cue-based interference in the online processing of filler-gap dependencies. This study further extends the previous research by investigating interference in each language under varying task demands (Logačev & Vasishth, 2016; Swets et al., 2008). Overall, we see some very modest support for proactive cue-based retrieval interference in English. Unexpectedly, this was observed only under a low task demand. In German and Russian, there is some evidence against the interference effect. It is possible that interference is attenuated in languages with richer case marking. In sum, the cross-linguistic experiments on the time course of syntactic and semantic interference from sentence-internal distractors support existing evidence of syntactic and semantic interference during sentence comprehension. Our data further show that both types of interference effects can arise simultaneously. Our cross-linguistic experiments investigating semantic cue-based retrieval interference from sentence-external distractors suggest that this type of interference may arise only in specific linguistic contexts. N2 - Ziel dieser Dissertation war es, eine größer-angelegte, sprachübergreifende, empirische Untersuchung von Interferenzeffekten beim Satzverstehen durchzuführen. Interferenzstudien bieten wertvolle Einblicke in die Mechanismen, die während der Satzverarbeitung, insbesondere bei der Bildung von nicht-lokalen Dependenzen eine Rolle spielen. Studien zu ähnlichkeitsbasierten Interferenzeffekten haben gezeigt, dass syntaktische und semantische Informationen bei der Bildung von nicht-lokalen Dependenzen verwendet werden (z. B. Arnett & Wagers, 2017; Cunnings & Sturt, 2018; Van Dyke, 2007, Van Dyke & Lewis, 2003; Van Dyke & McElree, 2011). Dennoch bleiben in der Interferenzliteratur einige wichtige Fragen unbeantwortet, die für unser Verständnis der Satzverarbeitungsmechanismen von Bedeutung sind. Die erste Forschungsfrage betrifft den zeitlichen Ablauf syntaktischer und semantischer Interferenz während des Satzverstehens. Nur wenige Interferenzstudien haben diese Frage untersucht, jedoch sind aktuell nicht genügend Daten vorhanden, um Schlussfolgerungen bezüglich des zeitlichen Verlaufs zu ziehen (Van Dyke, 2007; Van Dyke & McElree, 2011). Die erste sprachübergreifende Studie in dieser Dissertation untersucht den zeitlichen Ablauf von syntaktischer und semantischer Interferenz mithilfe zweier Eyetracking-Leseexperimente. Diese nutzen das von Van Dyke (2007) implementierte Studiendesign. Das erste Experiment testet englische Sätze. Das zweite Experiment, welches eine größere Stichprobe untersucht, testet Interferenzeffekte im Deutschen. Insgesamt deuten die Daten darauf hin, dass syntaktische und semantische Interferenzeffekte zeitgleich auftreten können. Die zweite Forschungsfrage untersucht einen Spezialfall der semantischen Interferenz: Es wird untersucht, ob cue-abhängige Abrufinterferenz durch Items verursacht werden kann, die nicht in die syntaktische Struktur eingebettet sind. Diese zweite Interferenzstudie nutzt das Studiendesign von Van Dyke & McElree (2006), welches in der Lage ist, die Quelle der Interferenzeffekte als Folge von “cue overload” zu bestimmen, d.h., wenn semantische cues während des Abrufs aus dem Gedächtnis nicht eindeutig mit dem Zielwort übereinstimmen. Im Gegensatz zu anderen Interferenzstudien kann dieses Design Enkodierungsinterferenz als alternative Erklärung ausschließen. Enkodierungsansätze nehmen an, dass nicht ein “cue overload”, sondern eine fehlerhafte Kodierung ähnlicher Items im Gedächtnis Interferenz zur Folge hat (Lewandowsky et al., 2008; Oberauer & Kliegl, 2006). Obwohl die Van Dyke & McElree (2006) Studie angibt, cue-basierte Interferenz zu beobachten, ist die Evidenz für diesen Effekt schwach. Eine Folgestudie findet keine Evidenz für Interferenzeffekte dieser Art (Van Dyke et al., 2014). Die nicht eindeutigen Ergebnisse erfordern weitere Untersuchungen semantischer cue-basierter Interferenz. Die zweite Studie in dieser Dissertation untersucht cue-basierte Interferenzeffekte durch Items, die nicht in die syntaktische Struktur eingebettet sind. Drei Eyetracking-Studien, im Englischen, Deutschen und Russischen, untersuchen cue-basierte Interferenz während der Verarbeitung von “filler-gap” Dependenzen. Diese Studie ergänzt bisherige Studien, indem sie Interferenz in mehreren Sprachen sowie unter unterschiedlich komplexen Aufgabenanforderungen untersucht (Logačev & Vasishth, 2016; Swets et al., 2008). Insgesamt zeigen die Daten nur sehr schwache Evidenz für cue-basierte Interferenz im Englischen, und ausschließlich unter wenig komplexen Aufgabenanforderungen. Im Deutschen und Russischen sprechen die Daten gegen einen Interferenzeffekt, was darauf hinweisen könnte, dass Interferenzeffekte in Sprachen mit reicher Kasusmarkierung nur abgeschwächt vorzufinden sind. Insgesamt zeigen die sprachübergreifenden Experimente zum zeitlichen Verlauf syntaktischer und semantischer Interferenz durch satz-interne Items, dass beide Arten von Interferenzeffekten gleichzeitig auftreten können. Unsere sprachübergreifenden Experimente zur Untersuchung semantischer Interferenzen durch satz-externe Items deuten darauf hin, dass diese Art von Interferenz nur kontextspezifisch auftritt. KW - psycholinguistics KW - sentence processing KW - cue-based retrieval KW - similarity-based interference KW - eye-tracking KW - Psycholinguistik KW - Satzverarbeitung KW - Cue-abhängiger Abruf KW - ähnlichkeitsbasierte Gedächtnisinterferenz KW - Eye-tracking Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-556685 ER - TY - JOUR A1 - Mertzen, Daniela A1 - Lago, Sol A1 - Vasishth, Shravan T1 - The benefits of preregistration for hypothesis-driven bilingualism research JF - Bilingualism : language and cognition N2 - Preregistration is an open science practice that requires the specification of research hypotheses and analysis plans before the data are inspected. Here, we discuss the benefits of preregistration for hypothesis-driven, confirmatory bilingualism research. Using examples from psycholinguistics and bilingualism, we illustrate how non-peer reviewed preregistrations can serve to implement a clean distinction between hypothesis testing and data exploration. This distinction helps researchers avoid casting post-hoc hypotheses and analyses as confirmatory ones. We argue that, in keeping with current best practices in the experimental sciences, preregistration, along with sharing data and code, should be an integral part of hypothesis-driven bilingualism research. KW - preregistration KW - open science KW - bilingualism KW - psycholinguistics KW - confirmatory analysis KW - exploratory analysis Y1 - 2021 U6 - https://doi.org/10.1017/S1366728921000031 SN - 1366-7289 SN - 1469-1841 VL - 24 IS - 5 SP - 807 EP - 812 PB - Cambridge Univ. Press CY - Cambridge ER - TY - JOUR A1 - Vasishth, Shravan A1 - Mertzen, Daniela A1 - Jaeger, Lena A. A1 - Gelman, Andrew T1 - The statistical significance filter leads to overoptimistic expectations of replicability JF - Journal of memory and language N2 - It is well-known in statistics (e.g., Gelman & Carlin, 2014) that treating a result as publishable just because the p-value is less than 0.05 leads to overoptimistic expectations of replicability. These effects get published, leading to an overconfident belief in replicability. We demonstrate the adverse consequences of this statistical significance filter by conducting seven direct replication attempts (268 participants in total) of a recent paper (Levy & Keller, 2013). We show that the published claims are so noisy that even non-significant results are fully compatible with them. We also demonstrate the contrast between such small-sample studies and a larger-sample study; the latter generally yields a less noisy estimate but also a smaller effect magnitude, which looks less compelling but is more realistic. We reiterate several suggestions from the methodology literature for improving current practices. KW - Type M error KW - Replicability KW - Surprisal KW - Expectation KW - Locality KW - Bayesian data analysis KW - Parameter estimation Y1 - 2018 U6 - https://doi.org/10.1016/j.jml.2018.07.004 SN - 0749-596X SN - 1096-0821 VL - 103 SP - 151 EP - 175 PB - Elsevier CY - San Diego ER - TY - GEN A1 - Vasishth, Shravan A1 - Mertzen, Daniela A1 - Jäger, Lena A. A1 - Gelman, Andrew T1 - Corrigendum to: Shravan Vasishth, Daniela Mertzen, Lena A. Jäger, Andrew Gelman; The statistical significance filter leads to overoptimistic expectations of replicability. - Journal of Memory and Language. - 103 (2018), pg. 151 - 175 T2 - Journal of memory and language Y1 - 2018 U6 - https://doi.org/10.1016/j.jml.2018.09.004 SN - 0749-596X SN - 1096-0821 VL - 104 SP - 128 EP - 128 PB - Elsevier CY - San Diego ER -