TY - JOUR A1 - Gärtner, Holger A1 - Brunner, Martin T1 - Once good teaching, always good teaching? BT - the differential stability of student perceptions of teaching quality JF - Educational Assessment, Evaluation and Accountability N2 - In many countries, students are asked about their perceptions of teaching in order to make decisions about the further development of teaching practices on the basis of this feedback. The stability of this measurement of teaching quality is a prerequisite for the ability to generalize the results to other teaching situations. The present study aims to expand the extant empirical body of knowledge on the effects of situational factors on the stability of students’ perceptions of teaching quality. Therefore, we investigate whether the degree of stability is moderated by three situational factors: time between assessments, subjects taught by teachers, and students’ grade levels. To this end, we analyzed data from a web-based student feedback system. The study involved 497 teachers, each of whom conducted two student surveys. We examined the differential stability of student perceptions of 16 teaching constructs that were operationalized as latent correlations between aggregated student perceptions of the same teacher’s teaching. Testing metric invariance indicated that student ratings provided measures of teaching constructs that were invariant across time, subjects, and grade levels. Stability was moderated to some extent by grade level but not by subjects taught nor time spacing between surveys. The results provide evidence of the extent to which situational factors may affect the stability of student perceptions of teaching constructs. The generalizability of the students’ feedback results to other teaching situations is discussed. KW - Stability KW - Student perception KW - Instruction KW - Generalizability KW - Situation Y1 - 2018 U6 - https://doi.org/10.1007/s11092-018-9277-5 SN - 1874-8597 SN - 1874-8600 VL - 30 IS - 2 SP - 159 EP - 182 PB - Springer CY - Heidelberg ER - TY - JOUR A1 - Heyder, Anke A1 - Brunner, Martin T1 - Teachers' aptitude beliefs as a predictor of helplessness in low-achieving students BT - Commonalities and differences between academic domains JF - Learning and individual differences N2 - Low-achieving students are at risk of experiencing a pattern of emotional, motivational, and cognitive deficits called school-related helplessness if they attribute their low achievement to low aptitude. Teachers' beliefs about the causes of students' low achievement are important sources of attributional information for students. In a sample of 2117 German ninth-graders attending the lowest track, 118 math and 129 German-language teachers, we tested whether teachers' beliefs about the extent to which aptitude causes achievement moderated the achievement-helplessness relation in students and whether there were differences between math and German. Multilevel analyses revealed that low prior achievement predicted higher helplessness in both subjects but the effect was stronger in math than in German. Teachers' beliefs amplified the achievement-helplessness relation in math but not in German. Results are discussed regarding domain-specific epistemological beliefs, and implications for research and practice are derived. KW - Helplessness KW - Teacher beliefs KW - Aptitude KW - Attribution theory KW - Domain differences Y1 - 2018 U6 - https://doi.org/10.1016/j.lindif.2018.01.015 SN - 1041-6080 SN - 1873-3425 VL - 62 SP - 118 EP - 127 PB - Elsevier CY - Amsterdam ER - TY - JOUR A1 - Thoren, Katharina A1 - Brunner, Martin T1 - Flächendeckende Implementation des Jahrgangsübergreifenden Lernens BT - Welche Typen gibt es und zeigen diese Unterschiede in der Schul- und Unterrichtsqualität? JF - Zeitschrift für Erziehungswissenschaft N2 - Bildungspolitische Reformen unterscheiden sich in der Breite, Tiefe und Nachhaltigkeit, mit der sie realisiert werden. Der vorliegende Beitrag beschäftigt sich mit diesem Thema am Beispiel der Umsetzung des Jahrgangsübergreifenden Lernens (JÜL) in Berlin. JÜL war eine der zentralen Innovationen bei der Neugestaltung des Schulanfangs. Vor diesem Hintergrund behandelt die erste Teilstudie, wie JÜL an Schulen in den Schuljahren 2007/08 bis 2015/16 implementiert wurde. Es wurden Daten der Berliner Schulstatistik zu einem Längsschnitt auf Schulebene zusammengefasst (N = 356). Latente Profilanalysen identifizieren sechs Implementationstypen, die sich in Zeitpunkt und Dauer der Umsetzung von JÜL unterscheiden. Hierbei diente der Anteil der JÜL-Klassen an den Klassen der Schulanfangsphase als Indikator. Die zweite Teilstudie analysiert Unterschiede in der Schul- und Unterrichtsqualität auf Grundlage von Daten aus der Berliner Schulinspektion (N = 282). Mittels Varianzanalysen (ANOVA) zeigen sich a) Unterschiede zugunsten der Schulen, die frühzeitig und dauerhaft JÜL umsetzten und b) Unterschiede zugunsten der Schulen, die in ihren JÜL-Klassen drei – im Vergleich zu zwei – Jahrgänge zusammenfassen. KW - Educational reform KW - Implementation success KW - Longitudinal analyses KW - Mixed-age learning Y1 - 2018 U6 - https://doi.org/10.1007/s11618-018-0841-z SN - 1434-663X SN - 1862-5215 VL - 22 IS - 2 SP - 279 EP - 300 PB - Springer CY - Wiesbaden ER - TY - JOUR A1 - Wenger, Marina A1 - Lüdtke, Oliver A1 - Brunner, Martin T1 - Übereinstimmung, Variabilität und Reliabilität von Schülerurteilen zur Unterrichtsqualität auf Schulebene T1 - Interrater agreement, variability and reliability of student ratings of instructional quality at the school-level BT - Ergebnisse aus 81 Ländern BT - Results from 81 countries JF - Zeitschrift für Erziehungswissenschaft N2 - Für die Analyse der Unterrichtsqualität von Schulen durch Schülerurteile sollten drei Voraussetzungen erfüllt sein: (1) eine angemessene Übereinstimmung der Schülerurteile innerhalb der Schulen, (2) systematische Variabilität der Schülerurteile zwischen Schulen, (3) ein ausreichendes Maß an Reliabilität der aggregierten Urteile. Diese Studie untersucht mit internationalen PISA-Daten (Zyklen 2000–2012; 81 Länder, über 55.300 Schulen, über 1,3 Millionen 15-Jährige), inwiefern dies für Indikatoren der Qualitätsdimensionen des Unterrichts (Klassenführung, Kognitive Aktivierung, Konstruktive Unterstützung) zutrifft. Dafür bestimmten wir das Übereinstimmungsmaß rWG(J) sowie die Intraklassenkorrelationen ICC(1) und ICC(2). Es zeigte sich, dass (1) die Mehrzahl der Unterrichtsmerkmale eine moderate oder starke Übereinstimmung in Schulen aufwies, (2) sich Unterrichtsmerkmale aus Sicht der Schülerschaft systematisch zwischen Schulen unterschieden, jedoch (3) die Reliabilität der aggregierten Schülerurteile in vielen Ländern nicht ausreichte. Die Ergebnisse diskutieren wir vor dem Hintergrund von Konventionen zur Beurteilung der Übereinstimmung, Variabilität und Reliabilität auf Schulebene. N2 - Using student ratings to assess instructional quality of schools should fulfill three requirements: (1)an appropriate level of inter-rater agreement within schools, (2)systematic variance of student ratings between schools, (3)an adequate reliability level of aggregated student ratings. Using international PISA-data (2000-2012; 81countries, over 55,300 schools, over 1.3million 15-year olds) this study investigated how these requirements were met regarding indicators of instructional quality (classroom management, cognitive activation, individual learning support). We computed the interrater agreement index r(WG(J)), as well as the intraclass correlations ICC(1) and ICC(2). Our results showed that (1)student ratings demonstrated amoderate or strong level of agreement for most indicators of instructional quality and (2)instructional quality assessed by students varied systematically between schools. Yet, (3)reliability of aggregated student ratings was not sufficient in many countries. We discuss these results regarding conventions to evaluate agreement, variability, and reliability of student ratings at the school level. KW - Instructional quality KW - Student ratings KW - PISA Y1 - 2018 U6 - https://doi.org/10.1007/s11618-018-0813-3 SN - 1434-663X SN - 1862-5215 VL - 21 IS - 5 SP - 929 EP - 950 PB - Springer CY - Wiesbaden ER -