TY - JOUR A1 - Wenger, Marina A1 - Lüdtke, Oliver A1 - Brunner, Martin T1 - Übereinstimmung, Variabilität und Reliabilität von Schülerurteilen zur Unterrichtsqualität auf Schulebene T1 - Interrater agreement, variability and reliability of student ratings of instructional quality at the school-level BT - Ergebnisse aus 81 Ländern BT - Results from 81 countries JF - Zeitschrift für Erziehungswissenschaft N2 - Für die Analyse der Unterrichtsqualität von Schulen durch Schülerurteile sollten drei Voraussetzungen erfüllt sein: (1) eine angemessene Übereinstimmung der Schülerurteile innerhalb der Schulen, (2) systematische Variabilität der Schülerurteile zwischen Schulen, (3) ein ausreichendes Maß an Reliabilität der aggregierten Urteile. Diese Studie untersucht mit internationalen PISA-Daten (Zyklen 2000–2012; 81 Länder, über 55.300 Schulen, über 1,3 Millionen 15-Jährige), inwiefern dies für Indikatoren der Qualitätsdimensionen des Unterrichts (Klassenführung, Kognitive Aktivierung, Konstruktive Unterstützung) zutrifft. Dafür bestimmten wir das Übereinstimmungsmaß rWG(J) sowie die Intraklassenkorrelationen ICC(1) und ICC(2). Es zeigte sich, dass (1) die Mehrzahl der Unterrichtsmerkmale eine moderate oder starke Übereinstimmung in Schulen aufwies, (2) sich Unterrichtsmerkmale aus Sicht der Schülerschaft systematisch zwischen Schulen unterschieden, jedoch (3) die Reliabilität der aggregierten Schülerurteile in vielen Ländern nicht ausreichte. Die Ergebnisse diskutieren wir vor dem Hintergrund von Konventionen zur Beurteilung der Übereinstimmung, Variabilität und Reliabilität auf Schulebene. N2 - Using student ratings to assess instructional quality of schools should fulfill three requirements: (1)an appropriate level of inter-rater agreement within schools, (2)systematic variance of student ratings between schools, (3)an adequate reliability level of aggregated student ratings. Using international PISA-data (2000-2012; 81countries, over 55,300 schools, over 1.3million 15-year olds) this study investigated how these requirements were met regarding indicators of instructional quality (classroom management, cognitive activation, individual learning support). We computed the interrater agreement index r(WG(J)), as well as the intraclass correlations ICC(1) and ICC(2). Our results showed that (1)student ratings demonstrated amoderate or strong level of agreement for most indicators of instructional quality and (2)instructional quality assessed by students varied systematically between schools. Yet, (3)reliability of aggregated student ratings was not sufficient in many countries. We discuss these results regarding conventions to evaluate agreement, variability, and reliability of student ratings at the school level. KW - Instructional quality KW - Student ratings KW - PISA Y1 - 2018 U6 - https://doi.org/10.1007/s11618-018-0813-3 SN - 1434-663X SN - 1862-5215 VL - 21 IS - 5 SP - 929 EP - 950 PB - Springer CY - Wiesbaden ER - TY - JOUR A1 - Lenske, Gerlinde A1 - Wagner, Wolfgang A1 - Wirth, Joachim A1 - Thillmann, Hubertina A1 - Cauet, Eva A1 - Liepertz, Sven A1 - Leutner, Detlev T1 - The importance of pedagogical knowledge for classroom management and for and for students’ achievement JF - Zeitschrift für Erziehungswissenschaft N2 - Im Rahmen der vorliegenden Studie wurde untersucht, ob das pädagogisch-psychologische Wissen von Lehrkräften die prozessuale Qualität des Physikunterrichts mit Blick auf die Klassenführung und den Lernzuwachs der Schülerinnen und Schüler beeinflusst. Das pädagogisch-psychologische Professionswissen, konzeptualisiert als ein fächerübergreifendes, handlungsleitendes Wissen über Strategien und Mittel zur Unterrichtsgestaltung, wurde über einen Paper-Pencil-Test, bestehend aus einer Skala zum deklarativen und einer Skala zum konditional-prozeduralen Wissen erhoben (Lenske et al. 2015). Als ein grundlegendes Merkmal prozessualer Unterrichtsqualität wurde die Klassenführung anhand von Videoratings zu zwei Messzeitpunkten (zwei Unterrichtsstunden) erfasst. Der Lernzuwachs der Schülerinnen und Schüler wurde über standardisierte Fachwissenstests im Prä-Post-Testdesign gemessen. Die Stichprobe umfasst 34 Gymnasiallehrkräfte und deren Schülerinnen und Schüler (N = 993). Auf Basis eines Complex-Bootstrap-Mediations-Modells zeigte sich, dass das pädagogisch-psychologische Professionswissen über die Klassenführung vermittelt den Lernzuwachs der Schüler und Schülerinnen positiv beeinflusst. In the present study it was investigated whether the pedagogical knowledge of teachers has an influence on the process quality of physics instruction and on the learning achievement of students as well. Pedagogical knowledge, conceptualized as knowledge about strategies in classroom instruction that is domain-general and relevant for teaching behaviors, was measured using a paper-and-pencil test with two scales: one scale on declarative knowledge, the other on conditional-procedural knowledge (Lenske et al. 2015). As a basic aspect of the process quality of classroom instruction, classroom management was assessed using video ratings of two lessons from each participating teacher. Students’ learning achievement was assessed using standardized domain-specific knowledge tests in a pretest-posttest design. The sample included 34 teachers from higher-track secondary schools and their students (N = 993). A complex bootstrapping mediation model shows that teachers’ pedagogical knowledge, mediated by their classroom management, has a positive effect on their students’ learning achievement. KW - Classroom management KW - Instructional quality KW - Mediation-model KW - Pedagogical professional knowledge KW - Professional knowledge Y1 - 2016 U6 - https://doi.org/10.1007/s11618-015-0659-x SN - 1434-663X SN - 1862-5215 VL - 19 SP - 211 EP - 233 PB - Springer CY - Wiesbaden ER -