TY - JOUR A1 - Wenger, Marina A1 - Lüdtke, Oliver A1 - Brunner, Martin T1 - Übereinstimmung, Variabilität und Reliabilität von Schülerurteilen zur Unterrichtsqualität auf Schulebene T1 - Interrater agreement, variability and reliability of student ratings of instructional quality at the school-level BT - Ergebnisse aus 81 Ländern BT - Results from 81 countries JF - Zeitschrift für Erziehungswissenschaft N2 - Für die Analyse der Unterrichtsqualität von Schulen durch Schülerurteile sollten drei Voraussetzungen erfüllt sein: (1) eine angemessene Übereinstimmung der Schülerurteile innerhalb der Schulen, (2) systematische Variabilität der Schülerurteile zwischen Schulen, (3) ein ausreichendes Maß an Reliabilität der aggregierten Urteile. Diese Studie untersucht mit internationalen PISA-Daten (Zyklen 2000–2012; 81 Länder, über 55.300 Schulen, über 1,3 Millionen 15-Jährige), inwiefern dies für Indikatoren der Qualitätsdimensionen des Unterrichts (Klassenführung, Kognitive Aktivierung, Konstruktive Unterstützung) zutrifft. Dafür bestimmten wir das Übereinstimmungsmaß rWG(J) sowie die Intraklassenkorrelationen ICC(1) und ICC(2). Es zeigte sich, dass (1) die Mehrzahl der Unterrichtsmerkmale eine moderate oder starke Übereinstimmung in Schulen aufwies, (2) sich Unterrichtsmerkmale aus Sicht der Schülerschaft systematisch zwischen Schulen unterschieden, jedoch (3) die Reliabilität der aggregierten Schülerurteile in vielen Ländern nicht ausreichte. Die Ergebnisse diskutieren wir vor dem Hintergrund von Konventionen zur Beurteilung der Übereinstimmung, Variabilität und Reliabilität auf Schulebene. N2 - Using student ratings to assess instructional quality of schools should fulfill three requirements: (1)an appropriate level of inter-rater agreement within schools, (2)systematic variance of student ratings between schools, (3)an adequate reliability level of aggregated student ratings. Using international PISA-data (2000-2012; 81countries, over 55,300 schools, over 1.3million 15-year olds) this study investigated how these requirements were met regarding indicators of instructional quality (classroom management, cognitive activation, individual learning support). We computed the interrater agreement index r(WG(J)), as well as the intraclass correlations ICC(1) and ICC(2). Our results showed that (1)student ratings demonstrated amoderate or strong level of agreement for most indicators of instructional quality and (2)instructional quality assessed by students varied systematically between schools. Yet, (3)reliability of aggregated student ratings was not sufficient in many countries. We discuss these results regarding conventions to evaluate agreement, variability, and reliability of student ratings at the school level. KW - Instructional quality KW - Student ratings KW - PISA Y1 - 2018 U6 - https://doi.org/10.1007/s11618-018-0813-3 SN - 1434-663X SN - 1862-5215 VL - 21 IS - 5 SP - 929 EP - 950 PB - Springer CY - Wiesbaden ER - TY - JOUR A1 - Thoren, Katharina A1 - Hannover, Bettina A1 - Brunner, Martin T1 - Empirische Arbeit: Welche Schulen machen mit beim Jahrgangsübergreifenden Lernen? T1 - Which Schools Engage in Mixed-age Learning? BT - Demografische und leistungsbezogene Merkmale unterschiedlich reformbereiter Grundschulen in Berlin BT - Demographic and Achievement Related Characteristics of Schools According to Their Reform Efforts JF - Psychologie in Erziehung und Unterricht : Zeitschrift für Forschung und Praxis N2 - Im Schuljahr 2008/09 war Jahrgangsübergreifendes Lernen (JÜL) in der Berliner Schuleingangsphase verpflichtend eingeführt worden. Doch nicht alle Schulen übernahmen diese Reform. In dieser Studie untersuchen wir, inwiefern Schulen sich in Abhängigkeit davon, wie schnell und umfassend sie JÜL implementiert hatten, in Merkmalen ihrer Schülerschaft voneinander unterscheiden. Wir nahmen an, dass mit dem Ziel von JÜL, Heterogenität produktiv für das Lernen zu nutzen, die Reform für solche Schulen besonders attraktiv war, die eine heterogene Schülerschaft haben. Heterogenität wurde über die Anteile von Kindern mit (a) nichtdeutscher Erstsprache und (b) Lernmittelzuzahlungsbefreiung operationalisiert. Weiter wurde untersucht, ob sich die Leistungen der Kinder in Deutsch und Mathematik zwischen den Schulen unterschieden. Die Ergebnisse zeigen erwartungsgemäß, dass Schulen mit einer heterogenen Schülerschaft JÜL schnell und nachhaltig implementierten. Im zeitlichen Verlauf ließen sich, nach Kontrolle der Heterogenität der Schülerschaft, keine Leistungsunterschiede zwischen den Schulen feststellen. Die Ergebnisse werden hinsichtlich der Frage diskutiert, unter welchen Voraussetzungen Schulen Reformen implementieren und wie sich JÜL auf Bildungsergebnisse auswirken kann. KW - Mixed-age learning KW - implementation of school reform KW - openness to reform KW - ethnic student composition KW - socioeconomic student composition KW - Jahrgangsübergreifendes Lernen KW - Implementation von Schulreformen KW - Reformbereitschaft KW - Zusammensetzung Schülerschaft hinsichtlich Erstsprache KW - Zusammensetzung Schülerschaft hinsichtlich Lernmittelzuzahlungsbefreiung Y1 - 2019 U6 - https://doi.org/10.2378/peu2019.art03d SN - 0342-183X VL - 66 IS - 1 SP - 19 EP - 32 PB - Reinhardt CY - München ER - TY - JOUR A1 - Thoren, Katharina A1 - Brunner, Martin T1 - Flächendeckende Implementation des Jahrgangsübergreifenden Lernens BT - Welche Typen gibt es und zeigen diese Unterschiede in der Schul- und Unterrichtsqualität? JF - Zeitschrift für Erziehungswissenschaft N2 - Bildungspolitische Reformen unterscheiden sich in der Breite, Tiefe und Nachhaltigkeit, mit der sie realisiert werden. Der vorliegende Beitrag beschäftigt sich mit diesem Thema am Beispiel der Umsetzung des Jahrgangsübergreifenden Lernens (JÜL) in Berlin. JÜL war eine der zentralen Innovationen bei der Neugestaltung des Schulanfangs. Vor diesem Hintergrund behandelt die erste Teilstudie, wie JÜL an Schulen in den Schuljahren 2007/08 bis 2015/16 implementiert wurde. Es wurden Daten der Berliner Schulstatistik zu einem Längsschnitt auf Schulebene zusammengefasst (N = 356). Latente Profilanalysen identifizieren sechs Implementationstypen, die sich in Zeitpunkt und Dauer der Umsetzung von JÜL unterscheiden. Hierbei diente der Anteil der JÜL-Klassen an den Klassen der Schulanfangsphase als Indikator. Die zweite Teilstudie analysiert Unterschiede in der Schul- und Unterrichtsqualität auf Grundlage von Daten aus der Berliner Schulinspektion (N = 282). Mittels Varianzanalysen (ANOVA) zeigen sich a) Unterschiede zugunsten der Schulen, die frühzeitig und dauerhaft JÜL umsetzten und b) Unterschiede zugunsten der Schulen, die in ihren JÜL-Klassen drei – im Vergleich zu zwei – Jahrgänge zusammenfassen. KW - Educational reform KW - Implementation success KW - Longitudinal analyses KW - Mixed-age learning Y1 - 2018 U6 - https://doi.org/10.1007/s11618-018-0841-z SN - 1434-663X SN - 1862-5215 VL - 22 IS - 2 SP - 279 EP - 300 PB - Springer CY - Wiesbaden ER -