TY - JOUR A1 - Ehl, Birgit A1 - Paul, Michele A1 - Bruns, Gunnar A1 - Fleischhauer, Elisabeth A1 - Vock, Miriam A1 - Gronostaj, Anna A1 - Grosche, Michael T1 - Testgütekriterien der „Profilanalyse nach Grießhaber“. Evaluation eines Verfahrens zur Erfassung grammatischer Fähigkeiten von ein- und mehrsprachigen Grundschulkindern T1 - Test quality criteria of the "Profile analysis according to Griesshaber". Evaluation of an assessment method of grammatical abilities of mono- and multilingual primary school children JF - Zeitschrift für Erziehungswissenschaft N2 - Ein diagnostisches Ziel der „Profilanalyse nach Grießhaber“ ist die Testung der grammatischen Fähigkeit zur Verbstellung im Deutschen. Zur erstmaligen Evaluation der Testgüte wurden 403 ein- und mehrsprachige Grundschulkinder randomisiert drei verschiedenen Testmaterialien zugewiesen: Testmaterial, das die Zielkompetenz spezifisch stimulierte, führte zu den besten Testergebnissen. Dies spricht für eine geringe Durchführungsobjektivität. Zudem wurden Deckeneffekte für Grundschulkinder nachgewiesen, weshalb die Profilanalyse nur wenig zwischen den Grammatikfähigkeiten der Kinder differenzieren kann. Auch die Retest-Reliabilität und Auswertungsobjektivität sind noch zu gering. Zusammenfassend wird die Testgüte hinsichtlich aller betrachteten Testgütekriterien als verbesserungswürdig bewertet. Daraus werden die Empfehlungen abgeleitet, die Profilanalyse stärker zu standardisieren und um sensitivere diagnostische Kriterien für das Grundschulalter zu ergänzen. Weitere Ziele der Profilanalyse, z. B. die Verbesserung diagnostischer Kompetenzen von Lehrkräften, sind in Folgeprojekten zu evaluieren. N2 - Adiagnostic goal of the Profile analysis according to Grie ss haber is the assessment of the grammatical ability to place verbs in German sentences in the correct syntactical position. To evaluate the test quality for the first time, 403 monolingual and multilingual primary school children were randomly assigned to three different test materials: Test material that specifically stimulated the target competence led to the best test results. This indicates alow objectivity of application. In addition, ceiling effects for primary school children were detected, which means that the profile analysis can only slightly differentiate among the grammatical abilities of the children. Retest reliability and objectivity of analysis are also too small. In summary, the test quality of the assessment tool should be improved with respect to all of the test quality criteria considered. Hence, we recommend standardizing the profile analysis better and adding more sensitive diagnostic criteria for primary school aged children. Other aspects of profile analysis, for example the improvement of diagnostic competencies of teachers, are recommended for future research. KW - Grammar KW - Language Assessment KW - Multilingualism KW - Primary School KW - Validity KW - Grammatik KW - Mehrsprachigkeit KW - Sprachdiagnostik KW - Grundschule KW - Validität Y1 - 2018 U6 - https://doi.org/10.1007/s11618-018-0835-x SN - 1434-663X SN - 1862-5215 VL - 21 IS - 6 SP - 1261 EP - 1281 PB - Springer CY - Wiesbaden ER - TY - THES A1 - Pohlenz, Philipp T1 - Datenqualität als Schlüsselfrage der Qualitätssicherung von Lehre und Studium an Hochschulen T1 - Data Quality as a key issue of quality assurance in higher education T2 - Potsdamer Beiträge zur Lehrevaluation N2 - Hochschulen stehen zunehmend vor einem Legitimationsproblem bezüglich ihres Umgangs mit (öffentlich bereit gestellten) Ressourcen. Die Kritik bezieht sich hauptsächlich auf den Leistungsbereich der Lehre. Diese sei ineffektiv organisiert und trage durch schlechte Studienbedingungen – die ihrerseits von den Hochschulen selbst zu verantworten seien – zu langen Studienzeiten und hohen Abbruchquoten bei. Es wird konstatiert, dass mit der Lebenszeit der Studierenden verantwortungslos umgegangen und der gesellschaftliche Ausbildungsauftrag sowohl von der Hochschule im Ganzen, als auch von einzelnen Lehrenden nicht angemessen wahrgenommen werde. Um die gleichzeitig steigende Nachfrage nach akademischen Bildungsangeboten befriedigen zu können, vollziehen Hochschulen einen Wandel zu Dienstleistungsunternehmen, deren Leistungsfähigkeit sich an der Effizienz ihrer Angebote bemisst. Ein solches Leitbild ist von den Steuerungsgrundsätzen des New Public Management inspiriert. In diesem zieht sich der Staat aus der traditionell engen Verbindung zu den Hochschulen zurück und gewährt diesen lokale Autonomie, bspw. durch die Einführung globaler Haushalte zu ihrer finanziellen Selbststeuerung. Die Hochschulen werden zu Marktakteuren, die sich in der Konkurrenz um Kunden gegen ihre Wettbewerber durchsetzen, indem sie Qualität und Exzellenz unter Beweis stellen. Für die Durchführung von diesbezüglichen Leistungsvergleichen werden unterschiedliche Verfahren der Evaluation eingesetzt. In diese sind landläufig sowohl Daten der Hochschulstatistik, bspw. in Form von Absolventenquoten, als auch zunehmend Befragungsdaten, meist von Studierenden, zur Erhebung ihrer Qualitätseinschätzungen zu Lehre und Studium involviert. Insbesondere letzteren wird vielfach entgegen gehalten, dass sie nicht geeignet seien, die Qualität der Lehre adäquat abzubilden. Vielmehr seien sie durch subjektive Verzerrungen in ihrer Aussagefähigkeit eingeschränkt. Eine Beurteilung, die auf studentischen Befragungsdaten aufsetzt, müsse entsprechend zu Fehleinschätzungen und daraus folgend ungerechten Leistungssanktionen kommen. Im Sinne der Akzeptanz von Verfahren der Evaluation als Instrument hochschulinterner Qualitätssicherungs- und –entwicklungsprozesse ist daher zu untersuchen, inwieweit Beeinträchtigungen der Validität von für die Hochschulsteuerung eingesetzten Datenbasen deren Aussagekraft vermindern. Ausgehend von den entsprechenden Ergebnissen sind Entwicklungen der Verfahren möglich. Diese Frage steht im Zentrum der vorliegenden Arbeit. N2 - Universities encounter public debate on the effectivenes of their handling of public funds. Criticism mainly refers to higher education which is regarded as ineffectively organised and -due to bad learning conditions- contributing to excessively long study times and student drop out. An irresponsible handling of students' life time is detected and it is stated that universities as institutions and individual teachers do not adquately meet society's demands regarding higher education quality. In order to respond to the raising request of higher education services, universities are modified to service-oriented "enterprises" which are competing with other institutions for "customers" by providing the publicly requested evidence of quality and excellencec of their educational services. For the implementation of respective quality comparisons, different procesures of educational evaluation are being established. Higher education statistics (students/graduates ratios) and -increasingly- students' surveys, inquiring their quality appraisals of higher education teaching are involved in these procedures. Particularly the latter encounter controverse debate on their suitability to display the quality of teaching and training adequately. Limitations of their informational value is regarded to stem from subjective distortions of the collected data. Quality assessments and respective sanctions thus are deemed by those who are evaluated to potentially result in misjudgments. In order to establish evaluation procedures as an accepted instrument of internal quality assurance and quality development, data quality and the validity concerns need to be inquired carefully. Based on respective research results, further developments and improvements of the evaluation procedures can be achieved. T3 - Potsdamer Beiträge zur Lehrevaluation - 3 KW - Lehrevaluation KW - Qualitätssicherung KW - Hochschulsteuerung KW - Datenqualität KW - Validität KW - Evaluation KW - Quality Assurance KW - Higher Education Management KW - Data Quality KW - Validity Y1 - 2008 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-19755 SN - 978-3-940793-48-5 SN - 1862-8664 SN - 1614-0273 IS - 3 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - JOUR A1 - Vogelsang, Christoph A1 - Borowski, Andreas A1 - Buschhüter, David A1 - Enkrott, Patrick A1 - Kempin, Maren A1 - Kulgemeyer, Christoph A1 - Reinhold, Peter A1 - Riese, Josef A1 - Schecker, Horst A1 - Schröder, Jan T1 - Entwicklung von Professionswissen und Unterrichtsperformanz im Lehramtsstudium Physik T1 - Development of Professional Knowledge and Teaching Skills in Academic Pre-service Physics Teacher Education: Validity analyses concerning the interpretation of test scores BT - Analysen zu valider Testwertinterpretation JF - Zeitschrift für Pädagogik N2 - Angehende Physiklehrkräfte sollen im Rahmen ihres Studiums fachliches und fachdidaktisches Wissen erwerben, welches die Gestaltung lernförderlichen Unterrichts ermöglicht. Es ist allerdings empirisch nur wenig geklärt, wie sich dieses Wissen im Laufe des Studiums entwickelt und ob es zur Ausbildung von Handlungsfähigkeiten beiträgt. Um derartige Wirkungsaussagen treffen zu können, müssen Instrumente entwickelt werden, die eine valide Testwertinterpretation zulassen. In diesem Beitrag werden auf Basis von im Projekt Profile-P+ entwickelten Instrumenten Validitätsanalysen zur längsschnittlichen Entwicklung des Professionswissens von Physiklehramtsstudierenden im Verlauf des Bachelorstudiums und ihrer Fähigkeiten zur Planung und Reflexion von Physikunterricht sowie zum Erklären von physikalischen Sachverhalten vor und nach dem Praxissemester dargestellt. Neben Wissenstests kamen standardisierte Performanztests zum Einsatz. Die vorliegenden Ergebnisse sprechen dafür, dass die erhobenen Messwerte im Sinne von Wirkungsaussagen interpretiert werden können. N2 - In pre-service teacher education programs prospective physics teachers should acquire professional knowledge that enables them to carry out effective instruction. However, there is little empirical evidence with regard to the development of professional knowledge in the courses of their studies - it is even unclear what knowledge has an impact on teaching quality. In order to be able to analyse these questions, instruments must be developed that permit a valid interpretation of tests cores. Based on instruments developed in project Profile-P+, this article presents a validity argument for the interpretation of test scores for the development of pre-service physics teachers' professional knowledge during a bachelor degree program. The authors also develop validity arguments for the interpretation of tests cores for the development of their skills to plan and reflect on physics lessons and to explain physics during teaching practice. In addition to knowledge tests, standardized performance tests were used. The results of the analysis suggest that the measured values can be interpreted in the intended sense. KW - Physics KW - Teacher Education KW - Professional Knowledge KW - Performance Assessment KW - Longitudinal Analysis KW - Erhebungsinstrument KW - Längsschnittuntersuchung KW - Validität KW - Kompetenzerwerb KW - Test KW - Testauswertung KW - Lehrer KW - Lehramtsstudent KW - Schulpraktikum KW - Fachwissen KW - Unterrichtsgestaltung KW - Unterrichtsplanung KW - Fachdidaktik KW - Datenanalyse KW - Messung KW - Reflexion (Phil) KW - Physikunterricht KW - Interpretation KW - Konzeption KW - Deutschland Y1 - 2019 SN - 0044-3247 VL - 65 IS - 4 SP - 473 EP - 491 PB - Beltz CY - Weinheim ER -