Refine
Document Type
- Article (20)
- Monograph/Edited Volume (3)
- Postprint (3)
- Conference Proceeding (1)
- Part of Periodical (1)
- Review (1)
Is part of the Bibliography
- yes (29)
Keywords
- Reflexion (4)
- professional knowledge (4)
- Lehrerbildung (3)
- physics education (3)
- teacher education (3)
- Fachdidaktik (2)
- Feedback (2)
- Lehrkräftebildung (2)
- NLP (2)
- PCK (2)
Institute
- Institut für Physik und Astronomie (16)
- Zentrum für Lehrerbildung und Bildungsforschung (ZeLB) (12)
- Extern (5)
- Department Erziehungswissenschaft (2)
- Department Linguistik (1)
- Institut für Biochemie und Biologie (1)
- Institut für Romanistik (1)
- Mathematisch-Naturwissenschaftliche Fakultät (1)
- Strukturbereich Bildungswissenschaften (1)
Computer-based analysis of preservice teachers' written reflections could enable educational scholars to design personalized and scalable intervention measures to support reflective writing. Algorithms and technologies in the domain of research related to artificial intelligence have been found to be useful in many tasks related to reflective writing analytics such as classification of text segments. However, mostly shallow learning algorithms have been employed so far. This study explores to what extent deep learning approaches can improve classification performance for segments of written reflections. To do so, a pretrained language model (BERT) was utilized to classify segments of preservice physics teachers' written reflections according to elements in a reflection-supporting model. Since BERT has been found to advance performance in many tasks, it was hypothesized to enhance classification performance for written reflections as well. We also compared the performance of BERT with other deep learning architectures and examined conditions for best performance. We found that BERT outperformed the other deep learning architectures and previously reported performances with shallow learning algorithms for classification of segments of reflective writing. BERT starts to outperform the other models when trained on about 20 to 30% of the training data. Furthermore, attribution analyses for inputs yielded insights into important features for BERT's classification decisions. Our study indicates that pretrained language models such as BERT can boost performance for language-related tasks in educational contexts such as classification.
Für die Entwicklung professioneller Handlungskompetenzen angehender Lehrkräfte stellt die Unterrichtsreflexion ein wichtiges Instrument dar, um Theoriewissen und Praxiserfahrungen in Beziehung zu setzen. Die Auswertung von Unterrichtsreflexionen und eine entsprechende Rückmeldung stellt Forschende und Dozierende allerdings vor praktische wie theoretische Herausforderungen. Im Kontext der Forschung zu Künstlicher Intelligenz (KI) entwickelte Methoden bieten hier neue Potenziale. Der Beitrag stellt überblicksartig zwei Teilstudien vor, die mit Hilfe von KI-Methoden wie dem maschinellen Lernen untersuchen, inwieweit eine Auswertung von Unterrichtsreflexionen angehender Physiklehrkräfte auf Basis eines theoretisch abgeleiteten Reflexionsmodells und die automatisierte Rückmeldung hierzu möglich sind. Dabei wurden unterschiedliche Ansätze des maschinellen Lernens verwendet, um modellbasierte Klassifikation und Exploration von Themen in Unterrichtsreflexionen umzusetzen. Die Genauigkeit der Ergebnisse wurde vor allem durch sog. Große Sprachmodelle gesteigert, die auch den Transfer auf andere Standorte und Fächer ermöglichen. Für die fachdidaktische Forschung bedeuten sie jedoch wiederum neue Herausforderungen, wie etwa systematische Verzerrungen und Intransparenz von Entscheidungen. Dennoch empfehlen wir, die Potenziale der KI-basierten Methoden gründlicher zu erforschen und konsequent in der Praxis (etwa in Form von Webanwendungen) zu implementieren.
Reflecting in written form on one's teaching enactments has been considered a facilitator for teachers' professional growth in university-based preservice teacher education. Writing a structured reflection can be facilitated through external feedback. However, researchers noted that feedback in preservice teacher education often relies on holistic, rather than more content-based, analytic feedback because educators oftentimes lack resources (e.g., time) to provide more analytic feedback. To overcome this impediment to feedback for written reflection, advances in computer technology can be of use. Hence, this study sought to utilize techniques of natural language processing and machine learning to train a computer-based classifier that classifies preservice physics teachers' written reflections on their teaching enactments in a German university teacher education program. To do so, a reflection model was adapted to physics education. It was then tested to what extent the computer-based classifier could accurately classify the elements of the reflection model in segments of preservice physics teachers' written reflections. Multinomial logistic regression using word count as a predictor was found to yield acceptable average human-computer agreement (F1-score on held-out test dataset of 0.56) so that it might fuel further development towards an automated feedback tool that supplements existing holistic feedback for written reflections with data-based, analytic feedback.
Science education researchers typically face a trade-off between more quantitatively oriented confirmatory testing of hypotheses, or more qualitatively oriented exploration of novel hypotheses. More recently, open-ended, constructed response items were used to combine both approaches and advance assessment of complex science-related skills and competencies. For example, research in assessing science teachers' noticing and attention to classroom events benefitted from more open-ended response formats because teachers can present their own accounts. Then, open-ended responses are typically analyzed with some form of content analysis. However, language is noisy, ambiguous, and unsegmented and thus open-ended, constructed responses are complex to analyze. Uncovering patterns in these responses would benefit from more principled and systematic analysis tools. Consequently, computer-based methods with the help of machine learning and natural language processing were argued to be promising means to enhance assessment of noticing skills with constructed response formats. In particular, pretrained language models recently advanced the study of linguistic phenomena and thus could well advance assessment of complex constructs through constructed response items. This study examines potentials and challenges of a pretrained language model-based clustering approach to assess preservice physics teachers' attention to classroom events as elicited through open-ended written descriptions. It was examined to what extent the clustering approach could identify meaningful patterns in the constructed responses, and in what ways textual organization of the responses could be analyzed with the clusters. Preservice physics teachers (N = 75) were instructed to describe a standardized, video-recorded teaching situation in physics. The clustering approach was used to group related sentences. Results indicate that the pretrained language model-based clustering approach yields well-interpretable, specific, and robust clusters, which could be mapped to physics-specific and more general contents. Furthermore, the clusters facilitate advanced analysis of the textual organization of the constructed responses. Hence, we argue that machine learning and natural language processing provide science education researchers means to combine exploratory capabilities of qualitative research methods with the systematicity of quantitative methods.
Angehende Physiklehrkräfte sollen im Rahmen ihres Studiums fachliches und fachdidaktisches Wissen erwerben, welches die Gestaltung lernförderlichen Unterrichts ermöglicht. Es ist allerdings empirisch nur wenig geklärt, wie sich dieses Wissen im Laufe des Studiums entwickelt und ob es zur Ausbildung von Handlungsfähigkeiten beiträgt. Um derartige Wirkungsaussagen treffen zu können, müssen Instrumente entwickelt werden, die eine valide Testwertinterpretation zulassen. In diesem Beitrag werden auf Basis von im Projekt Profile-P+ entwickelten Instrumenten Validitätsanalysen zur längsschnittlichen Entwicklung des Professionswissens von Physiklehramtsstudierenden im Verlauf des Bachelorstudiums und ihrer Fähigkeiten zur Planung und Reflexion von Physikunterricht sowie zum Erklären von physikalischen Sachverhalten vor und nach dem Praxissemester dargestellt. Neben Wissenstests kamen standardisierte Performanztests zum Einsatz. Die vorliegenden Ergebnisse sprechen dafür, dass die erhobenen Messwerte im Sinne von Wirkungsaussagen interpretiert werden können.
Im Lehramtsstudium sollen Studierende grundlegende Fähigkeiten zur theoriegeleiteten Unterrichtsplanung erwerben.
In Übereinstimmung mit Modellen zur professionellen Handlungskompetenz von Lehrkräften wird hierbei meist angenommen, dass das im Studienverlauf erworbene Professionswissen eine wesentliche Grundlage für den Aufbau von Fähigkeiten zur Unterrichtsplanung bildet.
Lerngelegenheiten zur Anwendung dieses Professionswissens bieten vor allem schulpraktische Phasen im fortgeschrittenen Studienverlauf. Es wird aber ebenso angenommen, dass gerade Erfahrungen mit der Unterrichtsplanung den Aufbau von Professionswissen unterstützen.
Der Zusammenhang zwischen dem Ausmaß des Professionswissens und der Entwicklung von Planungsfähigkeit ist bisher unzureichend empirisch geklärt. Eine besondere methodische Herausforderung besteht darin, Planungsfähigkeiten sowohl möglichst authentisch als auch auf standardisierte Weise zu erfassen. Zur Untersuchung des genannten Zusammenhangs wurde eine längsschnittliche Studie im Prä-Post-Design bei angehenden Physiklehrkräften (N = 68 im Längsschnitt) an vier Universitäten durchgeführt.
Die Unterrichtsplanungsfähigkeit wurde mit Hilfe eines standardisierten Performanztests vor und nach dem Absolvieren eines Praxissemesters erfasst, indem als Standardsituation der Entwurf einer Unterrichtsstunde zum 3. Newton’schen Axiom unter definierten Zeitvorgaben im Praxissemester simuliert wurde. Zusätzlich wurden das fachliche, fachdidaktische und pädagogische Wissen der Studierenden mit Hilfe standardisierter Instrumente zu beiden Zeitpunkten erhoben, sowie die einschlägigen Lerngelegenheiten im Praxissemester über einen Fragebogen erfasst.
Sowohl für Unterrichtsplanungsfähigkeit als auch für alle Wissensvariablen können Zuwächse im Praxissemester beobachtet werden. Cross-Lagged-Panel-Analysen zeigen, dass insbesondere die Ausprägung des fachdidaktischen und pädagogischen Wissens der Studierenden am Beginn des Praxissemesters die Entwicklung von Unterrichtsplanungsfähigkeit begünstigt.
For improving teacher education, there has been an increasing interest in describing teachers' professional competencies and their development in the course of implementing educational programs. The focus of the present project is on modeling and measuring domain-specific and generic competencies that future physics teachers acquire during their university studies. The model comprises characteristics and relationships between physics content knowledge, pedagogical content knowledge, and skills for explaining physics phenomena. Based on the model, assessment instruments were developed and applied as paper-and-pencil-tests and videotaped expert-novice dialogues for measuring the competencies in a large sample of physics student teachers. Trials and validation suggest that our instruments are valid in terms of content and construct validities.
Der Beitrag beschreibt nach einer kurzen Klärung des Begriffs Reflexion und der Klärung der Bedeutung dieses Prozesses für das Lehrkrafthandeln eine spezielle Lerngelegenheit für diesen Prozess im Rahmen des Praxissemesters für Lehramtsstudierende. Um die Reflexionen der Studierenden theoriegeleitet analysieren zu können, wurde ein Modell des Reflexionsprozesses entwickelt, welches kurz vorgestellt wird. Der Schwerpunkt des Beitrags liegt in der Schilderung des (idealtypischen) Ablaufs der Lernsituation. Auf der Basis mehrerer Abläufe mit Lehramtsstudierenden werden am Ende Erfahrungen mit verschiedenen Ausprägungen des Reflexionsprozesses dargestellt. Eine Weiterentwicklung dieses Formats und sein über das Praxissemester hinausgehender Einsatz werden empfohlen.
Algorithmen als Dozierende?
(2023)
Auf maschinellem Lernen basierende Tools haben schon längst Einzug in unseren Alltag gefunden und so konnten auch in der Lehrkräftebildung erste Anwendungen entwickelt, erprobt und evaluiert werden. Im Teilprojekt Physikdidaktik des Schwerpunktes 2 „Schulpraktische Studien“ wurden auf Basis eines Rahmenmodells für Reflexion (Nowak et al., 2019) automatisierte Analysemethoden (Wulff et al., 2020) entwickelt und fanden Einzug in universitäre fachdidaktische Lehre (Mientus et al., 2021a). Mit dem Projekt konnten Potenziale KI-basierter Unterstützung aufgezeigt und verstetigt sowie spezifische Herausforderungen identifiziert werden. Dieser Beitrag skizziert ausgewählte Anwendungsmöglichkeiten und weiterführende Forschungen unter dem Gesichtspunkt der Akzeptanz computerunterstützter Lehre.
Schulpraktische Phasen stellen eine bedeutende praxisnahe Lerngelegenheit im Lehramtsstudium dar, da sie Raum für umfangreiche Reflexionen der eigenen Lernerfahrung bieten. Das im Studium erworbene theoretisch-formale Wissen steht hierbei dem praktischen Wissen und Können gegenüber. Mit der professionellen Entwicklung im Referendariat, besonders im Kompetenzbereich des Unterrichtens, kann geschlussfolgert werden, dass sich eine Reflexion über eher fachliche Aspekte unter den Studierenden im Referendariat auf eine Reflexion über eher überfachliche und pädagogische Aspekte weitet. Infolge der Analyse von N = 55 schriftlichen Fremdreflexionen von angehenden Physiklehrkräften aus Studium und Referendariat konnte diese Hypothese für den Bereich der Unterrichtsanalyse und -reflexion unterstützt werden. Weiter wurde aus der Videovignette ein Workshopangebot für Lehrkräfte der zweiten und dritten Phase der Lehrkräftebildung entwickelt, erprobt und evaluiert.