Refine
Document Type
- Article (8)
- Monograph/Edited Volume (2)
- Doctoral Thesis (1)
- Postprint (1)
Is part of the Bibliography
- yes (12)
Keywords
- Reflexion (6)
- Feedback (3)
- Lehrkräftebildung (3)
- Reflexivität (3)
- NLP (2)
- literature review (2)
- machine learning (2)
- pedagogical content knowledge (PCK) (2)
- pedagogical reasoning (2)
- refined consensus model (RCM) (2)
Science education researchers have developed a refined understanding of the structure of science teachers’ pedagogical content knowledge (PCK), but how to develop applicable and situation-adequate PCK remains largely unclear. A potential problem lies in the diverse conceptualisations of the PCK used in PCK research. This study sought to systematize existing science education research on PCK through the lens of the recently proposed refined consensus model (RCM) of PCK. In this review, the studies’ approaches to investigating PCK and selected findings were characterised and synthesised as an overview comparing research before and after the publication of the RCM. We found that the studies largely employed a qualitative case-study methodology that included specific PCK models and tools. However, in recent years, the studies focused increasingly on quantitative aspects. Furthermore, results of the reviewed studies can mostly be integrated into the RCM. We argue that the RCM can function as a meaningful theoretical lens for conceptualizing links between teaching practice and PCK development by proposing pedagogical reasoning as a mechanism and/or explanation for PCK development in the context of teaching practice.
Computer-based analysis of preservice teachers' written reflections could enable educational scholars to design personalized and scalable intervention measures to support reflective writing. Algorithms and technologies in the domain of research related to artificial intelligence have been found to be useful in many tasks related to reflective writing analytics such as classification of text segments. However, mostly shallow learning algorithms have been employed so far. This study explores to what extent deep learning approaches can improve classification performance for segments of written reflections. To do so, a pretrained language model (BERT) was utilized to classify segments of preservice physics teachers' written reflections according to elements in a reflection-supporting model. Since BERT has been found to advance performance in many tasks, it was hypothesized to enhance classification performance for written reflections as well. We also compared the performance of BERT with other deep learning architectures and examined conditions for best performance. We found that BERT outperformed the other deep learning architectures and previously reported performances with shallow learning algorithms for classification of segments of reflective writing. BERT starts to outperform the other models when trained on about 20 to 30% of the training data. Furthermore, attribution analyses for inputs yielded insights into important features for BERT's classification decisions. Our study indicates that pretrained language models such as BERT can boost performance for language-related tasks in educational contexts such as classification.
Science education researchers have developed a refined understanding of the structure of science teachers’ pedagogical content knowledge (PCK), but how to develop applicable and situation-adequate PCK remains largely unclear. A potential problem lies in the diverse conceptualisations of the PCK used in PCK research. This study sought to systematize existing science education research on PCK through the lens of the recently proposed refined consensus model (RCM) of PCK. In this review, the studies’ approaches to investigating PCK and selected findings were characterised and synthesised as an overview comparing research before and after the publication of the RCM. We found that the studies largely employed a qualitative case-study methodology that included specific PCK models and tools. However, in recent years, the studies focused increasingly on quantitative aspects. Furthermore, results of the reviewed studies can mostly be integrated into the RCM. We argue that the RCM can function as a meaningful theoretical lens for conceptualizing links between teaching practice and PCK development by proposing pedagogical reasoning as a mechanism and/or explanation for PCK development in the context of teaching practice.
Science education researchers typically face a trade-off between more quantitatively oriented confirmatory testing of hypotheses, or more qualitatively oriented exploration of novel hypotheses. More recently, open-ended, constructed response items were used to combine both approaches and advance assessment of complex science-related skills and competencies. For example, research in assessing science teachers' noticing and attention to classroom events benefitted from more open-ended response formats because teachers can present their own accounts. Then, open-ended responses are typically analyzed with some form of content analysis. However, language is noisy, ambiguous, and unsegmented and thus open-ended, constructed responses are complex to analyze. Uncovering patterns in these responses would benefit from more principled and systematic analysis tools. Consequently, computer-based methods with the help of machine learning and natural language processing were argued to be promising means to enhance assessment of noticing skills with constructed response formats. In particular, pretrained language models recently advanced the study of linguistic phenomena and thus could well advance assessment of complex constructs through constructed response items. This study examines potentials and challenges of a pretrained language model-based clustering approach to assess preservice physics teachers' attention to classroom events as elicited through open-ended written descriptions. It was examined to what extent the clustering approach could identify meaningful patterns in the constructed responses, and in what ways textual organization of the responses could be analyzed with the clusters. Preservice physics teachers (N = 75) were instructed to describe a standardized, video-recorded teaching situation in physics. The clustering approach was used to group related sentences. Results indicate that the pretrained language model-based clustering approach yields well-interpretable, specific, and robust clusters, which could be mapped to physics-specific and more general contents. Furthermore, the clusters facilitate advanced analysis of the textual organization of the constructed responses. Hence, we argue that machine learning and natural language processing provide science education researchers means to combine exploratory capabilities of qualitative research methods with the systematicity of quantitative methods.
Reflexion ist eine Schlüsselkategorie für die professionelle Entwicklung von Lehrkräften, welche als Ausbildungsziel in den Bildungsstandards für die Lehrkräftebildung verankert ist. Eine Verstetigung universitär geprägter Forschung und Modellierung in der praxisnahen Anwendung im schulischen Kontext bietet Potentiale nachhaltiger Professionalisierung. Die Stärkung reflexionsbezogener Kompetenzen durch Empirie und Anwendung scheint eine phasenübergreifende Herausforderung der Lehrkräftebildung zu sein, die es zu bewältigen gilt. Ziele des Tagungsbandes Reflexion in der Lehrkräftebildung sind eine theoretische Schärfung des Konzeptes „Reflexive Professionalisierung“ und der Austausch über Fragen der Einbettung wirksamer reflexionsbezogener Lerngelegenheiten in die Lehrkräftebildung. Forschende und Lehrende der‚ drei Phasen (Studium, Referendariat sowie Fort- und Weiterbildung) der Lehrkräftebildung stellen Lehrkonzepte und Forschungsprojekte zum Thema Reflexion in der Lehrkräftebildung vor und diskutieren diese. Gemeinsam mit Teilnehmenden aller Phasen und von verschiedenen Standorten der Lehrkräftebildung werden zukünftige Herausforderungen identifiziert und Lösungsansätze herausgearbeitet.
Reflexion und Reflexivität
(2023)
Reflexion gilt in der Lehrkräftebildung als eine Schlüsselkategorie der professionellen Entwicklung. Entsprechend wird auf vielfältige Weise die Qualität reflexionsbezogener Kompetenzen untersucht. Eine Herausforderung hierbei kann in der Annahme bestehen, von der Analyse schriftlicher Reflexionen unmittelbar auf die Reflexivität einer Person zu schließen, da Reflexion stets kontextspezifisch als Abbild reflexionsbezogener Argumentationsprozesse angesehen werden sollte und reflexionsbezogenen Dispositionen unterliegt. Auch kann die Qualität einer Reflexion auf mehreren Dimensionen bewertet werden, ohne quantifizierbare, absolute Aussagen treffen zu können.
Daher wurden im Rahmen einer Physik-Videovignette N = 134 schriftliche Fremdreflexionen verfasst und kontextspezifische reflexionsbezogene Dispositionen erhoben. Expert*innen erstellten theoriegeleitet Qualitätsbewertungen zur Breite, Tiefe, Kohärenz und Spezifität eines jeden Reflexionstextes. Unter Verwendung computerbasierter Klassifikations- und Analyseverfahren wurden weitere Textmerkmale erhoben. Mittels explorativer Faktorenanalyse konnten die Faktoren Qualität, Quantität und Deskriptivität gefunden werden. Da alle konventionell eingeschätzten Qualitätsbewertungen durch einen Faktor repräsentiert wurden, konnte ein maximales Qualitätskorrelat kalkuliert werden, zu welchem jede schriftliche Fremdreflexion im Rahmen der vorliegenden Vignette eine computerbasiert bestimmbare Distanz aufweist. Diese Distanz zum maximalen Qualitätskorrelat konnte validiert werden und kann die Qualität der schriftlichen Reflexionen unabhängig von menschlichen Ressourcen quantifiziert repräsentieren. Abschließend konnte identifiziert werden, dass ausgewählte Dispositionen in unterschiedlichem Maße mit der Reflexionsqualität zusammenhängen. So konnten beispielsweise bezogen auf das Physik-Fachwissen minimale Zusammenhänge identifiziert werden, wohingegen Werthaltung sowie wahrgenommene Unterrichtsqualität eng mit der Qualität einer schriftlichen Reflexion in Verbindung stehen können.
Es wird geschlussfolgert, dass reflexionsbezogene Dispositionen moderierenden Einfluss auf Reflexionen nehmen können. Es wird empfohlen bei der Erhebung von Reflexion mit dem Ziel der Kompetenzmessung ausgewählte Dispositionen mit zu erheben. Weiter verdeutlicht diese Arbeit die Möglichkeit, aussagekräftige Quantifizierungen auch in der Analyse komplexer Konstrukte vorzunehmen. Durch computerbasierte Qualitätsabschätzungen können objektive und individuelle Analysen und differenzierteres automatisiertes Feedback ermöglicht werden.
Die Fachausbildung des Vorbereitungsdiensts im Land Brandenburg bietet Lehramtskandidat:innen (LAK) gemeinsame Fachgruppenarbeit, individuelle Fachkonsultationen sowie Hospitationen als unterstützende Angebote im Entwicklungsprozess. Um diesen Professionalisierungsprozess sichtbar zu machen und Zielperspektiven entwickeln und verfolgen zu können, wurden aus einem Spinnennetzdiagramm zwei Praxistools zur Reflexion und Diagnose entwickelt.
(1) Reflexionstool: Die Übertragung eines tabellarischen Kompetenzprofils (Arnold & Iffert nach MBJS [Ministerium für Bildung, Jugend und Sport des Landes Brandenburg], 2014) in das Spinnennetzdiagramm bietet den LAK niederschwellige Gelegenheit der kontinuierlichen, prozessbegleitenden Selbstreflexion. Die Selbstwahrnehmung von positiven Entwicklungen kann zur Stärkung der Selbstwirksamkeit führen, schafft gleichzeitig jedoch eine Bewusstmachung für einzelne Herausforderungen. Die Abbildung individueller Entwicklungsaufgaben und Professionalisierungsbedarfe ermöglicht eine bedarfsorientierte Gestaltung der Fachgruppenarbeit.
(2) Diagnosetool: Analog wird Fachausbilder:innen durch die Übertragung der Beobachtungskriterien des MBJS (2014) in das Diagramm eine übersichtliche Bestandsaufnahme einzelner Unterrichtssituationen zur Diagnose von Grundkoordinaten des Unterrichts transparent. Auf diese Weise können Fachausbilder:innen mögliche blinde Flecken identifizieren und Feedback zur Auswahl von Beobachtungskriterien geben. Darüber hinaus ergeben sich Aspekte zur Gestaltung von Fachkonsultationen sowie Diskussionsgrundlagen für Gruppenhospitationen.
Schulpraktische Phasen stellen eine bedeutende praxisnahe Lerngelegenheit im Lehramtsstudium dar, da sie Raum für umfangreiche Reflexionen der eigenen Lernerfahrung bieten. Das im Studium erworbene theoretisch-formale Wissen steht hierbei dem praktischen Wissen und Können gegenüber. Mit der professionellen Entwicklung im Referendariat, besonders im Kompetenzbereich des Unterrichtens, kann geschlussfolgert werden, dass sich eine Reflexion über eher fachliche Aspekte unter den Studierenden im Referendariat auf eine Reflexion über eher überfachliche und pädagogische Aspekte weitet. Infolge der Analyse von N = 55 schriftlichen Fremdreflexionen von angehenden Physiklehrkräften aus Studium und Referendariat konnte diese Hypothese für den Bereich der Unterrichtsanalyse und -reflexion unterstützt werden. Weiter wurde aus der Videovignette ein Workshopangebot für Lehrkräfte der zweiten und dritten Phase der Lehrkräftebildung entwickelt, erprobt und evaluiert.
Für die Entwicklung professioneller Handlungskompetenzen angehender Lehrkräfte stellt die Unterrichtsreflexion ein wichtiges Instrument dar, um Theoriewissen und Praxiserfahrungen in Beziehung zu setzen. Die Auswertung von Unterrichtsreflexionen und eine entsprechende Rückmeldung stellt Forschende und Dozierende allerdings vor praktische wie theoretische Herausforderungen. Im Kontext der Forschung zu Künstlicher Intelligenz (KI) entwickelte Methoden bieten hier neue Potenziale. Der Beitrag stellt überblicksartig zwei Teilstudien vor, die mit Hilfe von KI-Methoden wie dem maschinellen Lernen untersuchen, inwieweit eine Auswertung von Unterrichtsreflexionen angehender Physiklehrkräfte auf Basis eines theoretisch abgeleiteten Reflexionsmodells und die automatisierte Rückmeldung hierzu möglich sind. Dabei wurden unterschiedliche Ansätze des maschinellen Lernens verwendet, um modellbasierte Klassifikation und Exploration von Themen in Unterrichtsreflexionen umzusetzen. Die Genauigkeit der Ergebnisse wurde vor allem durch sog. Große Sprachmodelle gesteigert, die auch den Transfer auf andere Standorte und Fächer ermöglichen. Für die fachdidaktische Forschung bedeuten sie jedoch wiederum neue Herausforderungen, wie etwa systematische Verzerrungen und Intransparenz von Entscheidungen. Dennoch empfehlen wir, die Potenziale der KI-basierten Methoden gründlicher zu erforschen und konsequent in der Praxis (etwa in Form von Webanwendungen) zu implementieren.
Algorithmen als Dozierende?
(2023)
Auf maschinellem Lernen basierende Tools haben schon längst Einzug in unseren Alltag gefunden und so konnten auch in der Lehrkräftebildung erste Anwendungen entwickelt, erprobt und evaluiert werden. Im Teilprojekt Physikdidaktik des Schwerpunktes 2 „Schulpraktische Studien“ wurden auf Basis eines Rahmenmodells für Reflexion (Nowak et al., 2019) automatisierte Analysemethoden (Wulff et al., 2020) entwickelt und fanden Einzug in universitäre fachdidaktische Lehre (Mientus et al., 2021a). Mit dem Projekt konnten Potenziale KI-basierter Unterstützung aufgezeigt und verstetigt sowie spezifische Herausforderungen identifiziert werden. Dieser Beitrag skizziert ausgewählte Anwendungsmöglichkeiten und weiterführende Forschungen unter dem Gesichtspunkt der Akzeptanz computerunterstützter Lehre.