TY - JOUR A1 - Mientus, Lukas A1 - Nowak, Anna A1 - Wulff, Peter A1 - Borowski, Andreas ED - Mientus, Lukas ED - Klempin, Christiane ED - Nowak, Anna T1 - Unterrichtsanalyse und Reflexion BT - Ableitung eines Workshopangebots für die zweite und dritte Phase der Lehrkräftebildung JF - Reflexion in der Lehrkräftebildung: Empirisch – Phasenübergreifend – Interdisziplinär (Potsdamer Beiträge zur Lehrerbildung und Bildungsforschung ; 4) N2 - Schulpraktische Phasen stellen eine bedeutende praxisnahe Lerngelegenheit im Lehramtsstudium dar, da sie Raum für umfangreiche Reflexionen der eigenen Lernerfahrung bieten. Das im Studium erworbene theoretisch-formale Wissen steht hierbei dem praktischen Wissen und Können gegenüber. Mit der professionellen Entwicklung im Referendariat, besonders im Kompetenzbereich des Unterrichtens, kann geschlussfolgert werden, dass sich eine Reflexion über eher fachliche Aspekte unter den Studierenden im Referendariat auf eine Reflexion über eher überfachliche und pädagogische Aspekte weitet. Infolge der Analyse von N = 55 schriftlichen Fremdreflexionen von angehenden Physiklehrkräften aus Studium und Referendariat konnte diese Hypothese für den Bereich der Unterrichtsanalyse und -reflexion unterstützt werden. Weiter wurde aus der Videovignette ein Workshopangebot für Lehrkräfte der zweiten und dritten Phase der Lehrkräftebildung entwickelt, erprobt und evaluiert. KW - Reflexion KW - Unterrichtsanalyse KW - Referendariat KW - Fortbildung Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-632005 SN - 978-3-86956-566-8 SN - 2626-3556 SN - 2626-4722 IS - 4 SP - 445 EP - 452 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - JOUR A1 - Wulff, Peter A1 - Mientus, Lukas A1 - Nowak, Anna A1 - Borowski, Andreas T1 - KI-basierte Auswertung von schriftlichen Unterrichtsreflexionen im Fach Physik und automatisierte Rückmeldung JF - PSI-Potsdam: Ergebnisbericht zu den Aktivitäten im Rahmen der Qualitätsoffensive Lehrerbildung (2019-2023) (Potsdamer Beiträge zur Lehrerbildung und Bildungsforschung ; 3) N2 - Für die Entwicklung professioneller Handlungskompetenzen angehender Lehrkräfte stellt die Unterrichtsreflexion ein wichtiges Instrument dar, um Theoriewissen und Praxiserfahrungen in Beziehung zu setzen. Die Auswertung von Unterrichtsreflexionen und eine entsprechende Rückmeldung stellt Forschende und Dozierende allerdings vor praktische wie theoretische Herausforderungen. Im Kontext der Forschung zu Künstlicher Intelligenz (KI) entwickelte Methoden bieten hier neue Potenziale. Der Beitrag stellt überblicksartig zwei Teilstudien vor, die mit Hilfe von KI-Methoden wie dem maschinellen Lernen untersuchen, inwieweit eine Auswertung von Unterrichtsreflexionen angehender Physiklehrkräfte auf Basis eines theoretisch abgeleiteten Reflexionsmodells und die automatisierte Rückmeldung hierzu möglich sind. Dabei wurden unterschiedliche Ansätze des maschinellen Lernens verwendet, um modellbasierte Klassifikation und Exploration von Themen in Unterrichtsreflexionen umzusetzen. Die Genauigkeit der Ergebnisse wurde vor allem durch sog. Große Sprachmodelle gesteigert, die auch den Transfer auf andere Standorte und Fächer ermöglichen. Für die fachdidaktische Forschung bedeuten sie jedoch wiederum neue Herausforderungen, wie etwa systematische Verzerrungen und Intransparenz von Entscheidungen. Dennoch empfehlen wir, die Potenziale der KI-basierten Methoden gründlicher zu erforschen und konsequent in der Praxis (etwa in Form von Webanwendungen) zu implementieren. N2 - For the development of professional competencies in pre-service teachers, reflection on teaching experiences is proposed as an important tool to link theoretical knowledge and practice. However, evaluating reflections and providing appropriate feedback poses challenges of both theoretical and practical nature to researchers and educators. Methods associated with artificial intelligence research offer new potentials to discover patterns in complex datasets like reflections, as well as to evaluate these automatically and create feedback. In this article, we provide an overview of two sub-studies that investigate, using artificial intelligence methods such as machine learning, to what extent an evaluation of reflections of pre-service physics teachers based on a theoretically derived reflection model and automated feedback are possible. Across the sub-studies, different machine learning approaches were used to implement model-based classification and exploration of topics in reflections. Large language models in particular increase the accuracy of the results and allow for transfer to other locations and disciplines. However, entirely new challenges arise for educational research in relation to large language models, such as systematic biases and lack of transparency in decisions. Despite these uncertainties, we recommend further exploring the potentials of artificial intelligence-based methods and implementing them consistently in practice (for example, in the form of web applications). KW - Künstliche Intelligenz KW - Maschinelles Lernen KW - Natural Language Processing KW - Reflexion KW - Professionalisierung KW - artificial intelligence KW - machine learning KW - natural language processing KW - reflexion KW - professionalization Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-616363 SN - 978-3-86956-568-2 SN - 2626-3556 SN - 2626-4722 IS - 3 SP - 103 EP - 115 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - JOUR A1 - Mientus, Lukas A1 - Wulff, Peter A1 - Nowak, Anna A1 - Borowski, Andreas T1 - Algorithmen als Dozierende? BT - Akzeptanz von KI-basierten Lernangeboten in der Physik-Lehrkräftebildung JF - PSI-Potsdam: Ergebnisbericht zu den Aktivitäten im Rahmen der Qualitätsoffensive Lehrerbildung (2019-2023) (Potsdamer Beiträge zur Lehrerbildung und Bildungsforschung ; 3) N2 - Auf maschinellem Lernen basierende Tools haben schon längst Einzug in unseren Alltag gefunden und so konnten auch in der Lehrkräftebildung erste Anwendungen entwickelt, erprobt und evaluiert werden. Im Teilprojekt Physikdidaktik des Schwerpunktes 2 „Schulpraktische Studien“ wurden auf Basis eines Rahmenmodells für Reflexion (Nowak et al., 2019) automatisierte Analysemethoden (Wulff et al., 2020) entwickelt und fanden Einzug in universitäre fachdidaktische Lehre (Mientus et al., 2021a). Mit dem Projekt konnten Potenziale KI-basierter Unterstützung aufgezeigt und verstetigt sowie spezifische Herausforderungen identifiziert werden. Dieser Beitrag skizziert ausgewählte Anwendungsmöglichkeiten und weiterführende Forschungen unter dem Gesichtspunkt der Akzeptanz computerunterstützter Lehre. N2 - Tools based on machine learning have entered our everyday lives, and so it has been possible to develop, test and evaluate first applications in teacher training. In the physics education research group of the focus project 2 “Practical School Studies”, automated analysis methods were developed (Nowak et al., 2019) on the basis of a reflection-supporting model (Wulff et al., 2020). These analysis methods were then employed in university teacher teaching (Mientus et al., 2021a). With this project, potentials of machine learning-based feedback were explored, and challenges were identified. This article outlines selected applications and further research with regards to the acceptance of computer-supported teaching. KW - Reflexion KW - Feedback KW - Lehrkräftebildung KW - KI-Anwendung KW - reflexion KW - feedback KW - teacher training KW - application of artificial intelligence Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-616407 SN - 978-3-86956-568-2 SN - 2626-3556 SN - 2626-4722 IS - 3 SP - 117 EP - 129 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - JOUR A1 - Nowak, Anna A1 - Ackermann, Peter A1 - Borowski, Andreas T1 - Rahmenthema „Reflexion“ im Praxissemester Physik JF - Potsdamer Beiträge zur Lehrerbildung und Bildungsforschung N2 - Der Beitrag beschreibt nach einer kurzen Klärung des Begriffs Reflexion und der Klärung der Bedeutung dieses Prozesses für das Lehrkrafthandeln eine spezielle Lerngelegenheit für diesen Prozess im Rahmen des Praxissemesters für Lehramtsstudierende. Um die Reflexionen der Studierenden theoriegeleitet analysieren zu können, wurde ein Modell des Reflexionsprozesses entwickelt, welches kurz vorgestellt wird. Der Schwerpunkt des Beitrags liegt in der Schilderung des (idealtypischen) Ablaufs der Lernsituation. Auf der Basis mehrerer Abläufe mit Lehramtsstudierenden werden am Ende Erfahrungen mit verschiedenen Ausprägungen des Reflexionsprozesses dargestellt. Eine Weiterentwicklung dieses Formats und sein über das Praxissemester hinausgehender Einsatz werden empfohlen. N2 - After a brief clarification of the concept of reflection and from the significance of this process for teacher action, the article describes a special learning opportunity for this process within the framework of the practical semester for teacher training students. In order to be able to analyse the students’ reflections in a theory-based manner, a model of the reflection process was developed, which is briefly presented. The focus of the article is the description of the (ideal-typical) course of the learning situation. On the basis of several processes with teacher training students, experiences with different forms of the reflection process are presented at the end. A further development of this format and its use beyond the practical semester is recommended. Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-420340 SN - 978-3-86956-442-5 SN - 2626-4722 SN - 2626-3556 SP - 217 EP - 230 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - JOUR A1 - Mientus, Lukas A1 - Klempin, Christiane A1 - Nowak, Anna T1 - Reflexion in der Lehrkräftebildung: Empirisch – Phasenübergreifend – Interdisziplinär JF - Reflexion in der Lehrkräftebildung: Empirisch – Phasenübergreifend – Interdisziplinär (Potsdamer Beiträge zur Lehrerbildung und Bildungsforschung ; 4) N2 - Reflexion – unhinterfragt eines der wichtigsten Worte im Kontext der Lehrkräftebildung. Fest verankert in den bundesdeutschen Bildungsstandards sind in Forschung und Lehre die Suche nach Evidenz und die Unterstützung (angehender) Lehrkräfte ständiger Antrieb unzähliger Akteur:innen aller Phasen der Lehrkräftebildung. Wenngleich begriff liche Unklarheiten die Kommunikation von Forschungsergebnissen nicht immer intuitiv und die Unterstützung in der Lehre nicht immer praktikabel werden lassen, besteht Einigkeit darüber, dass ein Diskurs zur reflexiven Professionalisierung von Lehrkräften geführt werden muss. Aus diesem Grund veranstalteten die beiden QLB-Projekte PSI-Potsdam der Universität Potsdam und K2teach der Freien Universität Berlin vom 5. bis 7. Oktober 2022 die Onlinetagung „Reflexion in der Lehrkräftebildung. Empirisch – Phasenübergreifend – Interdisziplinär“. Ausgehend von den verschiedensten Fachdisziplinen diskutierten Akteur:innen aller Phasen der Lehrkräftebildung unterschiedlicher Standorte Ergebnisse empirischer Studien und Erfahrungen aus der Arbeit mit (angehenden) Lehrkräften. Beiträge der Tagung sind in diesem Buch festgehalten und sind als Momentaufnahme eines sich ständig entwickelnden Themenfelds zu verstehen. Forschende und Lehrende haben mit dieser Momentaufnahme die Möglichkeit, Eindrücke für die eigene Arbeit aufzunehmen und weiterzuentwickeln. KW - Reflexion KW - Reflexivität KW - Lehrkräftebildung KW - Tagung KW - Sammelband Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-618890 SN - 978-3-86956-566-8 SN - 2626-3556 SN - 2626-4722 IS - 4 SP - 13 EP - 18 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - JOUR A1 - Wulff, Peter A1 - Buschhüter, David A1 - Westphal, Andrea A1 - Nowak, Anna A1 - Becker, Lisa A1 - Robalino, Hugo A1 - Stede, Manfred A1 - Borowski, Andreas T1 - Computer-based classification of preservice physics teachers’ written reflections JF - Journal of science education and technology N2 - Reflecting in written form on one's teaching enactments has been considered a facilitator for teachers' professional growth in university-based preservice teacher education. Writing a structured reflection can be facilitated through external feedback. However, researchers noted that feedback in preservice teacher education often relies on holistic, rather than more content-based, analytic feedback because educators oftentimes lack resources (e.g., time) to provide more analytic feedback. To overcome this impediment to feedback for written reflection, advances in computer technology can be of use. Hence, this study sought to utilize techniques of natural language processing and machine learning to train a computer-based classifier that classifies preservice physics teachers' written reflections on their teaching enactments in a German university teacher education program. To do so, a reflection model was adapted to physics education. It was then tested to what extent the computer-based classifier could accurately classify the elements of the reflection model in segments of preservice physics teachers' written reflections. Multinomial logistic regression using word count as a predictor was found to yield acceptable average human-computer agreement (F1-score on held-out test dataset of 0.56) so that it might fuel further development towards an automated feedback tool that supplements existing holistic feedback for written reflections with data-based, analytic feedback. KW - reflection KW - teacher professional development KW - hatural language KW - processing KW - machine learning Y1 - 2020 U6 - https://doi.org/10.1007/s10956-020-09865-1 SN - 1059-0145 SN - 1573-1839 VL - 30 IS - 1 SP - 1 EP - 15 PB - Springer CY - Dordrecht ER - TY - JOUR A1 - Wulff, Peter A1 - Buschhüter, David A1 - Westphal, Andrea A1 - Mientus, Lukas A1 - Nowak, Anna A1 - Borowski, Andreas T1 - Bridging the gap between qualitative and quantitative assessment in science education research with machine learning BT - a case for pretrained language models-based clustering JF - Journal of science education and technology N2 - Science education researchers typically face a trade-off between more quantitatively oriented confirmatory testing of hypotheses, or more qualitatively oriented exploration of novel hypotheses. More recently, open-ended, constructed response items were used to combine both approaches and advance assessment of complex science-related skills and competencies. For example, research in assessing science teachers' noticing and attention to classroom events benefitted from more open-ended response formats because teachers can present their own accounts. Then, open-ended responses are typically analyzed with some form of content analysis. However, language is noisy, ambiguous, and unsegmented and thus open-ended, constructed responses are complex to analyze. Uncovering patterns in these responses would benefit from more principled and systematic analysis tools. Consequently, computer-based methods with the help of machine learning and natural language processing were argued to be promising means to enhance assessment of noticing skills with constructed response formats. In particular, pretrained language models recently advanced the study of linguistic phenomena and thus could well advance assessment of complex constructs through constructed response items. This study examines potentials and challenges of a pretrained language model-based clustering approach to assess preservice physics teachers' attention to classroom events as elicited through open-ended written descriptions. It was examined to what extent the clustering approach could identify meaningful patterns in the constructed responses, and in what ways textual organization of the responses could be analyzed with the clusters. Preservice physics teachers (N = 75) were instructed to describe a standardized, video-recorded teaching situation in physics. The clustering approach was used to group related sentences. Results indicate that the pretrained language model-based clustering approach yields well-interpretable, specific, and robust clusters, which could be mapped to physics-specific and more general contents. Furthermore, the clusters facilitate advanced analysis of the textual organization of the constructed responses. Hence, we argue that machine learning and natural language processing provide science education researchers means to combine exploratory capabilities of qualitative research methods with the systematicity of quantitative methods. KW - Attention to classroom events KW - Noticing KW - NLP KW - ML Y1 - 2022 U6 - https://doi.org/10.1007/s10956-022-09969-w SN - 1059-0145 SN - 1573-1839 VL - 31 IS - 4 SP - 490 EP - 513 PB - Springer CY - Dordrecht ER - TY - JOUR A1 - Nowak, Anna T1 - Untersuchung der Qualität von Selbstreflexionstexten zum Physikunterricht BT - Entwicklung des Reflexionsmodells REIZ JF - Studien zum Physik- und Chemielernen N2 - Reflexion wird als notwendig für die professionelle Entwicklung von Lehrer:innen und die Verbesserung von Unterricht angesehen, wenngleich aus theoretischer Sicht große Uneinigkeit über den Begriff selbst, den Reflexionsprozess und die damit verbundenen Kompetenzen herrscht. Ziel dieser Arbeit war die Entwicklung, Untersuchung und Weiterentwicklung eines Reflexionsmodells mit einem theoriebasierten, klaren Konzept des Reflexionsprozesses und einem passenden Anspruch an die Reflexionsleistung der Reflektierenden. Grundlage für die empirische Untersuchung waren N = 132 Selbstreflexionstexte von N = 22 Studierenden aus dem Praxissemester Physik. Zur Codierung der Texte wurden vier mittels qualitativer Inhaltsanalyse entwickelte Manuale angewandt. Mit quantitativen Methoden wurden Zusammenhänge zwischen strukturellen Elementen, Begründungen, Inhalten und dem Qualitätsmerkmal Reflexionstiefe überprüft. Es zeigte sich ein "Überhang an Negativität": negative Bewertungen, negative Reflexionsauslöser und negative Inhalte hängen signifikant positiv mit größerer Reflexionstiefe zusammen. Auf Grundlage der empirischen Ergebnisse wurde das Reflexionsmodell mit externaler und internaler Zielorientierung (REIZ) entwickelt. Zudem wurde darauf aufbauend eine Definition für Reflexionstiefe in vier Argumentationsclustern formuliert. Für die Lehrkräftebildung wird der in REIZ dargestellte differenzierte Ansatz der Zielorientierung von Reflexion empfohlen. KW - Reflexion KW - Reflexionsmodell KW - Reflexionstiefe KW - Reflexionsqualität Y1 - 2023 SN - 978-3-8325-5739-3 U6 - https://doi.org/10.30819/5739 SN - 1614-8967 VL - 371 PB - Logos CY - Berlin ER - TY - JOUR A1 - Wulff, Peter A1 - Mientus, Lukas A1 - Nowak, Anna A1 - Borowski, Andreas T1 - Utilizing a pretrained language model (BERT) to classify preservice physics teachers' written reflections JF - International journal of artificial intelligence in education N2 - Computer-based analysis of preservice teachers' written reflections could enable educational scholars to design personalized and scalable intervention measures to support reflective writing. Algorithms and technologies in the domain of research related to artificial intelligence have been found to be useful in many tasks related to reflective writing analytics such as classification of text segments. However, mostly shallow learning algorithms have been employed so far. This study explores to what extent deep learning approaches can improve classification performance for segments of written reflections. To do so, a pretrained language model (BERT) was utilized to classify segments of preservice physics teachers' written reflections according to elements in a reflection-supporting model. Since BERT has been found to advance performance in many tasks, it was hypothesized to enhance classification performance for written reflections as well. We also compared the performance of BERT with other deep learning architectures and examined conditions for best performance. We found that BERT outperformed the other deep learning architectures and previously reported performances with shallow learning algorithms for classification of segments of reflective writing. BERT starts to outperform the other models when trained on about 20 to 30% of the training data. Furthermore, attribution analyses for inputs yielded insights into important features for BERT's classification decisions. Our study indicates that pretrained language models such as BERT can boost performance for language-related tasks in educational contexts such as classification. KW - Reflective writing KW - NLP KW - Deep learning KW - Science education Y1 - 2022 U6 - https://doi.org/10.1007/s40593-022-00290-6 SN - 1560-4292 SN - 1560-4306 IS - 33 SP - 439 EP - 466 PB - Springer CY - New York ER -