TY - THES A1 - Rohloff, Tobias T1 - Learning analytics at scale BT - supporting learning and teaching in MOOCs with data-driven insights N2 - Digital technologies are paving the way for innovative educational approaches. The learning format of Massive Open Online Courses (MOOCs) provides a highly accessible path to lifelong learning while being more affordable and flexible than face-to-face courses. Thereby, thousands of learners can enroll in courses mostly without admission restrictions, but this also raises challenges. Individual supervision by teachers is barely feasible, and learning persistence and success depend on students' self-regulatory skills. Here, technology provides the means for support. The use of data for decision-making is already transforming many fields, whereas in education, it is still a young research discipline. Learning Analytics (LA) is defined as the measurement, collection, analysis, and reporting of data about learners and their learning contexts with the purpose of understanding and improving learning and learning environments. The vast amount of data that MOOCs produce on the learning behavior and success of thousands of students provides the opportunity to study human learning and develop approaches addressing the demands of learners and teachers. The overall purpose of this dissertation is to investigate the implementation of LA at the scale of MOOCs and to explore how data-driven technology can support learning and teaching in this context. To this end, several research prototypes have been iteratively developed for the HPI MOOC Platform. Hence, they were tested and evaluated in an authentic real-world learning environment. Most of the results can be applied on a conceptual level to other MOOC platforms as well. The research contribution of this thesis thus provides practical insights beyond what is theoretically possible. In total, four system components were developed and extended: (1) The Learning Analytics Architecture: A technical infrastructure to collect, process, and analyze event-driven learning data based on schema-agnostic pipelining in a service-oriented MOOC platform. (2) The Learning Analytics Dashboard for Learners: A tool for data-driven support of self-regulated learning, in particular to enable learners to evaluate and plan their learning activities, progress, and success by themselves. (3) Personalized Learning Objectives: A set of features to better connect learners' success to their personal intentions based on selected learning objectives to offer guidance and align the provided data-driven insights about their learning progress. (4) The Learning Analytics Dashboard for Teachers: A tool supporting teachers with data-driven insights to enable the monitoring of their courses with thousands of learners, identify potential issues, and take informed action. For all aspects examined in this dissertation, related research is presented, development processes and implementation concepts are explained, and evaluations are conducted in case studies. Among other findings, the usage of the learner dashboard in combination with personalized learning objectives demonstrated improved certification rates of 11.62% to 12.63%. Furthermore, it was observed that the teacher dashboard is a key tool and an integral part for teaching in MOOCs. In addition to the results and contributions, general limitations of the work are discussed—which altogether provide a solid foundation for practical implications and future research. N2 - Digitale Technologien sind Wegbereiter für innovative Bildungsansätze. Das Lernformat der Massive Open Online Courses (MOOCs) bietet einen einfachen und globalen Zugang zu lebenslangem Lernen und ist oft kostengünstiger und flexibler als klassische Präsenzlehre. Dabei können sich Tausende von Lernenden meist ohne Zulassungsbeschränkung in Kurse einschreiben, wodurch jedoch auch Herausforderungen entstehen. Eine individuelle Betreuung durch Lehrende ist kaum möglich und das Durchhaltevermögen und der Lernerfolg hängen von selbstregulatorischen Fähigkeiten der Lernenden ab. Hier bietet Technologie die Möglichkeit zur Unterstützung. Die Nutzung von Daten zur Entscheidungsfindung transformiert bereits viele Bereiche, aber im Bildungswesen ist dies noch eine junge Forschungsdisziplin. Als Learning Analytics (LA) wird das Messen, Erfassen, Analysieren und Auswerten von Daten über Lernende und ihren Lernkontext verstanden, mit dem Ziel, das Lernen und die Lernumgebungen zu verstehen und zu verbessern. Die riesige Menge an Daten, die MOOCs über das Lernverhalten und den Lernerfolg produzieren, bietet die Möglichkeit, das menschliche Lernen zu studieren und Ansätze zu entwickeln, die den Anforderungen von Lernenden und Lehrenden gerecht werden. Der Schwerpunkt dieser Dissertation liegt auf der Implementierung von LA für die Größenordnung von MOOCs und erforscht dabei, wie datengetriebene Technologie das Lernen und Lehren in diesem Kontext unterstützen kann. Zu diesem Zweck wurden mehrere Forschungsprototypen iterativ für die HPI-MOOC-Plattform entwickelt. Daher wurden diese in einer authentischen und realen Lernumgebung getestet und evaluiert. Die meisten Ergebnisse lassen sich auf konzeptioneller Ebene auch auf andere MOOC-Plattformen übertragen, wodurch der Forschungsbeitrag dieser Arbeit praktische Erkenntnisse über das theoretisch Mögliche hinaus liefert. Insgesamt wurden vier Systemkomponenten entwickelt und erweitert: (1) Die LA-Architektur: Eine technische Infrastruktur zum Sammeln, Verarbeiten und Analysieren von ereignisgesteuerten Lerndaten basierend auf einem schemaagnostischem Pipelining in einer serviceorientierten MOOC-Plattform. (2) Das LA-Dashboard für Lernende: Ein Werkzeug zur datengesteuerten Unterstützung der Selbstregulierung, insbesondere um Lernende in die Lage zu versetzen, ihre Lernaktivitäten, ihren Fortschritt und ihren Lernerfolg selbst zu evaluieren und zu planen. (3) Personalisierte Lernziele: Eine Reihe von Funktionen, um den Lernerfolg besser mit persönlichen Absichten zu verknüpfen, die auf ausgewählten Lernzielen basieren, um Leitlinien anzubieten und die bereitgestellten datengetriebenen Einblicke über den Lernfortschritt darauf abzustimmen. (4) Das LA-Dashboard für Lehrende: Ein Hilfsmittel, das Lehrkräfte mit datengetriebenen Erkenntnissen unterstützt, um ihre Kurse mit Tausenden von Lernenden zu überblicken, mögliche Probleme zu erkennen und fundierte Maßnahmen zu ergreifen. Für alle untersuchten Aspekte dieser Dissertation werden verwandte Forschungsarbeiten vorgestellt, Entwicklungsprozesse und Implementierungskonzepte erläutert und Evaluierungen in Fallstudien durchgeführt. Unter anderem konnte durch den Einsatz des Dashboards für Lernende in Kombination mit personalisierten Lernzielen verbesserte Zertifizierungsraten von 11,62% bis 12,63% nachgewiesen werden. Außerdem wurde beobachtet, dass das Dashboard für Lehrende ein entscheidendes Werkzeug und ein integraler Bestandteil für die Lehre in MOOCs ist. Neben den Ergebnissen und Beiträgen werden generelle Einschränkungen der Arbeit diskutiert, die insgesamt eine fundierte Grundlage für praktische Implikationen und zukünftige Forschungsvorhaben schaffen. KW - Learning Analytics KW - MOOCs KW - Self-Regulated Learning KW - E-Learning KW - Service-Oriented Architecture KW - Online Learning Environments Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-526235 ER - TY - THES A1 - Renz, Jan T1 - Lebensbegleitendes Lernen in einer digitalen Welt BT - Nutzerzentrierte Konzepte und Lösungen zum Optimieren digital gestützten Lernens in Schule und Arbeitsleben BT - User centric concepts and solutions to optimize digital enhanced learning in schools and working life N2 - In unserer digitalisierten Welt verlagert sich das Lernen in die Cloud. Vom Unterricht in der Schule und der Tafel zum Tablet, hin zu einem lebenslangen Lernen in der Arbeitswelt und sogar darüber hinaus. Wie erfolgreich und attraktiv dieses zeitgemäße Lernen erfolgt, hängt nicht unwesentlich von den technologischen Möglichkeiten ab, die digitale Lernplattformen rund um MOOCs und Schul-Clouds bieten. Bei deren Weiterentwicklung sollten statt ökonomischen Messgrößen und KPIs die Lernenden und ihre Lernerfahrungen im Vordergrund stehen. Hierfür wurde ein Optimierungsframework entwickelt, das für die Entwicklung von Lernplattformen anhand verschiedener qualitativer und quantitative Methoden Verbesserungen identifiziert, priorisiert und deren Beurteilung und Umsetzung steuert. Datengestützte Entscheidungen sollten auf einer ausreichenden Datenbasis aufbauen. Moderne Web-Anwendungen bestehen aber oft aus mehreren Microservices mit jeweils eigener Datenhaltung. Viele Daten sind daher nicht mehr einfach zugänglich. Daher wird in dieser Arbeit ein Learning Analytics Dienst eingeführt, der diese Daten sammelt und verarbeitet. Darauf aufbauend werden Metriken eingeführt, auf deren Grundlage die erfassten Daten nutzbar werden und die somit zu verschiedenen Zwecken verwendet werden können. Neben der Visualisierung der Daten in Dashboards werden die Daten für eine automatisierte Qualitätskontrolle herangezogen. So kann festgestellt werden, wenn Tests zu schwierig oder die soziale Interaktion in einem MOOC zu gering ist. Die vorgestellte Infrastruktur lässt sich aber auch verwenden, um verschiedene A/B/n-Tests durchzuführen. In solchen Tests gibt es mehrere Varianten, die an verschiedene Nutzergruppen in einem kontrollierten Experiment erprobt werden. Dank der vorgestellten Testinfrastruktur, die in der HPI MOOC Plattform eingebaut wurde, kann ermittelt werden, ob sich für diese Gruppen statistisch signifikante Änderungen in der Nutzung feststellen lassen. Dies wurde mit fünf verschiedenen Verbesserungen der HPI MOOC Plattform evaluiert, auf der auch openHPI und openSAP basieren. Dabei konnte gezeigt werden, dass sich Lernende mit reaktivierenden Mails zurück in den Kurs holen lassen. Es ist primär die Kommunikation der unbearbeiteten Lerninhalte des Nutzers, die eine reaktivierende Wirkung hat. Auch Übersichtsmails, die die Forenaktivität zusammenfassen, haben einen positiven Effekt erzielt. Ein gezieltes On-Boarding kann dazu führen, dass die Nutzer die Plattform besser verstehen und hierdurch aktiver sind. Der vierte Test konnte zeigen, dass die Zuordnung von Forenfragen zu einem bestimmten Zeitpunkt im Video und die grafische Anzeige dieser Informationen zu einer erhöhten Forenaktivität führt. Auch die experimentelle Erprobung von unterschiedlichen Lernmaterialien, wie sie im fünften Test durchgeführt wurde, ist in MOOCs hilfreich, um eine Verbesserung der Kursmaterialien zu erreichen. Neben diesen funktionalen Verbesserungen wird untersucht wie MOOC Plattformen und Schul-Clouds einen Nutzen bieten können, wenn Nutzern nur eine schwache oder unzuverlässige Internetanbindung zur Verfügung steht (wie dies in vielen deutschen Schulen der Fall ist). Hier wird gezeigt, dass durch ein geschicktes Vorausladen von Daten die Internetanbindungen entlastet werden können. Teile der Lernanwendungen funktionieren dank dieser Anpassungen, selbst wenn keine Verbindung zum Internet besteht. Als Letztes wird gezeigt, wie Endgeräte sich in einem lokalen Peer-to-Peer CDN gegenseitig mit Daten versorgen können, ohne dass diese aus dem Internet heruntergeladen werden müssen. N2 - In our digitized world, learning is moving to the cloud. From blackboards to tablets, from learning in classes to lifelong learning at our workplaces and even beyond. How successful this contemporary learning plays out, however, depends not insignificantly on the technological possibilities that digital learning platforms offer around MOOCs and school clouds. In their further development, instead of economic measurements and key performance indicators (KPI), the focus should be on learners and their learning experiences. For this purpose, an optimization framework was developed that identifies and priorities improvements for the development of learning platforms using various qualitative and quantitative methods — and controls their assessment and implementation. Databased decisions should be based on a sufficient range of data. However, modern web applications often consist of several micro-services, each with its own data storage. A lot of data is therefore no longer easily accessible. Therefore, a learning analytics service is introduced in this thesis, which collects and processes the data of microservices. Building on this, several metrics are introduced. On their basis, the recorded data is made usable for various purposes. In addition to visualizing the data in dashboards, the data is used for automated quality control. This way it can be determined if tests are too difficult or the social interaction in a MOOC is too low. The infrastructure presented can also be used to perform various A/B/N tests. In such tests, there are several variants that are tested on different user groups in a controlled experiment. Thanks to the test infrastructure presented, which was integrated into the HPI MOOC platform, it can be determined whether statistically significant changes in usage can be determined for these groups. This was evaluated with five different improvements to the HPI MOOC platform, on which openHPI and openSAP are also based. Learners, for example, can be brought back into the course with reactivating emails, which notify the users about learning content they did not engage with yet. Overview emails summarizing forum activity also have a positive effect. Target-driven onboarding can result in a better understanding of the platform and therewith more active users. The fourth test of this thesis indicates that the assignment of forum questions at a certain point in videos as well as the graphical display of this information leads to increased forum activity. Experimental testing of different learning materials, like in the fifth test, is also helpful in MOOCs in order to improve the course materials. In addition to these functional improvements, it is being investigated how MOOC platforms and school clouds can offer benefits if users only have a weak or unreliable internet connection (as is the case in many German schools). Here the internet connection can be relieved by a smart preloading of data. Parts of the learning applications work thanks to these adaptations, even if there is no connection to the Internet. Finally, it is shown how end devices can mutually supply each other with data in a local peer-to-peer content delivery network (CDN) without having to download the data again from the Internet. T2 - Lifelong learning in a digitized world KW - Digitale Bildung KW - MOOCs KW - Learning Analytics KW - Lernerlebnis KW - Bildungstechnologien KW - P2P KW - Education technologies KW - Digital education KW - Learning Analytics KW - Learning experience Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-472573 ER -