TY - JOUR A1 - Camargo, Tibor de A1 - Schirrmann, Michael A1 - Landwehr, Niels A1 - Dammer, Karl-Heinz A1 - Pflanz, Michael T1 - Optimized deep learning model as a basis for fast UAV mapping of weed species in winter wheat crops JF - Remote sensing / Molecular Diversity Preservation International (MDPI) N2 - Weed maps should be available quickly, reliably, and with high detail to be useful for site-specific management in crop protection and to promote more sustainable agriculture by reducing pesticide use. Here, the optimization of a deep residual convolutional neural network (ResNet-18) for the classification of weed and crop plants in UAV imagery is proposed. The target was to reach sufficient performance on an embedded system by maintaining the same features of the ResNet-18 model as a basis for fast UAV mapping. This would enable online recognition and subsequent mapping of weeds during UAV flying operation. Optimization was achieved mainly by avoiding redundant computations that arise when a classification model is applied on overlapping tiles in a larger input image. The model was trained and tested with imagery obtained from a UAV flight campaign at low altitude over a winter wheat field, and classification was performed on species level with the weed species Matricaria chamomilla L., Papaver rhoeas L., Veronica hederifolia L., and Viola arvensis ssp. arvensis observed in that field. The ResNet-18 model with the optimized image-level prediction pipeline reached a performance of 2.2 frames per second with an NVIDIA Jetson AGX Xavier on the full resolution UAV image, which would amount to about 1.78 ha h(-1) area output for continuous field mapping. The overall accuracy for determining crop, soil, and weed species was 94%. There were some limitations in the detection of species unknown to the model. When shifting from 16-bit to 32-bit model precision, no improvement in classification accuracy was observed, but a strong decline in speed performance, especially when a higher number of filters was used in the ResNet-18 model. Future work should be directed towards the integration of the mapping process on UAV platforms, guiding UAVs autonomously for mapping purpose, and ensuring the transferability of the models to other crop fields. KW - ResNet KW - deep residual networks KW - UAV imagery KW - embedded systems KW - crop KW - monitoring KW - image classification KW - site-specific weed management KW - real-time mapping Y1 - 2021 U6 - https://doi.org/10.3390/rs13091704 SN - 2072-4292 VL - 13 IS - 9 PB - MDPI CY - Basel ER - TY - INPR A1 - Grapentin, Andreas A1 - Heidler, Kirstin A1 - Korsch, Dimitri A1 - Kumar Sah, Rakesh A1 - Kunzmann, Nicco A1 - Henning, Johannes A1 - Mattis, Toni A1 - Rein, Patrick A1 - Seckler, Eric A1 - Groneberg, Björn A1 - Zimmermann, Florian ED - Hentschel, Uwe ED - Richter, Daniel ED - Polze, Andreas T1 - Embedded operating system projects N2 - In today’s life, embedded systems are ubiquitous. But they differ from traditional desktop systems in many aspects – these include predictable timing behavior (real-time), the management of scarce resources (memory, network), reliable communication protocols, energy management, special purpose user-interfaces (headless operation), system configuration, programming languages (to support software/hardware co-design), and modeling techniques. Within this technical report, authors present results from the lecture “Operating Systems for Embedded Computing” that has been offered by the “Operating Systems and Middleware” group at HPI in Winter term 2013/14. Focus of the lecture and accompanying projects was on principles of real-time computing. Students had the chance to gather practical experience with a number of different OSes and applications and present experiences with near-hardware programming. Projects address the entire spectrum, from bare-metal programming to harnessing a real-time OS to exercising the full software/hardware co-design cycle. Three outstanding projects are at the heart of this technical report. Project 1 focuses on the development of a bare-metal operating system for LEGO Mindstorms EV3. While still a toy, it comes with a powerful ARM processor, 64 MB of main memory, standard interfaces, such as Bluetooth and network protocol stacks. EV3 runs a version of 1 1 Introduction Linux. Sources are available from Lego’s web site. However, many devices and their driver software are proprietary and not well documented. Developing a new, bare-metal OS for the EV3 requires an understanding of the EV3 boot process. Since no standard input/output devices are available, initial debugging steps are tedious. After managing these initial steps, the project was able to adapt device drivers for a few Lego devices to an extent that a demonstrator (the Segway application) could be successfully run on the new OS. Project 2 looks at the EV3 from a different angle. The EV3 is running a pretty decent version of Linux- in principle, the RT_PREEMPT patch can turn any Linux system into a real-time OS by modifying the behavior of a number of synchronization constructs at the heart of the OS. Priority inversion is a problem that is solved by protocols such as priority inheritance or priority ceiling. Real-time OSes implement at least one of the protocols. The central idea of the project was the comparison of non-real-time and real-time variants of Linux on the EV3 hardware. A task set that showed effects of priority inversion on standard EV3 Linux would operate flawlessly on the Linux version with the RT_PREEMPT-patch applied. If only patching Lego’s version of Linux was that easy... Project 3 takes the notion of real-time computing more seriously. The application scenario was centered around our Carrera Digital 132 racetrack. Obtaining position information from the track, controlling individual cars, detecting and modifying the Carrera Digital protocol required design and implementation of custom controller hardware. What to implement in hardware, firmware, and what to implement in application software – this was the central question addressed by the project. N2 - Heutzutage sind eingebettete Systeme allgegenwärtig. Allerdings unterscheiden sie sich in vielen Aspekten von traditionellen Desktop-System – dazu gehören vorhersagbares Zeitverhalten („Echtzeit“), die Verwaltung von knappen Ressourcen (Speicher, Netzwerk), zuverlässige Kommunikationsprotokolle, Energiemanagement, spezialisierte Benutzungsschnittstellen („headless“), Systemkonfiguration, Programmiersprachen (zur Unterstützung von Software-Hardware-Co-Design) und Modellierungstechniken. In diesem technischen Bericht präsentieren die Autoren Ergebnisse aus der Vorlesung „Betriebssysteme für Embedded Computing“, die von der Fachgruppe „Betriebssysteme und Middleware“ am HPI in Wintersemester 2013/14 angeboten wurde. Schwerpunkte der Vorlesung und der begleitenden Projekte waren Prinzipien von Echtzeit-Computing. Die Studenten hatten die Möglichkeit, praktische Erfahrungen mit einer Reihe von verschiedenen Betriebssystemen und Anwendungen zu sammeln und präsentieren ihre Erfahrungen mit hardwarenaher Programmierung. Die Projekte adressieren das gesamte Spektrum von der Bare-Metal-Programmierung über die Nutzung eines Echtzeitbetriebssystem bis zur Anwendung des vollen Software-Hardware-Co-Design-Zyklus‘. Drei herausragende Projekte sind das Herzstück dieses technischen Berichts. Projekt 1 konzentriert sich auf die Entwicklung eines Bare-Metal-Betriebssystems für LEGO Mindstorms EV3. Obwohl es ein Spielzeug ist, kommt es mit einem leistungsstarken ARM-Prozessor, 64 MB Hauptspeicher und Standardschnittstellen wie Bluetooth und einem Netzwerkprotokollstapel. Auf dem EV3 läuft spezielle Linux-Version – die Quellen sind auf der Lego-Website verfügbar. Allerdings sind viele Geräte und deren Treiber-Software urheberrechtlich geschützt und nicht gut dokumentiert. Die Entwicklung eines neuen Bare-Metal-Betriebssystem für den EV3 erfordert ein Verständnis des EV3-Bootvorgangs. Da keine Standard-Ein-/Ausgabegeräte zur Verfügung stehen, sind anfängliche Debug-Schritte mühsam. Nach dem Absolvieren dieser ersten Schritte war das Projekt in der Lage, Gerätetreiber für einige Lego-Geräte anzupassen um einen Demonstrator (die Segway-Anwendung) erfolgreich auf dem neuen Betriebssystem laufen zu lassen. Projekt 2 befasst sich mit dem EV3 aus einer anderen Perspektive. Der EV3 wird mit einer üblichen EV3 Linux-Version betrieben – im Prinzip kann der RT_PREEMPT-Patch jedes Linux-System in ein Echtzeitbetriebssystem verwandeln, indem er das Verhalten einer Anzahl von Synchronisationskonstrukten im Herzen des Betriebssystems anpasst. Priority Inversion ist ein Problem, das durch Protokolle wie Prioritätsvererbung oder Priority Ceiling gelöst wird. Heutige Echtzeit-Betriebssysteme implementieren mindestens eines dieser Protokolle. Die zentrale Idee des Projekts war der Vergleich der Nicht-Echtzeit und Echtzeit-Varianten von Linux auf der EV3-Hardware. Ein Task-Set, das die Auswirkungen der Prioritätsumkehr auf Standard-EV3 Linux zeigt, würde ohne Probleme auf der Linux-Version mit dem RT_PREEMPT-Patch betrieben werden können. Wenn nur das Patchen Lego-Version von Linux war so einfach wäre... Projekt 3 nimmt den Begriff des Echtzeit-Computing ernst. Das Anwendungsszenario wurde um unsere Carrera Digital 132 Bahn angeordnet. Das Sammeln von Positionsinformationen, die Steuerung einzelner Fahrzeuge, die Erfassung und Änderung des Carrera Digital-Protokolls erfordert die Konzeption und Umsetzung von spezialisierter Controller-Hardware. Die zentrale Fragestellung dieses Projekts war, was in Hardware, in Firmware oder in der Anwendungssoftware zu implementieren ist. T3 - Technische Berichte des Hasso-Plattner-Instituts für Digital Engineering an der Universität Potsdam - 90 KW - Echtzeit KW - eingebettete Systeme KW - Betriebssysteme KW - Erfahrungsbericht KW - LEGO Mindstorms EV3 KW - RT_PREEMT-Patch KW - Carrera Digital D132 KW - real-time KW - embedded systems KW - operating systems KW - experience report KW - LEGO Mindstorms EV3 KW - RT_PREEMT patch KW - Carrera Digital D132 Y1 - 2014 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-69154 SN - 978-3-86956-296-4 SN - 1613-5652 SN - 2191-1665 IS - 90 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - THES A1 - Przybylla, Mareen T1 - From Embedded Systems to Physical Computing: Challenges of the “Digital World” in Secondary Computer Science Education T1 - Von Eingebetteten Systemen zu Physical Computing: Herausforderungen der “Digitalen Welt” in der informatischen Bildung im Sekundarbereich N2 - Physical computing covers the design and realization of interactive objects and installations and allows learners to develop concrete, tangible products of the real world, which arise from their imagination. This can be used in computer science education to provide learners with interesting and motivating access to the different topic areas of the subject in constructionist and creative learning environments. However, if at all, physical computing has so far mostly been taught in afternoon clubs or other extracurricular settings. Thus, for the majority of students so far there are no opportunities to design and create their own interactive objects in regular school lessons. Despite its increasing popularity also for schools, the topic has not yet been clearly and sufficiently characterized in the context of computer science education. The aim of this doctoral thesis therefore is to clarify physical computing from the perspective of computer science education and to adequately prepare the topic both content-wise and methodologically for secondary school teaching. For this purpose, teaching examples, activities, materials and guidelines for classroom use are developed, implemented and evaluated in schools. In the theoretical part of the thesis, first the topic is examined from a technical point of view. A structured literature analysis shows that basic concepts used in physical computing can be derived from embedded systems, which are the core of a large field of different application areas and disciplines. Typical methods of physical computing in professional settings are analyzed and, from an educational perspective, elements suitable for computer science teaching in secondary schools are extracted, e. g. tinkering and prototyping. The investigation and classification of suitable tools for school teaching show that microcontrollers and mini computers, often with extensions that greatly facilitate the handling of additional components, are particularly attractive tools for secondary education. Considering the perspectives of science, teachers, students and society, in addition to general design principles, exemplary teaching approaches for school education and suitable learning materials are developed and the design, production and evaluation of a physical computing construction kit suitable for teaching is described. In the practical part of this thesis, with “My Interactive Garden”, an exemplary approach to integrate physical computing in computer science teaching is tested and evaluated in different courses and refined based on the findings in a design-based research approach. In a series of workshops on physical computing, which is based on a concept for constructionist professional development that is developed specifically for this purpose, teachers are empowered and encouraged to develop and conduct physical computing lessons suitable for their particular classroom settings. Based on their in-class experiences, a process model of physical computing teaching is derived. Interviews with those teachers illustrate that benefits of physical computing, including the tangibility of crafted objects and creativity in the classroom, outweigh possible drawbacks like longer preparation times, technical difficulties or difficult assessment. Hurdles in the classroom are identified and possible solutions discussed. Empirical investigations in the different settings reveal that “My Interactive Garden” and physical computing in general have a positive impact, among others, on learner motivation, fun and interest in class and perceived competencies. Finally, the results from all evaluations are combined to evaluate the design principles for physical computing teaching and to provide a perspective on the development of decision-making aids for physical computing activities in school education. N2 - Physical Computing ist die Gestaltung interaktiver Objekte und Installationen und ermöglicht Lernenden, konkrete, greifbare Produkte der realen Welt zu schaffen, die ihrer eigenen Vorstellung entsprechen. Dies kann in der informatischen Bildung genutzt werden, um Lernenden einen interessanten und motivierenden Zugang zu den verschiedenen Themengebieten des Lerngegenstandes in konstruktionistischen und kreativen Lernumgebungen anzubieten. Bisher wurde Physical Computing allerdings, wenn überhaupt, vorrangig in Nachmittagsaktivitäten und anderen extracurricularen Kontexten unterrichtet. Daher hat ein Großteil aller Schülerinnen und Schüler bisher keine Gelegenheit, im Rahmen von Schulunterricht selbst gestalterisch tätig zu werden und interaktive Objekte herzustellen. Trotz zunehmender Popularität, auch in Schulen, wurde das Thema bisher im Kontext der informatischen Bildung nicht hinreichend klar charakterisiert. Ziel dieser Dissertation ist es daher, Physical Computing aus informatikdidaktischer Sicht zu klären und sowohl inhaltlich als auch methodisch adäquat für den Schulunterricht in den Sekundarstufen aufzubereiten. Dazu werden Unterrichtsbeispiele, -aktivitäten, -materialien und -empfehlungen entwickelt, in Schulen eingesetzt und evaluiert. Im theoretischen Teil der Arbeit wird das Thema zunächst aus fachlicher Perspektive untersucht. Eine strukturierte Literaturanalyse zeigt, dass grundlegende Konzepte des Physical Computings aus dem Fachgebiet Eingebettete Systeme abgeleitet werden können, welches den Kern diverser Anwendungsgebiete und Disziplinen bildet. Typische Methoden des Physical Computings werden analysiert und geeignete Elemente für den Informatikunterricht der Sekundarstufen werden aus didaktischer Perspektive herausgearbeitet, beispielsweise Tinkering und Prototyping. Bei der Untersuchung und Klassifikation geeigneter Werkzeuge für den Schulunterricht kristallisieren sich Mikrocontroller und Mini-Computer, oft mit Erweiterungen zur deutlichen Vereinfachung der Handhabung zusätzlicher Komponenten, als besonders attraktive Werkzeuge für die Sekundarstufen heraus. Unter Berücksichtigung der Perspektiven der Fachwissenschaft, Lehrer, Schüler und Gesellschaft werden zusätzlich zu allgemeinen Gestaltungsprinzipien auch beispielhafte Unterrichtsansätze für die schulische Bildung und geeignete Lernmaterialien entwickelt und der Entwurf, die Produktion und Evaluation eines für den Unterricht geeigneten Physical-Computing-Baukastens beschrieben. Im praktischen Teil der Arbeit wird in einem Design-Based-Research-Ansatz mit „My Interactive Garden“ eine beispielhafte Umsetzung von Physical Computing im Informatikunterricht in verschiedenen Kursen getestet, evaluiert und entsprechend der Erkenntnisse überarbeitet. In einer Workshopreihe zum Thema Physical Computing, welche auf einem eigens entwickelten konstruktionistischen Lehrerfortbildungskonzept basiert, werden Lehrer befähigt und ermutigt, für ihre konkreten Unterrichtssituationen geeigneten Physical-Computing-Unterricht zu planen und durchzuführen. Aus ihren Unterrichtserfahrungen wird ein Prozessmodell für Physical-Computing-Unterricht abgeleitet. Interviews mit diesen Lehrern illustrieren, dass Vorteile des Physical Computings, z. B. die Greifbarkeit gebastelter Objekte und Kreativität im Unterricht, mögliche Nachteile wie längere Vorbereitungszeiten, technische Schwierigkeiten oder schwierige Leistungsbewertung, überwiegen. Hürden im Unterricht werden identifiziert und mögliche Ansätze, diese zu umgehen, diskutiert. Empirische Untersuchungen in den verschiedenen Unterrichtsumsetzungen zeigen, das sowohl „My Interactive Garden“ als auch Physical Computing im Allgemeinen einen positiven Einfluss unter anderem auf Lernermotivation, Spaß und Interesse im Unterricht und wahrgenommene Kompetenzen haben. Abschließend werden die Ergebnisse aller Untersuchungen zusammengeführt, um die Gestaltungsprinzipien für Physical-Computing-Unterricht zu evaluieren und einen Ausblick auf die Entwicklung von Entscheidungshilfen für Physical-Computing-Aktivitäten in der schulischen Bildung zu geben. KW - secondary computer science education KW - embedded systems KW - physical computing KW - educational reconstruction KW - design principles KW - classroom material KW - tools for teaching KW - informatische Bildung im Sekundarbereich KW - eingebettete Systeme KW - physical Computing KW - didaktische Rekonstruktion KW - Entwurfsprinzipien KW - Schulmaterial KW - Unterrichtswerkzeuge Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-418339 ER -