TY - JOUR A1 - Kreowsky, Philipp A1 - Stabernack, Christian Benno T1 - A full-featured FPGA-based pipelined architecture for SIFT extraction JF - IEEE access : practical research, open solutions / Institute of Electrical and Electronics Engineers N2 - Image feature detection is a key task in computer vision. Scale Invariant Feature Transform (SIFT) is a prevalent and well known algorithm for robust feature detection. However, it is computationally demanding and software implementations are not applicable for real-time performance. In this paper, a versatile and pipelined hardware implementation is proposed, that is capable of computing keypoints and rotation invariant descriptors on-chip. All computations are performed in single precision floating-point format which makes it possible to implement the original algorithm with little alteration. Various rotation resolutions and filter kernel sizes are supported for images of any resolution up to ultra-high definition. For full high definition images, 84 fps can be processed. Ultra high definition images can be processed at 21 fps. KW - Field programmable gate arrays KW - Convolution KW - Signal processing KW - algorithms KW - Kernel KW - Image resolution KW - Histograms KW - Feature extraction KW - Scale-invariant feature transform (SIFT) KW - field-programmable gate array KW - (FPGA) KW - image processing KW - computer vision KW - parallel processing KW - architecture KW - real-time KW - hardware architecture Y1 - 2021 U6 - https://doi.org/10.1109/ACCESS.2021.3104387 SN - 2169-3536 VL - 9 SP - 128564 EP - 128573 PB - Inst. of Electr. and Electronics Engineers CY - New York, NY ER - TY - THES A1 - Böniger, Urs T1 - Attributes and their potential to analyze and interpret 3D GPR data T1 - Attribute und deren Potenzial zur Analyse und Interpretation von 3D Georadardaten N2 - Based on technological advances made within the past decades, ground-penetrating radar (GPR) has become a well-established, non-destructive subsurface imaging technique. Catalyzed by recent demands for high-resolution, near-surface imaging (e.g., the detection of unexploded ordnances and subsurface utilities, or hydrological investigations), the quality of today's GPR-based, near-surface images has significantly matured. At the same time, the analysis of oil and gas related reflection seismic data sets has experienced significant advances. Considering the sensitivity of attribute analysis with respect to data positioning in general, and multi-trace attributes in particular, trace positioning accuracy is of major importance for the success of attribute-based analysis flows. Therefore, to study the feasibility of GPR-based attribute analyses, I first developed and evaluated a real-time GPR surveying setup based on a modern tracking total station (TTS). The combination of current GPR systems capability of fusing global positioning system (GPS) and geophysical data in real-time, the ability of modern TTS systems to generate a GPS-like positional output and wireless data transmission using radio modems results in a flexible and robust surveying setup. To elaborate the feasibility of this setup, I studied the major limitations of such an approach: system cross-talk and data delays known as latencies. Experimental studies have shown that when a minimal distance of ~5 m between the GPR and the TTS system is considered, the signal-to-noise ratio of the acquired GPR data using radio communication equals the one without radio communication. To address the limitations imposed by system latencies, inherent to all real-time data fusion approaches, I developed a novel correction (calibration) strategy to assess the gross system latency and to correct for it. This resulted in the centimeter trace accuracy required by high-frequency and/or three-dimensional (3D) GPR surveys. Having introduced this flexible high-precision surveying setup, I successfully demonstrated the application of attribute-based processing to GPR specific problems, which may differ significantly from the geological ones typically addressed by the oil and gas industry using seismic data. In this thesis, I concentrated on archaeological and subsurface utility problems, as they represent typical near-surface geophysical targets. Enhancing 3D archaeological GPR data sets using a dip-steered filtering approach, followed by calculation of coherency and similarity, allowed me to conduct subsurface interpretations far beyond those obtained by classical time-slice analyses. I could show that the incorporation of additional data sets (magnetic and topographic) and attributes derived from these data sets can further improve the interpretation. In a case study, such an approach revealed the complementary nature of the individual data sets and, for example, allowed conclusions about the source location of magnetic anomalies by concurrently analyzing GPR time/depth slices to be made. In addition to archaeological targets, subsurface utility detection and characterization is a steadily growing field of application for GPR. I developed a novel attribute called depolarization. Incorporation of geometrical and physical feature characteristics into the depolarization attribute allowed me to display the observed polarization phenomena efficiently. Geometrical enhancement makes use of an improved symmetry extraction algorithm based on Laplacian high-boosting, followed by a phase-based symmetry calculation using a two-dimensional (2D) log-Gabor filterbank decomposition of the data volume. To extract the physical information from the dual-component data set, I employed a sliding-window principle component analysis. The combination of the geometrically derived feature angle and the physically derived polarization angle allowed me to enhance the polarization characteristics of subsurface features. Ground-truth information obtained by excavations confirmed this interpretation. In the future, inclusion of cross-polarized antennae configurations into the processing scheme may further improve the quality of the depolarization attribute. In addition to polarization phenomena, the time-dependent frequency evolution of GPR signals might hold further information on the subsurface architecture and/or material properties. High-resolution, sparsity promoting decomposition approaches have recently had a significant impact on the image and signal processing community. In this thesis, I introduced a modified tree-based matching pursuit approach. Based on different synthetic examples, I showed that the modified tree-based pursuit approach clearly outperforms other commonly used time-frequency decomposition approaches with respect to both time and frequency resolutions. Apart from the investigation of tuning effects in GPR data, I also demonstrated the potential of high-resolution sparse decompositions for advanced data processing. Frequency modulation of individual atoms themselves allows to efficiently correct frequency attenuation effects and improve resolution based on shifting the average frequency level. GPR-based attribute analysis is still in its infancy. Considering the growing widespread realization of 3D GPR studies there will certainly be an increasing demand towards improved subsurface interpretations in the future. Similar to the assessment of quantitative reservoir properties through the combination of 3D seismic attribute volumes with sparse well-log information, parameter estimation in a combined manner represents another step in emphasizing the potential of attribute-driven GPR data analyses. N2 - Geophysikalische Erkundungsmethoden haben in den vergangenen Jahrzehnten eine weite Verbreitung bei der zerstörungsfreien beziehungsweise zerstörungsarmen Erkundung des oberflächennahen Untergrundes gefunden. Im Vergleich zur Vielzahl anderer existierender Verfahrenstypen ermöglicht das Georadar (auch als Ground Penetrating Radar bezeichnet) unter günstigen Standortbedingungen Untersuchungen mit der höchsten räumlichen Auflösung. Georadar zählt zu den elektromagnetischen (EM) Verfahren und beruht als Wellenverfahren auf der Ausbreitung von hochfrequenten EM-Wellen, das heisst deren Reflektion, Refraktion und Transmission im Untergrund. Während zweidimensionale Messstrategien bereits weit verbreitet sind, steigt gegenwärtig das Interesse an hochauflösenden, flächenhaften Messstrategien, die es erlauben, Untergrundstrukturen dreidimensional abzubilden. Ein dem Georadar prinzipiell ähnliches Verfahren ist die Reflexionsseismik, deren Hauptanwendung in der Lagerstättenerkundung liegt. Im Laufe des letzten Jahrzehnts führte der zunehmende Bedarf an neuen Öl- und Gaslagerstätten sowie die Notwendigkeit zur optimalen Nutzung existierender Reservoirs zu einer verstärkten Anwendung und Entwicklung sogenannter seismischer Attribute. Attribute repräsentieren ein Datenmaß, welches zu einer verbesserten visuellen Darstellung oder Quantifizierung von Dateneigenschaften führt die von Relevanz für die jeweilige Fragestellung sind. Trotz des Erfolgs von Attributanalysen bei reservoirbezogenen Anwendungen und der grundlegenden Ähnlichkeit von reflexionsseismischen und durch Georadar erhobenen Datensätzen haben attributbasierte Ansätze bisher nur eine geringe Verbreitung in der Georadargemeinschaft gefunden. Das Ziel dieser Arbeit ist es, das Potential von Attributanalysen zur verbesserten Interpretation von Georadardaten zu untersuchen. Dabei liegt der Schwerpunkt auf Anwendungen aus der Archäologie und dem Ingenieurwesen. Der Erfolg von Attributen im Allgemeinen und von solchen mit Berücksichtigung von Nachbarschaftsbeziehungen im Speziellen steht in engem Zusammenhang mit der Genauigkeit, mit welcher die gemessenen Daten räumlich lokalisiert werden können. Vor der eigentlichen Attributuntersuchung wurden deshalb die Möglichkeiten zur kinematischen Positionierung in Echtzeit beim Georadarverfahren untersucht. Ich konnte zeigen, dass die Kombination von modernen selbstverfolgenden Totalstationen mit Georadarinstrumenten unter Verwendung von leistungsfähigen Funkmodems eine zentimetergenaue Positionierung ermöglicht. Experimentelle Studien haben gezeigt, dass die beiden potentiell limitierenden Faktoren - systeminduzierte Signalstöreffekte und Datenverzögerung (sogenannte Latenzzeiten) - vernachlässigt beziehungsweise korrigiert werden können. In der Archäologie ist die Untersuchung oberflächennaher Strukturen und deren räumlicher Gestalt wichtig zur Optimierung geplanter Grabungen. Das Georadar hat sich hierbei zu einem der wohl am meisten genutzten zerstörungsfreien geophysikalischen Verfahren entwickelt. Archäologische Georadardatensätze zeichnen sich jedoch oft durch eine hohe Komplexität aus, was mit der wiederholten anthropogenen Nutzung des oberflächennahen Untergrundes in Verbindung gebracht werden kann. In dieser Arbeit konnte gezeigt werden, dass die Verwendung zweier unterschiedlicher Attribute zur Beschreibung der Variabilität zwischen benachbarten Datenspuren eine deutlich verbesserte Interpretation in Bezug auf die Fragestellung ermöglicht. Des Weiteren konnte ich zeigen, dass eine integrative Auswertung von mehreren Datensätzen (methodisch sowie bearbeitungstechnisch) zu einer fundierteren Interpretation führen kann, zum Beispiel bei komplementären Informationen der Datensätze. Im Ingenieurwesen stellen Beschädigungen oder Zerstörungen von Versorgungsleitungen im Untergrund eine große finanzielle Schadensquelle dar. Polarisationseffekte, das heisst Änderungen der Signalamplitude in Abhängigkeit von Akquisitions- sowie physikalischen Parametern stellen ein bekanntes Phänomen dar, welches in der Anwendung bisher jedoch kaum genutzt wird. In dieser Arbeit wurde gezeigt, wie Polarisationseffekte zu einer verbesserten Interpretation verwendet werden können. Die Überführung von geometrischen und physikalischen Attributen in ein neues, so genanntes Depolarisationsattribut hat gezeigt, wie unterschiedliche Leitungstypen extrahiert und anhand ihrer Polarisationscharakteristika klassifiziert werden können. Weitere wichtige physikalische Charakteristika des Georadarwellenfeldes können mit dem Matching Pursuit-Verfahren untersucht werden. Dieses Verfahren hatte in den letzten Jahren einen großen Einfluss auf moderne Signal- und Bildverarbeitungsansätze. Matching Pursuit wurde in der Geophysik bis jetzt hauptsächlich zur hochauflösenden Zeit-Frequenzanalyse verwendet. Anhand eines modifizierten Tree-based Matching Pursuit Algorithmus habe ich demonstriert, welche weiterführenden Möglichkeiten solche Datenzerlegungen für die Bearbeitung und Interpretation von Georadardaten eröffnen. Insgesamt zeigt diese Arbeit, wie moderne Vermessungstechniken und attributbasierte Analysestrategien genutzt werden können um dreidimensionale Daten effektiv und genau zu akquirieren beziehungsweise die resultierenden Datensätze effizient und verlässlich zu interpretieren. KW - Attributanalyse KW - Georadar KW - Bildbearbeitung KW - attribute analysis KW - ground penetrating radar KW - image processing Y1 - 2010 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-50124 ER - TY - JOUR A1 - Hampf, Anna A1 - Nendel, Claas A1 - Strey, Simone A1 - Strey, Robert T1 - Biotic yield losses in the Southern Amazon, Brazil BT - making use of smartphone-assisted plant disease diagnosis data JF - Frontiers in plant science : FPLS N2 - Pathogens and animal pests (P&A) are a major threat to global food security as they directly affect the quantity and quality of food. The Southern Amazon, Brazil's largest domestic region for soybean, maize and cotton production, is particularly vulnerable to the outbreak of P&A due to its (sub)tropical climate and intensive farming systems. However, little is known about the spatial distribution of P&A and the related yield losses. Machine learning approaches for the automated recognition of plant diseases can help to overcome this research gap. The main objectives of this study are to (1) evaluate the performance of Convolutional Neural Networks (ConvNets) in classifying P&A, (2) map the spatial distribution of P&A in the Southern Amazon, and (3) quantify perceived yield and economic losses for the main soybean and maize P&A. The objectives were addressed by making use of data collected with the smartphone application Plantix. The core of the app's functioning is the automated recognition of plant diseases via ConvNets. Data on expected yield losses were gathered through a short survey included in an "expert" version of the application, which was distributed among agronomists. Between 2016 and 2020, Plantix users collected approximately 78,000 georeferenced P&A images in the Southern Amazon. The study results indicate a high performance of the trained ConvNets in classifying 420 different crop-disease combinations. Spatial distribution maps and expert-based yield loss estimates indicate that maize rust, bacterial stalk rot and the fall armyworm are among the most severe maize P&A, whereas soybean is mainly affected by P&A like anthracnose, downy mildew, frogeye leaf spot, stink bugs and brown spot. Perceived soybean and maize yield losses amount to 12 and 16%, respectively, resulting in annual yield losses of approximately 3.75 million tonnes for each crop and economic losses of US$2 billion for both crops together. The high level of accuracy of the trained ConvNets, when paired with widespread use from following a citizen-science approach, results in a data source that will shed new light on yield loss estimates, e.g., for the analysis of yield gaps and the development of measures to minimise them. KW - plant pathology KW - animal pests KW - pathogens KW - machine learning KW - digital KW - image processing KW - disease diagnosis KW - crowdsourcing KW - crop losses Y1 - 2021 U6 - https://doi.org/10.3389/fpls.2021.621168 SN - 1664-462X VL - 12 PB - Frontiers Media CY - Lausanne ER - TY - GEN A1 - Söchting, Maximilian A1 - Trapp, Matthias T1 - Controlling image-stylization techniques using eye tracking T2 - Postprints der Universität Potsdam : Reihe der Digital Engineering Fakultät N2 - With the spread of smart phones capable of taking high-resolution photos and the development of high-speed mobile data infrastructure, digital visual media is becoming one of the most important forms of modern communication. With this development, however, also comes a devaluation of images as a media form with the focus becoming the frequency at which visual content is generated instead of the quality of the content. In this work, an interactive system using image-abstraction techniques and an eye tracking sensor is presented, which allows users to experience diverting and dynamic artworks that react to their eye movement. The underlying modular architecture enables a variety of different interaction techniques that share common design principles, making the interface as intuitive as possible. The resulting experience allows users to experience a game-like interaction in which they aim for a reward, the artwork, while being held under constraints, e.g., not blinking. The co nscious eye movements that are required by some interaction techniques hint an interesting, possible future extension for this work into the field of relaxation exercises and concentration training. T3 - Zweitveröffentlichungen der Universität Potsdam : Reihe der Digital Engineering Fakultät - 7 KW - eye-tracking KW - image abstraction KW - image processing KW - artistic image stylization KW - interactive media Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-524717 IS - 7 ER - TY - THES A1 - Semmo, Amir T1 - Design and implementation of non-photorealistic rendering techniques for 3D geospatial data T1 - Design und Implementierung von nichtfotorealistischen Rendering-Techniken für 3D-Geodaten N2 - Geospatial data has become a natural part of a growing number of information systems and services in the economy, society, and people's personal lives. In particular, virtual 3D city and landscape models constitute valuable information sources within a wide variety of applications such as urban planning, navigation, tourist information, and disaster management. Today, these models are often visualized in detail to provide realistic imagery. However, a photorealistic rendering does not automatically lead to high image quality, with respect to an effective information transfer, which requires important or prioritized information to be interactively highlighted in a context-dependent manner. Approaches in non-photorealistic renderings particularly consider a user's task and camera perspective when attempting optimal expression, recognition, and communication of important or prioritized information. However, the design and implementation of non-photorealistic rendering techniques for 3D geospatial data pose a number of challenges, especially when inherently complex geometry, appearance, and thematic data must be processed interactively. Hence, a promising technical foundation is established by the programmable and parallel computing architecture of graphics processing units. This thesis proposes non-photorealistic rendering techniques that enable both the computation and selection of the abstraction level of 3D geospatial model contents according to user interaction and dynamically changing thematic information. To achieve this goal, the techniques integrate with hardware-accelerated rendering pipelines using shader technologies of graphics processing units for real-time image synthesis. The techniques employ principles of artistic rendering, cartographic generalization, and 3D semiotics—unlike photorealistic rendering—to synthesize illustrative renditions of geospatial feature type entities such as water surfaces, buildings, and infrastructure networks. In addition, this thesis contributes a generic system that enables to integrate different graphic styles—photorealistic and non-photorealistic—and provide their seamless transition according to user tasks, camera view, and image resolution. Evaluations of the proposed techniques have demonstrated their significance to the field of geospatial information visualization including topics such as spatial perception, cognition, and mapping. In addition, the applications in illustrative and focus+context visualization have reflected their potential impact on optimizing the information transfer regarding factors such as cognitive load, integration of non-realistic information, visualization of uncertainty, and visualization on small displays. N2 - Geodaten haben sich zu einem natürlichen Bestandteil in einer steigenden Zahl von Informationssystemen und -diensten in der Wirtschaft, Gesellschaft und im Privatleben entwickelt. Virtuelle 3D-Stadt- und Landschaftsmodelle stellen hierbei insbesondere wertvolle Informationsquellen in einer Vielzahl von Anwendungen dar, wie z. B. in der Stadtplanung, Navigation, Touristeninformation und im Katastrophenschutz. Heutzutage werden diese Modelle oftmals detailliert dargestellt, um ein möglichst realistisches Bild zu vermitteln. Jedoch führt eine fotorealistische Darstellung, hinsichtlich einem effektiven Informationstransfer zum Betrachter, nicht zwangsläufig zu einer hohen Bildqualität, welche eine interaktive und kontextsensitive Hervorhebung von wichtigen oder priorisierten Informationen erfordert. Ansätze in der nichtfotorealistischen Bildsynthese berücksichtigen insbesondere die Aufgabe eines Nutzers und Kameraperspektive, um Aspekte der Expressivität, Wahrnehmung und Kommunikation von wichtigen oder priorisierten Informationen zu optimieren. Das Design und die Umsetzung von Techniken der nichtfotorealistischen Bildsynthese für 3D-Geodaten sind jedoch mit einer Vielzahl von Herausforderungen konfrontiert, besonders dann, wenn die Geometrie, das Erscheinungsbild und thematische Daten interaktiv verarbeitet werden müssen. Infolgedessen stellt die programmierbare Architektur und parallelisierte Datenverarbeitung von Grafik-prozessoren eine vielversprechende technische Grundlage zur Verfügung. Diese Arbeit präsentiert Techniken der nichtfotorealistischen Bildsynthese, die den Abstraktionsgrad von Inhalten raumbezogener 3D-Modelle, entsprechend der Nutzerinteraktion und dynamisch-veränderbaren thematischen Informationen, berechnet und auswählt. Hierzu sind die vorgestellten Techniken in die hardwarebeschleunigte Rendering-Pipeline integriert, unter Verwendung der Shader-Technologie von Grafikprozessoren, um eine Echtzeit-Bildsynthese zu gewährleisten. Dabei werden Prinzipien der künstlerischen Darstellung, Aspekte der kartographischen Generalisierung sowie 3D Semiotik verwendet—im Gegensatz zur fotorealistischen Bildsynthese—um illustrative Darstellungen von raumbezogenen Feature-Typ-Entitäten zu synthetisieren, z. B. von Wasserflächen, Gebäuden und Infrastrukturnetzen. Darüber hinaus stellt diese Arbeit ein generisches System vor, welches die Integration verschiedener Grafikstile—fotorealistisch und nichtfotorealistisch—und ihren nahtlosen Übergang, entsprechend von Nutzeraufgaben, Kameraansichten und Bildauflösungen, ermöglicht. Evaluierungen der in dieser Arbeit vorgestellten Techniken haben ihre Bedeutung im Bereich der Informationsvisualisierung von raumbezogenen Daten aufgezeigt, einschließlich Themengebiete der räumlichen Wahrnehmung, Kognition und Kartierung. Darüber hinaus haben Anwendungen im Bereich der illustrativen Visualisierung und Fokus-&-Kontext Visualisierung den potentiellen Einfluss dieser Techniken, in Bezug auf die Optimierung des Informationstransfers zum Nutzer, demonstriert, z. B. hinsichtlich der kognitiven Last, der Integration nichtrealistischer Informationen, der Visualisierung von Unsicherheiten und der Visualisierung auf kleinen Bildschirmen. KW - non-photorealistic rendering KW - geospatial data KW - 3D visualization KW - GPU KW - image processing KW - stylization KW - 3D semiotics KW - cartographic design KW - Nichtfotorealistische Bildsynthese KW - Geodaten KW - 3D Visualisierung KW - GPU KW - Bildverarbeitung KW - Stilisierung KW - 3D Semiotik KW - Kartografisches Design Y1 - 2016 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-99525 ER - TY - THES A1 - Mühlbauer, Felix T1 - Entwurf, Methoden und Werkzeuge für komplexe Bildverarbeitungssysteme auf Rekonfigurierbaren System-on-Chip-Architekturen T1 - Design, methodologies and tools for complex image processing systems on reconfigurable system-on-chip-architectures N2 - Bildverarbeitungsanwendungen stellen besondere Ansprüche an das ausführende Rechensystem. Einerseits ist eine hohe Rechenleistung erforderlich. Andererseits ist eine hohe Flexibilität von Vorteil, da die Entwicklung tendentiell ein experimenteller und interaktiver Prozess ist. Für neue Anwendungen tendieren Entwickler dazu, eine Rechenarchitektur zu wählen, die sie gut kennen, anstatt eine Architektur einzusetzen, die am besten zur Anwendung passt. Bildverarbeitungsalgorithmen sind inhärent parallel, doch herkömmliche bildverarbeitende eingebettete Systeme basieren meist auf sequentiell arbeitenden Prozessoren. Im Gegensatz zu dieser "Unstimmigkeit" können hocheffiziente Systeme aus einer gezielten Synergie aus Software- und Hardwarekomponenten aufgebaut werden. Die Konstruktion solcher System ist jedoch komplex und viele Lösungen, wie zum Beispiel grobgranulare Architekturen oder anwendungsspezifische Programmiersprachen, sind oft zu akademisch für einen Einsatz in der Wirtschaft. Die vorliegende Arbeit soll ein Beitrag dazu leisten, die Komplexität von Hardware-Software-Systemen zu reduzieren und damit die Entwicklung hochperformanter on-Chip-Systeme im Bereich Bildverarbeitung zu vereinfachen und wirtschaftlicher zu machen. Dabei wurde Wert darauf gelegt, den Aufwand für Einarbeitung, Entwicklung als auch Erweiterungen gering zu halten. Es wurde ein Entwurfsfluss konzipiert und umgesetzt, welcher es dem Softwareentwickler ermöglicht, Berechnungen durch Hardwarekomponenten zu beschleunigen und das zu Grunde liegende eingebettete System komplett zu prototypisieren. Hierbei werden komplexe Bildverarbeitungsanwendungen betrachtet, welche ein Betriebssystem erfordern, wie zum Beispiel verteilte Kamerasensornetzwerke. Die eingesetzte Software basiert auf Linux und der Bildverarbeitungsbibliothek OpenCV. Die Verteilung der Berechnungen auf Software- und Hardwarekomponenten und die daraus resultierende Ablaufplanung und Generierung der Rechenarchitektur erfolgt automatisch. Mittels einer auf der Antwortmengenprogrammierung basierten Entwurfsraumexploration ergeben sich Vorteile bei der Modellierung und Erweiterung. Die Systemsoftware wird mit OpenEmbedded/Bitbake synthetisiert und die erzeugten on-Chip-Architekturen auf FPGAs realisiert. N2 - Image processing applications have special requirements to the executing computational system. On the one hand a high computational power is necessary. On the other hand a high flexibility is an advantage because the development tends to be an experimental and interactive process. For new applications the developer tend to choose a computational architecture which they know well instead of using that one which fits best to the application. Image processing algorithms are inherently parallel while common image processing systems are mostly based on sequentially operating processors. In contrast to this "mismatch", highly efficient systems can be setup of a directed synergy of software and hardware components. However, the construction of such systems is complex and lots of solutions, like gross-grained architectures or application specific programming languages, are often too academic for the usage in commerce. The present work should contribute to reduce the complexity of hardware-software-systems and thus increase the economy of and simplify the development of high-performance on-chip systems in the domain of image processing. In doing so, a value was set on keeping the effort low on making familiar to the topic, on development and also extensions. A design flow was developed and implemented which allows the software developer to accelerate calculations with hardware components and to prototype the whole embedded system. Here complex image processing systems, like distributed camera sensor networks, are examined which need an operating system. The used software is based upon Linux and the image processing library OpenCV. The distribution of the calculations to software and hardware components and the resulting scheduling and generation of architectures is done automatically. The design space exploration is based on answer set programming which involves advantages for modelling in terms of simplicity and extensions. The software is synthesized with the help of OpenEmbedded/Bitbake and the generated on-chip architectures are implemented on FPGAs. KW - Bildverarbeitung KW - FPGA KW - on-chip KW - Entwurfsraumexploration KW - Hardware-Software-Co-Design KW - Antwortmengenprogrammierung KW - image processing KW - FPGA KW - on-chip KW - design space exploration KW - hardware-software-codesign KW - answer set programming Y1 - 2011 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-59923 ER - TY - THES A1 - Shekhar, Sumit T1 - Image and video processing based on intrinsic attributes N2 - Advancements in computer vision techniques driven by machine learning have facilitated robust and efficient estimation of attributes such as depth, optical flow, albedo, and shading. To encapsulate all such underlying properties associated with images and videos, we evolve the concept of intrinsic images towards intrinsic attributes. Further, rapid hardware growth in the form of high-quality smartphone cameras, readily available depth sensors, mobile GPUs, or dedicated neural processing units have made image and video processing pervasive. In this thesis, we explore the synergies between the above two advancements and propose novel image and video processing techniques and systems based on them. To begin with, we investigate intrinsic image decomposition approaches and analyze how they can be implemented on mobile devices. We propose an approach that considers not only diffuse reflection but also specular reflection; it allows us to decompose an image into specularity, albedo, and shading on a resource constrained system (e.g., smartphones or tablets) using the depth data provided by the built-in depth sensors. In addition, we explore how on-device depth data can further be used to add an immersive dimension to 2D photos, e.g., showcasing parallax effects via 3D photography. In this regard, we develop a novel system for interactive 3D photo generation and stylization on mobile devices. Further, we investigate how adaptive manipulation of baseline-albedo (i.e., chromaticity) can be used for efficient visual enhancement under low-lighting conditions. The proposed technique allows for interactive editing of enhancement settings while achieving improved quality and performance. We analyze the inherent optical flow and temporal noise as intrinsic properties of a video. We further propose two new techniques for applying the above intrinsic attributes for the purpose of consistent video filtering. To this end, we investigate how to remove temporal inconsistencies perceived as flickering artifacts. One of the techniques does not require costly optical flow estimation, while both provide interactive consistency control. Using intrinsic attributes for image and video processing enables new solutions for mobile devices – a pervasive visual computing device – and will facilitate novel applications for Augmented Reality (AR), 3D photography, and video stylization. The proposed low-light enhancement techniques can also improve the accuracy of high-level computer vision tasks (e.g., face detection) under low-light conditions. Finally, our approach for consistent video filtering can extend a wide range of image-based processing for videos. N2 - Fortschritte im Bereich der Computer-Vision-Techniken, die durch Maschinelles Lernen vorangetrieben werden, haben eine robuste und effiziente Schätzung von Attributen wie Tiefe, optischer Fluss, Albedo, und Schattierung ermöglicht. Um all diese zugrundeliegenden Eigenschaften von Bildern und Videos zu erfassen, entwickeln wir das Konzept der intrinsischen Bilder zu intrinsischen Attributen weiter. Darüber hinaus hat die rasante Entwicklung der Hardware in Form von hochwertigen Smartphone-Kameras, leicht verfügbaren Tiefensensoren, mobilen GPUs, oder speziellen neuronalen Verarbeitungseinheiten die Bild- und Videoverarbeitung allgegenwärtig gemacht. In dieser Arbeit erforschen wir die Synergien zwischen den beiden oben genannten Fortschritten und schlagen neue Bild- und Videoverarbeitungstechniken und -systeme vor, die auf ihnen basieren. Zunächst untersuchen wir intrinsische Bildzerlegungsansätze und analysieren, wie sie auf mobilen Geräten implementiert werden können. Wir schlagen einen Ansatz vor, der nicht nur die diffuse Reflexion, sondern auch die spiegelnde Reflexion berücksichtigt; er ermöglicht es uns, ein Bild auf einem ressourcenbeschränkten System (z. B. Smartphones oder Tablets) unter Verwendung der von den eingebauten Tiefensensoren bereitgestellten Tiefendaten in Spiegelung, Albedo und Schattierung zu zerlegen. Darüber hinaus erforschen wir, wie geräteinterne Tiefendaten genutzt werden können, um 2D-Fotos eine immersive Dimension hinzuzufügen, z. B. um Parallaxen-Effekte durch 3D-Fotografie darzustellen. In diesem Zusammenhang entwickeln wir ein neuartiges System zur interaktiven 3D-Fotoerstellung und -Stylisierung auf mobilen Geräten. Darüber hinaus untersuchen wir, wie eine adaptive Manipulation der Grundlinie-Albedo (d.h. der Farbintensität) für eine effiziente visuelle Verbesserung bei schlechten Lichtverhältnissen genutzt werden kann. Die vorgeschlagene Technik ermöglicht die interaktive Bearbeitung von Verbesserungseinstellungen bei verbesserter Qualität und Leistung. Wir analysieren den inhärenten optischen Fluss und die zeitliche Konsistenz als intrinsische Eigenschaften eines Videos. Darüber hinaus schlagen wir zwei neue Techniken zur Anwendung der oben genannten intrinsischen Attribute zum Zweck der konsistenten Videofilterung vor. Zu diesem Zweck untersuchen wir, wie zeitliche Inkonsistenzen, die als Flackerartefakte wahrgenommen werden, entfernt werden können. Eine der Techniken erfordert keine kostspielige optische Flussschätzung, während beide eine interaktive Konsistenzkontrolle bieten. Die Verwendung intrinsischer Attribute für die Bild- und Videoverarbeitung ermöglicht neue Lösungen für mobile Geräte - ein visuelles Computergerät, das aufgrund seiner weltweiten Verbreitung von großer Bedeutung ist - und wird neuartige Anwendungen für Augmented Reality (AR), 3D-Fotografie und Videostylisierung ermöglichen. Die vorgeschlagenen Low-Light-Enhancement-Techniken können auch die Genauigkeit von High-Level-Computer-Vision-Aufgaben (z. B. Objekt-Tracking) unter schlechten Lichtverhältnissen verbessern. Schließlich kann unser Ansatz zur konsistenten Videofilterung eine breite Palette von bildbasierten Verarbeitungen für Videos erweitern. KW - image processing KW - image-based rendering KW - non-photorealistic rendering KW - image stylization KW - computational photography KW - Bildverarbeitung KW - bildbasiertes Rendering KW - Non-photorealistic Rendering KW - Computational Photography Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-620049 ER - TY - JOUR A1 - Konak, Orhan A1 - Wegner, Pit A1 - Arnrich, Bert T1 - IMU-Based Movement Trajectory Heatmaps for Human Activity Recognition JF - Sensors N2 - Recent trends in ubiquitous computing have led to a proliferation of studies that focus on human activity recognition (HAR) utilizing inertial sensor data that consist of acceleration, orientation and angular velocity. However, the performances of such approaches are limited by the amount of annotated training data, especially in fields where annotating data is highly time-consuming and requires specialized professionals, such as in healthcare. In image classification, this limitation has been mitigated by powerful oversampling techniques such as data augmentation. Using this technique, this work evaluates to what extent transforming inertial sensor data into movement trajectories and into 2D heatmap images can be advantageous for HAR when data are scarce. A convolutional long short-term memory (ConvLSTM) network that incorporates spatiotemporal correlations was used to classify the heatmap images. Evaluation was carried out on Deep Inertial Poser (DIP), a known dataset composed of inertial sensor data. The results obtained suggest that for datasets with large numbers of subjects, using state-of-the-art methods remains the best alternative. However, a performance advantage was achieved for small datasets, which is usually the case in healthcare. Moreover, movement trajectories provide a visual representation of human activities, which can help researchers to better interpret and analyze motion patterns. KW - human activity recognition KW - image processing KW - machine learning KW - sensor data Y1 - 2020 U6 - https://doi.org/10.3390/s20247179 SN - 1424-8220 VL - 20 IS - 24 PB - MDPI CY - Basel ER - TY - GEN A1 - Konak, Orhan A1 - Wegner, Pit A1 - Arnrich, Bert T1 - IMU-Based Movement Trajectory Heatmaps for Human Activity Recognition T2 - Postprints der Universität Potsdam : Reihe der Digital Engineering Fakultät N2 - Recent trends in ubiquitous computing have led to a proliferation of studies that focus on human activity recognition (HAR) utilizing inertial sensor data that consist of acceleration, orientation and angular velocity. However, the performances of such approaches are limited by the amount of annotated training data, especially in fields where annotating data is highly time-consuming and requires specialized professionals, such as in healthcare. In image classification, this limitation has been mitigated by powerful oversampling techniques such as data augmentation. Using this technique, this work evaluates to what extent transforming inertial sensor data into movement trajectories and into 2D heatmap images can be advantageous for HAR when data are scarce. A convolutional long short-term memory (ConvLSTM) network that incorporates spatiotemporal correlations was used to classify the heatmap images. Evaluation was carried out on Deep Inertial Poser (DIP), a known dataset composed of inertial sensor data. The results obtained suggest that for datasets with large numbers of subjects, using state-of-the-art methods remains the best alternative. However, a performance advantage was achieved for small datasets, which is usually the case in healthcare. Moreover, movement trajectories provide a visual representation of human activities, which can help researchers to better interpret and analyze motion patterns. T3 - Zweitveröffentlichungen der Universität Potsdam : Reihe der Digital Engineering Fakultät - 4 KW - human activity recognition KW - image processing KW - machine learning KW - sensor data Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-487799 IS - 4 ER - TY - JOUR A1 - Verma, Meetu A1 - Kummerow, P. A1 - Denker, Carsten T1 - On the extent of the moat flow in axisymmetric sunspots JF - Astronomische Nachrichten = Astronomical notes N2 - Unipolar, axisymmetric sunspots are figuratively called “theoretician's sunspots” because their simplicity supposedly makes them more suitable for theoretical descriptions or numerical models. On November 18, 2013, a very large specimen (active region NOAA 11899) crossed the central meridian of the sun. The moat flow associated with this very large spot is quantitatively compared to that of a medium and a small sunspot to determine the extent of the moat flow in different environments. We employ continuum images and magnetograms of the Helioseismic and Magnetic Imager (HMI) as well as extreme ultraviolet (EUV) images at λ160 nm of the Atmospheric Imaging Assembly (AIA), both on board the Solar Dynamics Observatory (SDO), to measure horizontal proper motions with Local Correlation Tracking (LCT) and flux transport velocities with the Differential Affine Velocity Estimator (DAVE). We compute time-averaged flow maps (±6 hr around meridian passage) and radial averages of photometric, magnetic, and flow properties. Flow fields of a small- and a medium-sized axisymmetric sunspot provide the context for interpreting the results. All sunspots show outward moat flow and the advection of moving magnetic features (MMFs). However, the extent of the moat flow varies from spot to spot, and a correlation of flow properties with size is tenuous, if at all present. The moat flow is asymmetric and predominantly in the east–west direction, whereby deviations are related to the tilt angle of the sunspot group as well as to the topology and activity level of the trailing plage. KW - activity KW - data analysis KW - image processing KW - photosphere KW - sunspots Y1 - 2018 U6 - https://doi.org/10.1002/asna.201813482 SN - 0004-6337 SN - 1521-3994 VL - 339 IS - 4 SP - 268 EP - 276 PB - Wiley-VCH CY - Weinheim ER - TY - JOUR A1 - Breuer, David A1 - Nowak, Jacqueline A1 - Ivakov, Alexander A1 - Somssich, Marc A1 - Persson, Staffan A1 - Nikoloski, Zoran T1 - System-wide organization of actin cytoskeleton determines organelle transport in hypocotyl plant cells JF - Proceedings of the National Academy of Sciences of the United States of America N2 - The actin cytoskeleton is an essential intracellular filamentous structure that underpins cellular transport and cytoplasmic streaming in plant cells. However, the system-level properties of actin-based cellular trafficking remain tenuous, largely due to the inability to quantify key features of the actin cytoskeleton. Here, we developed an automated image-based, network-driven framework to accurately segment and quantify actin cytoskeletal structures and Golgi transport. We show that the actin cytoskeleton in both growing and elongated hypocotyl cells has structural properties facilitating efficient transport. Our findings suggest that the erratic movement of Golgi is a stable cellular phenomenon that might optimize distribution efficiency of cell material. Moreover, we demonstrate that Golgi transport in hypocotyl cells can be accurately predicted from the actin network topology alone. Thus, our framework provides quantitative evidence for system-wide coordination of cellular transport in plant cells and can be readily applied to investigate cytoskeletal organization and transport in other organisms. KW - actin KW - cytoskeleton KW - Golgi KW - image processing KW - networks Y1 - 2017 U6 - https://doi.org/10.1073/pnas.1706711114 SN - 0027-8424 VL - 114 SP - E5741 EP - E5749 PB - National Acad. of Sciences CY - Washington ER -