TY  - THES
A1  - Ahmad, Nadeem
T1  - People centered HMI’s for deaf and functionally illiterate users
T1  - Menschen zentrierte Mensch-Maschine-Schnittstellen für Schwerhörige und ungeschulte Anwender
N2  - The objective and motivation behind this research is to provide applications with easy-to-use interfaces to communities of deaf and functionally illiterate users, which enables them to work without any human assistance. Although recent years have witnessed technological advancements, the availability of technology does not ensure accessibility to information and communication technologies (ICT). Extensive use of text from menus to document contents means that deaf or functionally illiterate can not access services implemented on most computer software. Consequently, most existing computer applications pose an accessibility barrier to those who are unable to read fluently. Online technologies intended for such groups should be developed in continuous partnership with primary users and include a thorough investigation into their limitations, requirements and usability barriers. In this research, I investigated existing tools in voice, web and other multimedia technologies to identify learning gaps and explored ways to enhance the information literacy for deaf and functionally illiterate users. I worked on the development of user-centered interfaces to increase the capabilities of deaf and low literacy users by enhancing lexical resources and by evaluating several multimedia interfaces for them. The interface of the platform-independent Italian Sign Language (LIS) Dictionary has been developed to enhance the lexical resources for deaf users. The Sign Language Dictionary accepts Italian lemmas as input and provides their representation in the Italian Sign Language as output. The Sign Language dictionary has 3082 signs as set of Avatar animations in which each sign is linked to a corresponding Italian lemma. I integrated the LIS lexical resources with MultiWordNet (MWN) database to form the first LIS MultiWordNet(LMWN). LMWN contains information about lexical relations between words, semantic relations between lexical concepts (synsets), correspondences between Italian and sign language lexical concepts and semantic fields (domains). The approach enhances the deaf users’ understanding of written Italian language and shows that a relatively small set of lexicon can cover a significant portion of MWN. Integration of LIS signs with MWN made it useful tool for computational linguistics and natural language processing. The rule-based translation process from written Italian text to LIS has been transformed into service-oriented system. The translation process is composed of various modules including parser, semantic interpreter, generator, and spatial allocation planner. This translation procedure has been implemented in the Java Application Building Center (jABC), which is a framework for extreme model driven design (XMDD). The XMDD approach focuses on bringing software development closer to conceptual design, so that the functionality of a software solution could be understood by someone who is unfamiliar with programming concepts. The transformation addresses the heterogeneity challenge and enhances the re-usability of the system. For enhancing the e-participation of functionally illiterate users, two detailed studies were conducted in the Republic of Rwanda. In the first study, the traditional (textual) interface was compared with the virtual character-based interactive interface. The study helped to identify usability barriers and users evaluated these interfaces according to three fundamental areas of usability, i.e. effectiveness, efficiency and satisfaction. In another study, we developed four different interfaces to analyze the usability and effects of online assistance (consistent help) for functionally illiterate users and compared different help modes including textual, vocal and virtual character on the performance of semi-literate users. In our newly designed interfaces the instructions were automatically translated in Swahili language. All the interfaces were evaluated on the basis of task accomplishment, time consumption, System Usability Scale (SUS) rating and number of times the help was acquired. The results show that the performance of semi-literate users improved significantly when using the online assistance. The dissertation thus introduces a new development approach in which virtual characters are used as additional support for barely literate or naturally challenged users. Such components enhanced the application utility by offering a variety of services like translating contents in local language, providing additional vocal information, and performing automatic translation from text to sign language. Obviously, there is no such thing as one design solution that fits for all in the underlying domain. Context sensitivity, literacy and mental abilities are key factors on which I concentrated and the results emphasize that computer interfaces must be based on a thoughtful definition of target groups, purposes and objectives.
N2  - Das Ziel und die Motivation hinter dieser Forschungsarbeit ist es, Anwendungen mit benutzerfreundlichen Schnittstellen für Gehörlose und Analphabeten bereitzustellen, welche es ihnen ermöglichen ohne jede menschliche Unterstützung zu arbeiten. Obwohl es in den letzten Jahren technologische Fortschritte gab, garantiert allein die Verfügbarkeit von Technik nicht automatisch die Zugänglichkeit zu Informations- und Kommunikationstechnologien (IKT). Umfangreiche Verwendung von Texten in Menüs bis hin zu Dokumenten führen dazu, dass Gehörlose und funktionale Analphabeten auf diese Dienste, die auf Computersystemen existieren, nicht zugreifen können. Folglich stellen die meisten bestehenden EDV-Anwendungen für diejenigen eine Hürde dar, die nicht fließend lesen können. Onlinetechnologien für solche Art von Gruppen sollten in kontinuierlichem Austausch mit den Hauptnutzern entwickelt werden und gründliche Untersuchung ihrer Einschränkungen, Anforderungen und Nutzungsbarrieren beinhalten. In dieser Forschungsarbeit untersuche ich vorhandene Tools im Bereich von Sprach-, Web- und anderen Multimedia-Technologien, um Lernlücken zu identifizieren und Wege zu erforschen, welche die Informationsalphabetisierung für Gehörlose und Analphabeten erweitert. Ich arbeitete an der Entwicklung einer nutzerzentrierten Schnittstelle, um die Fähigkeiten von Gehörlosen und Nutzern mit schlechter Alphabetisierung durch Verbesserung der lexikalischen Ressourcen und durch Auswertung mehrerer Multimediaschnittstellen zu erhöhen. Die Schnittstelle des plattformunabhängigen, italienischen Gebärdensprachen (LIS) Wörterbuches wurde entwickelt, um die lexikalischen Quellen für gehörlose Anwender zu verbessern. Ich integriere die LIS-lexikalischen Ressourcen mit der MultiWordNet (MWN)-Datenbank, um das erste LIS MultiWordNet (LMWN) zu bilden. LMWN enthält Informationen über lexikalische Beziehungen zwischen Wörtern, semantische Beziehungen zwischen lexikalischen Konzepten (Synsets), Gemeinsamkeiten zwischen italienischer und Gebärdensprache-lexikalischen Konzepten und semantischen Feldern (Domänen). Der Ansatz erhöht das Verständnis der tauben Nutzer geschriebene, italienischen Sprache zu verstehen und zeigt, dass ein relativ kleiner Satz an Lexika den wesentlichen Teil der MWN abdecken kann. Die Integration von LIS-Zeichen mit MWN machte es zu einem nützlichen Werkzeug für Linguistik und Sprachverarbeitung. Der regelbasierte Übersetzungsprozess von geschriebenem, italienischem Text zu LIS wurde in ein Service-orientiertes System überführt. Der Übersetzungsprozess besteht aus verschiedenen Modulen, einschließlich einem Parser, einem semantischen Interpreter, einem Generator und einem räumlichen Zuordnungs-Planer. Diese Übersetzungsprozedur wurde im Java Application Building Center (jABC) implementiert, welches ein Framework für das eXtrem Model Driven Design (XMDD) ist. Der XMDD-Ansatz konzentriert sich darauf die Softwareentwicklung näher zum konzeptionellen Design zu bringen, sodass die Funktionalität einer Softwarelösung von jemandem verstanden werden kann, der mit Programmierkonzepten unvertraut ist. Die Transformation richtet sich an die heterogene Herausforderung und verbessert die Wiederverwendbarkeit des Systems. Zur Verbesserung der E-Partizipation der funktionalen Analphabeten wurden zwei detaillierte Studien in der Republik Ruanda durchgeführt. In der ersten Studie wurde die traditionelle, textuelle Schnittstelle mit der virtuellen, charakterbasierten, interaktiven Schnittstelle verglichen. Diese Studie hat dazu beigetragen Barrieren der Benutzerfreundlichkeit zu identifizieren. Anwender evaluierten die Schnittstellen bezüglich drei grundlegender Bereiche der Benutzerfreundlichkeit: Effektivität, Effizienz und Zufriedenstellung bei der Problemlösung. In einer anderen Studie entwickelten wir vier verschiedene Schnittstellen, um die Benutzerfreundlichkeit und die Effekte der Online-Hilfe (konsequente Hilfe) für funktionale Analphabeten zu analysieren und verglichen verschiedene Hilfsmodi (einschließlich zusätzlicher Textinformationen, Audio-Unterstützung und mit Hilfe eines virtuellen Charakters) bezüglich der Verbesserung der Leistungsfähigkeit von teilweisen Analphabeten, um ihre Zielstellung zu erreichen. In unseren neu gestalteten Schnittstellen wurden Anweisungen automatisch in die Swahili Sprache übersetzt. Alle Schnittstellen wurden auf der Grundlage der Aufgabenbewältigung, des Zeitaufwands, der System Usability Scale (SUS) Rate und der Anzahl der Hilfegesuche bewertet. Die Ergebnisse zeigen, dass die Leistungsfähigkeit der teilweisen Analphabeten bei Nutzung der Online-Hilfe signifikant verbessert wurde. Diese Dissertation stellt somit einen neuen Entwicklungsansatz dar, bei welchem virtuelle Charaktere als zusätzliche Unterstützung genutzt werden, um Nutzer, die kaum lesen können oder sonstig eingeschränkt sind, zu unterstützen. Solche Komponenten erweitern die Anwendungsnutzbarkeit indem sie eine Vielzahl von Diensten wie das Übersetzen von Inhalten in eine Landessprache, das Bereitstellen von zusätzlichen akustisch, gesprochenen Informationen und die Durchführung einer automatischen Übersetzung von Text in Gebärdensprache bereitstellen. Offensichtlich gibt ist keine One Design-Lösung, die für alle zugrundeliegenden Domänen passt. Kontextsensitivität, Alphabetisierung und geistigen Fähigkeiten sind Schlüsselfaktoren, auf welche ich mich konzentriere. Die Ergebnisse unterstreichen, dass Computerschnittstellen auf einer exakten Definition der Zielgruppen, dem Zweck und den Zielen basieren müssen.
KW  - Mensch-Computer-Interaktion
KW  - assistive Technologien
KW  - HCI
KW  - user interfaces
KW  - sign language
KW  - online assistance
KW  - assistive technologies
Y1  - 2014
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-70391
ER  - 
TY  - THES
A1  - Gustafson, Sean
T1  - Imaginary Interfaces
T1  - Imaginäre Benutzerschnittstellen
N2  - The size of a mobile device is primarily determined by the size of the touchscreen. As such, researchers have found that the way to achieve ultimate mobility is to abandon the screen altogether. These wearable devices are operated using hand gestures, voice commands or a small number of physical buttons. By abandoning the screen these devices also abandon the currently dominant spatial interaction style (such as tapping on buttons), because, seemingly, there is nothing to tap on. Unfortunately this design prevents users from transferring their learned interaction knowledge gained from traditional touchscreen-based devices. In this dissertation, I present Imaginary Interfaces, which return spatial interaction to screenless mobile devices. With these interfaces, users point and draw in the empty space in front of them or on the palm of their hands. While they cannot see the results of their interaction, they obtain some visual and tactile feedback by watching and feeling their hands interact. After introducing the concept of Imaginary Interfaces, I present two hardware prototypes that showcase two different forms of interaction with an imaginary interface, each with its own advantages: mid-air imaginary interfaces can be large and expressive, while palm-based imaginary interfaces offer an abundance of tactile features that encourage learning. Given that imaginary interfaces offer no visual output, one of the key challenges is to enable users to discover the interface's layout. This dissertation offers three main solutions: offline learning with coordinates, browsing with audio feedback and learning by transfer. The latter I demonstrate with the Imaginary Phone, a palm-based imaginary interface that mimics the layout of a physical mobile phone that users are already familiar with. Although these designs enable interaction with Imaginary Interfaces, they tell us little about why this interaction is possible. In the final part of this dissertation, I present an exploration into which human perceptual abilities are used when interacting with a palm-based imaginary interface and how much each accounts for performance with the interface. These findings deepen our understanding of Imaginary Interfaces and suggest that palm-based Imaginary Interfaces can enable stand-alone eyes-free use for many applications, including interfaces for visually impaired users.
N2  - Die Größe mobiler Geräte ist vornehmlich bestimmt durch die Größe des Berührungsbildschirms. Forscher haben daher erkannt, dass der Weg zur äußersten Mobilität in der kompletten Aufgabe des Bildschirms liegt. Solche tragbaren Geräte werden durch Handgesten, Sprachbefehle oder eine kleine Anzahl physikalischer Tasten gesteuert. Mit der Aufgabe des Bildschirms geben diese Geräte allerdings auch den momentan weitverbreiteten Stil räumlicher Interaktion auf (zum Beispiel das Betätigen von Tasten), da scheinbar nichts existiert, das man betätigen kann. Leider verhindert diese Entwicklung, dass Benutzer Interaktionswissen, welches sie sich auf herkömmlichen berührungsempflindlichen Geräten angeeignet haben, anwenden können. In dieser Doktorarbeit stelle ich Imaginary Interfaces vor, imaginäre Benutzerschnittstellen, die räumliche Interaktionen auf bildschirmlosen mobilen Geräten ermöglichen. Diese Schnittstellen erlauben Benutzern, im leeren Raum vor ihnen oder auf ihren Handfläche zu zeigen und zu zeichnen. Zwar können Benutzer die Ergebnisse ihrer Interaktion nicht sehen, sie erhalten jedoch visuelle und taktile Rückmeldung dadurch, dass sie ihre Hände während der Interaktion beobachten und fühlen. Nach der Einführung des Imaginary Interfaces Konzepts stelle ich zwei Hardware-Prototypen vor, die zwei verschiedene Arten von Interaktionen mit Imaginary Interfaces demonstrieren, jeweils mit ihren eigenen Vorteilen: Imaginary Interfaces in der Luft können groß und ausdrucksstark sein, während Imaginary Interfaces basierend auf Handflächen eine Fülle von taktilen Merkmalen aufweisen, die das Erlernen unterstützen. Die fehlende visuelle Ausgabe führt zu einer der Hauptherausforderungen von Imaginary Interfaces, nämlich Benutzern zu ermöglichen, die Anordnung der Benutzerschnittstellen herauszufinden. Diese Doktorarbeit stellt drei Lösungen vor: vorheriges Lernen mit Koordinaten, Durchsuchen mit Tonrückmeldung und Lernen durch Transfer. Letztere demonstriere ich mit Imaginary Phone, einem Imaginary Interface basierend auf Handflächen, das die den Benutzern schon vertraute Anordnung eines physikalischen Mobiltelefons imitiert. Obwohl diese Lösungen die Interaktion mit Imaginary Interfaces ermöglichen, können sie keine Aussage darüber treffen, warum eine solche Interaktion möglich ist. Im letzten Teil dieser Doktorarbeit untersuche ich, welche menschlichen Wahrnehmungsfähigkeiten während der Interaktion mit Imaginary Interface basierend auf Handflächen genutzt werden und zu welchem Ausmaß jede dieser Wahrnehmungsfähigkeiten zur Effizienz bei der Benutzung beiträgt. Diese Ergebnisse vertiefen unser Verständnis von Imaginary Interfaces und legen nahe, dass Imaginary Interfaces basierend auf Handflächen die eigenständige und blickfreie Benutzung von vielen Anwendungen ermöglichen können, eingeschlossen Benutzerschnittstellen für sehbehinderte Benutzer.
KW  - interaction
KW  - interface
KW  - mobile
KW  - HCI
KW  - gesture
Y1  - 2013
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-68960
ER  - 
TY  - THES
A1  - Holz, Christian
T1  - 3D from 2D touch
T1  - 3D von 2D-Berührungen
N2  - While interaction with computers used to be dominated by mice and keyboards, new types of sensors now allow users to interact through touch, speech, or using their whole body in 3D space. These new interaction modalities are often referred to as "natural user interfaces" or "NUIs." While 2D NUIs have experienced major success on billions of mobile touch devices sold, 3D NUI systems have so far been unable to deliver a mobile form factor, mainly due to their use of cameras. The fact that cameras require a certain distance from the capture volume has prevented 3D NUI systems from reaching the flat form factor mobile users expect. In this dissertation, we address this issue by sensing 3D input using flat 2D sensors. The systems we present observe the input from 3D objects as 2D imprints upon physical contact. By sampling these imprints at very high resolutions, we obtain the objects' textures. In some cases, a texture uniquely identifies a biometric feature, such as the user's fingerprint. In other cases, an imprint stems from the user's clothing, such as when walking on multitouch floors. By analyzing from which part of the 3D object the 2D imprint results, we reconstruct the object's pose in 3D space. While our main contribution is a general approach to sensing 3D input on 2D sensors upon physical contact, we also demonstrate three applications of our approach. (1) We present high-accuracy touch devices that allow users to reliably touch targets that are a third of the size of those on current touch devices. We show that different users and 3D finger poses systematically affect touch sensing, which current devices perceive as random input noise. We introduce a model for touch that compensates for this systematic effect by deriving the 3D finger pose and the user's identity from each touch imprint. We then investigate this systematic effect in detail and explore how users conceptually touch targets. Our findings indicate that users aim by aligning visual features of their fingers with the target. We present a visual model for touch input that eliminates virtually all systematic effects on touch accuracy. (2) From each touch, we identify users biometrically by analyzing their fingerprints. Our prototype Fiberio integrates fingerprint scanning and a display into the same flat surface, solving a long-standing problem in human-computer interaction: secure authentication on touchscreens. Sensing 3D input and authenticating users upon touch allows Fiberio to implement a variety of applications that traditionally require the bulky setups of current 3D NUI systems. (3) To demonstrate the versatility of 3D reconstruction on larger touch surfaces, we present a high-resolution pressure-sensitive floor that resolves the texture of objects upon touch. Using the same principles as before, our system GravitySpace analyzes all imprints and identifies users based on their shoe soles, detects furniture, and enables accurate touch input using feet. By classifying all imprints, GravitySpace detects the users' body parts that are in contact with the floor and then reconstructs their 3D body poses using inverse kinematics. GravitySpace thus enables a range of applications for future 3D NUI systems based on a flat sensor, such as smart rooms in future homes. We conclude this dissertation by projecting into the future of mobile devices. Focusing on the mobility aspect of our work, we explore how NUI devices may one day augment users directly in the form of implanted devices.
N2  - Die Interaktion mit Computern war in den letzten vierzig Jahren stark von Tastatur und Maus geprägt. Neue Arten von Sensoren ermöglichen Computern nun, Eingaben durch Berührungs-, Sprach- oder 3D-Gestensensoren zu erkennen. Solch neuartige Formen der Interaktion werden häufig unter dem Begriff "natürliche Benutzungsschnittstellen" bzw. "NUIs" (englisch natural user interfaces) zusammengefasst. 2D-NUIs ist vor allem auf Mobilgeräten ein Durchbruch gelungen; über eine Milliarde solcher Geräte lassen sich durch Berührungseingaben bedienen. 3D-NUIs haben sich jedoch bisher nicht auf mobilen Plattformen durchsetzen können, da sie Nutzereingaben vorrangig mit Kameras aufzeichnen. Da Kameras Bilder jedoch erst ab einem gewissen Abstand auflösen können, eignen sie sich nicht als Sensor in einer mobilen Plattform. In dieser Arbeit lösen wir dieses Problem mit Hilfe von 2D-Sensoren, von deren Eingaben wir 3D-Informationen rekonstruieren. Unsere Prototypen zeichnen dabei die 2D-Abdrücke der Objekte, die den Sensor berühren, mit hoher Auflösung auf. Aus diesen Abdrücken leiten sie dann die Textur der Objekte ab. Anhand der Stelle der Objektoberfläche, die den Sensor berührt, rekonstruieren unsere Prototypen schließlich die 3D-Ausrichtung des jeweiligen Objektes. Neben unserem Hauptbeitrag der 3D-Rekonstruktion stellen wir drei Anwendungen unserer Methode vor. (1) Wir präsentieren Geräte, die Berührungseingaben dreimal genauer als existierende Geräte messen und damit Nutzern ermöglichen, dreimal kleinere Ziele zuverlässig mit dem Finger auszuwählen. Wir zeigen dabei, dass sowohl die Haltung des Fingers als auch der Benutzer selbst einen systematischen Einfluss auf die vom Sensor gemessene Position ausübt. Da existierende Geräte weder die Haltung des Fingers noch den Benutzer erkennen, nehmen sie solche Variationen als Eingabeungenauigkeit wahr. Wir stellen ein Modell für Berührungseingabe vor, das diese beiden Faktoren integriert, um damit die gemessenen Eingabepositionen zu präzisieren. Anschließend untersuchen wir, welches mentale Modell Nutzer beim Berühren kleiner Ziele mit dem Finger anwenden. Unsere Ergebnisse deuten auf ein visuelles Modell hin, demzufolge Benutzer Merkmale auf der Oberfläche ihres Fingers an einem Ziel ausrichten. Bei der Analyse von Berührungseingaben mit diesem Modell verschwinden nahezu alle zuvor von uns beobachteten systematischen Effekte. (2) Unsere Prototypen identifizieren Nutzer anhand der biometrischen Merkmale von Fingerabdrücken. Unser Prototyp Fiberio integriert dabei einen Fingerabdruckscanner und einen Bildschirm in die selbe Oberfläche und löst somit das seit Langem bestehende Problem der sicheren Authentifizierung auf Berührungsbildschirmen. Gemeinsam mit der 3D-Rekonstruktion von Eingaben ermöglicht diese Fähigkeit Fiberio, eine Reihe von Anwendungen zu implementieren, die bisher den sperrigen Aufbau aktueller 3D-NUI-Systeme voraussetzten. (3) Um die Flexibilität unserer Methode zu zeigen, implementieren wir sie auf einem großen, berührungsempfindlichen Fußboden, der Objekttexturen bei der Eingabe ebenfalls mit hoher Auflösung aufzeichnet. Ähnlich wie zuvor analysiert unser System GravitySpace diese Abdrücke, um Nutzer anhand ihrer Schuhsolen zu identifizieren, Möbelstücke auf dem Boden zu erkennen und Nutzern präzise Eingaben mittels ihrer Schuhe zu ermöglichen. Indem GravitySpace alle Abdrücke klassifiziert, erkennt das System die Körperteile der Benutzer, die sich in Kontakt mit dem Boden befinden. Aus der Anordnung dieser Kontakte schließt GravitySpace dann auf die Körperhaltungen aller Benutzer in 3D. GravitySpace hat daher das Potenzial, Anwendungen für zukünftige 3D-NUI-Systeme auf einer flachen Oberfläche zu implementieren, wie zum Beispiel in zukünftigen intelligenten Wohnungen. Wie schließen diese Arbeit mit einem Ausblick auf zukünftige interaktive Geräte. Dabei konzentrieren wir uns auf den Mobilitätsaspekt aktueller Entwicklungen und beleuchten, wie zukünftige mobile NUI-Geräte Nutzer in Form implantierter Geräte direkt unterstützen können.
KW  - HCI
KW  - Berührungseingaben
KW  - Eingabegenauigkeit
KW  - Modell
KW  - Mobilgeräte
KW  - HCI
KW  - touch input
KW  - input accuracy
KW  - model
KW  - mobile devices
Y1  - 2013
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus-67796
ER  -