Sean Gustafson

• The size of a mobile device is primarily determined by the size of the touchscreen. As such, researchers have found that the way to achieve ultimate mobility is to abandon the screen altogether. These wearable devices are operated using hand gestures, voice commands or a small number of physical buttons. By abandoning the screen these devices also abandon the currently dominant spatial interaction style (such as tapping on buttons), because, seemingly, there is nothing to tap on. Unfortunately this design prevents users from transferring their learned interaction knowledge gained from traditional touchscreen-based devices. In this dissertation, I present Imaginary Interfaces, which return spatial interaction to screenless mobile devices. With these interfaces, users point and draw in the empty space in front of them or on the palm of their hands. While they cannot see the results of their interaction, they obtain some visual and tactile feedback by watching and feeling their hands interact. After introducing the concept of ImaginaryThe size of a mobile device is primarily determined by the size of the touchscreen. As such, researchers have found that the way to achieve ultimate mobility is to abandon the screen altogether. These wearable devices are operated using hand gestures, voice commands or a small number of physical buttons. By abandoning the screen these devices also abandon the currently dominant spatial interaction style (such as tapping on buttons), because, seemingly, there is nothing to tap on. Unfortunately this design prevents users from transferring their learned interaction knowledge gained from traditional touchscreen-based devices. In this dissertation, I present Imaginary Interfaces, which return spatial interaction to screenless mobile devices. With these interfaces, users point and draw in the empty space in front of them or on the palm of their hands. While they cannot see the results of their interaction, they obtain some visual and tactile feedback by watching and feeling their hands interact. After introducing the concept of Imaginary Interfaces, I present two hardware prototypes that showcase two different forms of interaction with an imaginary interface, each with its own advantages: mid-air imaginary interfaces can be large and expressive, while palm-based imaginary interfaces offer an abundance of tactile features that encourage learning. Given that imaginary interfaces offer no visual output, one of the key challenges is to enable users to discover the interface's layout. This dissertation offers three main solutions: offline learning with coordinates, browsing with audio feedback and learning by transfer. The latter I demonstrate with the Imaginary Phone, a palm-based imaginary interface that mimics the layout of a physical mobile phone that users are already familiar with. Although these designs enable interaction with Imaginary Interfaces, they tell us little about why this interaction is possible. In the final part of this dissertation, I present an exploration into which human perceptual abilities are used when interacting with a palm-based imaginary interface and how much each accounts for performance with the interface. These findings deepen our understanding of Imaginary Interfaces and suggest that palm-based Imaginary Interfaces can enable stand-alone eyes-free use for many applications, including interfaces for visually impaired users.…
• Die Größe mobiler Geräte ist vornehmlich bestimmt durch die Größe des Berührungsbildschirms. Forscher haben daher erkannt, dass der Weg zur äußersten Mobilität in der kompletten Aufgabe des Bildschirms liegt. Solche tragbaren Geräte werden durch Handgesten, Sprachbefehle oder eine kleine Anzahl physikalischer Tasten gesteuert. Mit der Aufgabe des Bildschirms geben diese Geräte allerdings auch den momentan weitverbreiteten Stil räumlicher Interaktion auf (zum Beispiel das Betätigen von Tasten), da scheinbar nichts existiert, das man betätigen kann. Leider verhindert diese Entwicklung, dass Benutzer Interaktionswissen, welches sie sich auf herkömmlichen berührungsempflindlichen Geräten angeeignet haben, anwenden können. In dieser Doktorarbeit stelle ich Imaginary Interfaces vor, imaginäre Benutzerschnittstellen, die räumliche Interaktionen auf bildschirmlosen mobilen Geräten ermöglichen. Diese Schnittstellen erlauben Benutzern, im leeren Raum vor ihnen oder auf ihren Handfläche zu zeigen und zu zeichnen. Zwar können Benutzer dieDie Größe mobiler Geräte ist vornehmlich bestimmt durch die Größe des Berührungsbildschirms. Forscher haben daher erkannt, dass der Weg zur äußersten Mobilität in der kompletten Aufgabe des Bildschirms liegt. Solche tragbaren Geräte werden durch Handgesten, Sprachbefehle oder eine kleine Anzahl physikalischer Tasten gesteuert. Mit der Aufgabe des Bildschirms geben diese Geräte allerdings auch den momentan weitverbreiteten Stil räumlicher Interaktion auf (zum Beispiel das Betätigen von Tasten), da scheinbar nichts existiert, das man betätigen kann. Leider verhindert diese Entwicklung, dass Benutzer Interaktionswissen, welches sie sich auf herkömmlichen berührungsempflindlichen Geräten angeeignet haben, anwenden können. In dieser Doktorarbeit stelle ich Imaginary Interfaces vor, imaginäre Benutzerschnittstellen, die räumliche Interaktionen auf bildschirmlosen mobilen Geräten ermöglichen. Diese Schnittstellen erlauben Benutzern, im leeren Raum vor ihnen oder auf ihren Handfläche zu zeigen und zu zeichnen. Zwar können Benutzer die Ergebnisse ihrer Interaktion nicht sehen, sie erhalten jedoch visuelle und taktile Rückmeldung dadurch, dass sie ihre Hände während der Interaktion beobachten und fühlen. Nach der Einführung des Imaginary Interfaces Konzepts stelle ich zwei Hardware-Prototypen vor, die zwei verschiedene Arten von Interaktionen mit Imaginary Interfaces demonstrieren, jeweils mit ihren eigenen Vorteilen: Imaginary Interfaces in der Luft können groß und ausdrucksstark sein, während Imaginary Interfaces basierend auf Handflächen eine Fülle von taktilen Merkmalen aufweisen, die das Erlernen unterstützen. Die fehlende visuelle Ausgabe führt zu einer der Hauptherausforderungen von Imaginary Interfaces, nämlich Benutzern zu ermöglichen, die Anordnung der Benutzerschnittstellen herauszufinden. Diese Doktorarbeit stellt drei Lösungen vor: vorheriges Lernen mit Koordinaten, Durchsuchen mit Tonrückmeldung und Lernen durch Transfer. Letztere demonstriere ich mit Imaginary Phone, einem Imaginary Interface basierend auf Handflächen, das die den Benutzern schon vertraute Anordnung eines physikalischen Mobiltelefons imitiert. Obwohl diese Lösungen die Interaktion mit Imaginary Interfaces ermöglichen, können sie keine Aussage darüber treffen, warum eine solche Interaktion möglich ist. Im letzten Teil dieser Doktorarbeit untersuche ich, welche menschlichen Wahrnehmungsfähigkeiten während der Interaktion mit Imaginary Interface basierend auf Handflächen genutzt werden und zu welchem Ausmaß jede dieser Wahrnehmungsfähigkeiten zur Effizienz bei der Benutzung beiträgt. Diese Ergebnisse vertiefen unser Verständnis von Imaginary Interfaces und legen nahe, dass Imaginary Interfaces basierend auf Handflächen die eigenständige und blickfreie Benutzung von vielen Anwendungen ermöglichen können, eingeschlossen Benutzerschnittstellen für sehbehinderte Benutzer.…