HAUPTBEITRAG / OUT OF SHAPE, OUT OF STYLE, OUT OF FOCUS

Out of Shape, Out of Style, Out of Focus Wie sich Computer besser in unseren Alltag integrieren (lassen) Andreas Butz · Gilbert Beyer Alina Hang · Doris Hausen Fabian Hennecke · Felix Lauber Sebastian Loehmann · Henri Palleis Sonja Rümelin · Bernhard Slawik Sarah Tausch · Julie Wagner Heinrich Hussmann Interaktion im Ubiquitous Computing In seinem richtungsweisenden Artikel von 1991 schreibt Mark Weiser zur Integration von Computern in unsere Alltagsumgebungen: “The most profound technologies are those that disappear. They weave themselves into the fabric of everyday life until they are indistinguishable from it” [15]. Dies trifft beispielsweise für lange etablierte Kulturtechniken wie das Schreiben zu, heutige Computer sind jedoch von diesem Ideal noch weit entfernt. Will man nun Systeme bauen, die sich genau so tief in unser Alltagsleben integrieren, dann müssen sich diese nahtlos sowohl in die physikalische Umgebung als auch in unsere täglichen Handlungen einfügen. Dabei sollen sie praktisch aus unserer direkten Aufmerksamkeit verschwinden. Frühe Arbeiten im Bereich des Ubiquitous Computing befassten sich vor allem mit verschiedenen Bauformen und deren Zusammenspiel. Richtungsweisend war hier z. B. das ParcTab Projekt [14], oder in der deutschen Forschungslandschaft das i-land Projekt [12] in den 80er- und 90er-Jahren des letzten Jahrhunderts. Bei ParcTab gab es bereits verschiedene Displaygrößen, und bei i-Land wurden diese dann in Möbel einer Büroumgebung (Tische, Stühle, Wände) integriert und bereits erste neue Interaktionsformen eingebettet. Derzeitiger kommerzieller Nachfolger der klassischen PC-Interaktion ist Multi-Touch auf Tablets und Smartphones, was bereits einige Ideen aus ParcTab realisiert. Dabei werden immer noch klassische planare und rechteckige Bildschirme benutzt. Erste neue Bauformen sind zu sehen bei zylindrischen, gebogenen und flexiblen Displays (siehe auch andere Artikel in diesem Heft). Der verbrei-

tetste Interaktionsstil ist derzeit (Multi-)Touch mit direkter Manipulation und Touch-Gesten. Weitere Interaktionsformen sind Freihand-Gesten (z. B. mittels leap motion), aber auch implizite Interaktion (siehe später in diesem Artikel). Derzeit finden jedoch praktisch alle Interaktionen im Fokus unserer Aufmerksamkeit (und meist auch in unserem Blick) statt. Die Arbeitsgruppen Medieninformatik und Mensch-Maschine-Interaktion an der LMU München untersuchen, wie man entlang dreier Gestaltungsaspekte über etablierte Bauformen und Interaktionsstile hinaus gehen kann: Out of Shape bedeutet, über neue Bauformen nachzudenken: Wir schlagen neue Formen für Displays vor, um über herkömmliche Bildschirme hinauszugehen, setzen diese prototypisch um und untersuchen ihre Nutzung experimentell. Out of Style bedeutet, über neue Interaktionsstile nachzudenken: Um über reine (Multi-)Touch Interaktion hinauszugehen, untersuchen wir deren Kombination mit Gestik und physikalischer Interaktion. Out of Focus bedeutet, über Interaktion außerhalb des visuellen oder mentalen Fokus nachzuDOI 10.1007/s00287-014-0797-1 © Springer-Verlag Berlin Heidelberg 2014 Andreas Butz · Gilbert Beyer · Alina Hang · Doris Hausen Fabian Hennecke · Felix Lauber · Sebastian Loehmann Henri Palleis · Sonja Rümelin · Bernhard Slawik · Sarah Tausch Julie Wagner · Heinrich Hussmann Ludwig-Maximilians-Universität München, Arbeitsgruppen Medieninformatik und Mensch-Maschine-Interaktion, Amalienstr. 17, 80333 München E-Mail: {Andreas.Butz, Gilbert.Beyer, Alina.Hang, Doris. Hausen, Fabian.Hennecke, Felix.Lauber, Sebastian.Loehmann, Henri.Palleis, Sonja.Ruemelin, Bernhard.Slawik, Sarah.Tausch, Julie.Wagner, Heinrich.Hussmann}@ifi.lmu.de

}

{ OUT OF SHAPE, OUT OF STYLE, OUT OF FOCUS

Zusammenfassung Wenn sich Computertechnik nahtlos in unseren Alltag integrieren soll, dann erfordert dies neue Bauformen und Interaktionsstile, die auf die menschlichen Fähigkeiten abgestimmt sind. Dieser Artikel zeigt drei Gestaltungsaspekte auf, mittels derer wir eine solche Integration erreichen können. Er beschreibt in aller Kürze eine Reihe von Prototypen der Arbeitsgruppen Medieninformatik und Mensch-Maschine-Interaktion an der LMU München und reflektiert kurz den verwendeten methodischen Ansatz.

denken: Wir untersuchen, wie sich Interaktion außerhalb oder am Rande unserer Aufmerksamkeit realisieren lässt und wie sie sich auf die jeweilige Hauptaufgabe auswirkt. Dieser Kaleidoskop-Artikel beleuchtet die Arbeit unserer Arbeitsgruppen entlang dieser drei Aspekte.

Out of Shape Die nahtlose Integration von Bildschirmen in unsere physikalischen Alltagsumgebungen wird (zumindest räumlich) wesentlich leichter, wenn diese gewölbt oder verformbar sein können. Im Vergleich zu den heute verbreiteten flachen Displays lassen sich geformte Displays weitaus flexibler einsetzen und in nahezu beliebige existierende Oberflächen integrieren. Sie können dabei ertastbar sein und haptisch unterscheidbare Texturen aufweisen. So ermöglicht der neue Formfaktor eine durch Haptik unterstützte Interaktion mit Computersystemen. Aber auch bei berührungsloser Interaktion kann sich die Form der Displays auf das Nutzerverhalten auswirken. In unserer Forschungsgruppe nähern wir uns diesen Themen mit Prototypen in verschiedensten Einsatzgebieten. Ein Beispiel aus dem Automobilbereich für eine durch Form unterstützte Interaktion ist die strukturierte Mittelkonsole [9]. Ihr Display weist konkave und konvexe Wölbungen auf, die durch ertastbare Oberflächenstrukturen wie Mulden ergänzt werden können (siehe Versuchsaufbau in Abb. 1). Erste Experimente haben gezeigt, dass derartige Oberflächen die Interaktion mit Bildschirminhalten unterstützen und den Autofahrer visuell entlasten können, da

Abb. 1 Interaktion mit der strukturierten Mittelkonsole: Das Display kann ertastet und damit teilweise blind bedient werden

dieser sich bei der Bildschirminteraktion nun verstärkt auf seine haptische Wahrnehmung verlassen kann. Der Curve ist ein großes gebogenes und berührungsempfindliches Display, das als Kernstück neuartiger Computerarbeitsplätze dienen könnte (siehe Abb. 2). Ein vertikaler Bildschirmbereich wird über eine Kurve nahtlos mit einem horizontalen Bildschirmbereich verbunden, wodurch sich eine interaktive Oberfläche ergibt, die Vorteile von horizontalen und vertikalen Arbeitsflächen vereint und Übergänge zwischen ihnen vereinfacht [5]. Zudem ermöglicht die Kurve spezielle Visualisierungen wie Perspective und Detail [11], bei der die horizontale Fläche virtuell in die Tiefe erweitert wird. Zum Curve entstand als echte Parallelentwicklung der BendDesk [16], wodurch die gemeinsame Untersuchung von Kollaborationsszenarien an diesen neuartigen Tischen möglich wurde [6]. Die Digitale Litfaßsäule ist ein interaktives, zylindrisch geformtes Säulendisplay im öffentlichen

Abstract In order to embed computing technology seamlessly into everyday environments and actions, we need to investigate novel physical shapes and interaction styles, which are better suited to human capabilities. This article introduces three design aspects, by which we can achieve such a seamless integration. It briefly presents a series of prototypes that we developed in the HCI and Media Informatics groups at LMU Munich and briefly reflects on the methodological approach we chose.

Abb. 2 Der Curve, ein großes gebogenes Display als spezialisierter Arbeitsplatz für verschiedene Aufgaben (Bildquelle: [17])

Raum (siehe Abb. 3). Bei ihr besteht die erste Herausforderung schon darin, den Passanten, die sich aus allen Richtungen annähern können, durch eine unbewusste Initialinteraktion überhaupt zu vermitteln,

dass sie hier interagieren können [1]. Eine mehrwöchige Feldstudie hat gezeigt, dass es schon einen wesentlichen Unterschied macht, ob ein geformtes Säulendisplay nahtlos und rund ist oder ob es (wie bei flachen Displays) aus rechteckigen Frames aufgebaut ist. Dies kann die Nutzerpositionen und damit auch die Interaktion zwischen den Passanten maßgeblich beeinflussen [2].

Out of Style Durch die heute weit verbreiteten mobilen Technologien interagieren wir in den verschiedensten Lebenssituationen, die uns andererseits aber auch in unserer Bewegung und Aufmerksamkeit stark beschränken können. Aus diesem Grunde erforschen wir ein Spektrum alternativer Technologien und neuartiger Interaktionsstile für (unter dem Gesichtspunkt der Interaktion) extreme Alltagssituationen. Beim Einkauf in der Stadt tragen die Hände Einkaufstüten und das Handy ist tief vergraben im Rucksack und nicht ohne weiteres zu erreichen. ,,Anziehbare“ interaktive Geräte, die in unsere Kleidung und Accessoires integriert werden, sollen in solchen Fällen alternative Ein- und Ausgaben ermöglichen. Armbanduhren mit Rechenleistung, sogenannte Smartwatches, informieren beispielsweise über eine eingehende E-Mail. Durch in den Schuh integrierte Druck- und kapazitive Sensoren (siehe Abb. 4) kann die E-Mail dann durch eine Tap-Geste mit dem Fuß geöffnet und auf dem Display der Uhr gelesen werden, ohne dass eine Hand benutzt oder ein Handy hervorgeholt werden muss. Andere Alltagssituationen wie das Autofahren erfordern unsere volle Aufmerksamkeit. Im Fahrzeug muss mit einer Vielzahl von Instrumenten oder

Abb. 3 Die Digitale Litfaßsäule während einer Feldstudie: links ein nahtloser Bildschirminhalt, rechts einer mit rechteckigen Frames

{ OUT OF SHAPE, OUT OF STYLE, OUT OF FOCUS

Funktionen wie Radio oder Lüftung während der Fahrt interagiert werden. Dafür untersuchen wir ,,blickfreie“ Techniken, wie zum Beispiel den Einsatz von Freihandgesten. In die Geräte integrierte Näherungssensoren erkennen dabei die ausgestreckte Hand des Fahrers als Stopp-Geste (siehe Abb. 5). Dadurch können beispielsweise bestimmte Funktionen in stressigen Fahrtsituationen abgeschaltet werden [8].

Die bereits in vielen Oberklasse-Fahrzeugen verfügbaren Head-up-Displays erlauben bereits heute das Einblenden von Informationen in der Frontschreibe, so dass Fahrer die Straße und SystemHinweise gleichzeitig wahrnehmen können. Um Funktionen auch während der Fahrt regulieren zu können, arbeiten wir an einer innovativen Kombination von Freihand-Zeigegeste und ButtonInteraktion am Lenkrad [7]. Durch die zusätzliche Abfrage von GPS-Daten können wir außerdem eine Zeigegeste auf Gebäude außerhalb des Autos erkennen, durch die sich Fahrzeuginsassen zusätzliche Informationen einblenden lassen können (siehe Abb. 6) [10].

Out of Focus

Abb. 4 Druck- und kapazitive Sensoren in einer Schuhsohle zur Erkennung von Tap-Gesten

Menschen sind von Natur aus dazu in der Lage, während ihre Aufmerksamkeit auf eine zentrale Aufgabe fokussiert ist, weitere Informationen zu verarbeiten, die in der Peripherie der Wahrnehmung liegen. Eine konsequente Einbettung von Interaktionstechniken in die Umwelt des Menschen sollte diese Fähigkeit ausnutzen. In unserer Forschungsgruppe wird ein ganzes Spek-

Abb. 5 Näherungssensoren integriert in Autoinstrumente können Stopp-Gesten erkennen und bieten so schnelle Abschaltmechanismen in extremen Stresssituationen des Fahrens (Bildquelle: [8])

Abb. 6 Zeigegesten auf Objekte außerhalb des Fahrgastraumes: Hier könnten beispielsweise nähere Informationen zu dem gezeigten Gebäude abgefragt werden (Bildquelle: [10])

trum solcher peripherer Interaktionstechniken untersucht: Ein Extrem des Spektrums stellen dabei Bedienelemente dar, die außerhalb der zentralen Interaktionsbereiche angesiedelt sind und nur peripher wahrgenommen werden, aber auch ein aktives Eingreifen des Nutzers durch einfache Operationen oder Gesten ermöglichen. Ein Beispiel hierfür ist StaTube [4] (Abb. 7), ein zylindrisches interaktives Objekt, das den Online-Status ausgewählter Skype-Kontakte peripher darstellt und gleichzeitig als Eingabegerät für den eigenen Status dient. Es kann ohne visuelle Aufmerksamkeit nebenbei bedient werden. Diese Art der Interaktion nennen wir Periphere Interaktion. Sie kann als Erweiterung der ambienten Informationsvermittlung gesehen werden, wie sie bereits im eingangs erwähnten i-land Projekt [12], beispielsweise an der Hello.Wall untersucht wurde. Im anderen Extrem des Spektrums findet weder eine passive Wahrnehmung noch ein aktives Eingreifen statt, aber dennoch wird implizit Information über das Verhalten des Nutzers ermittelt, das zum Beispiel später zur Authentisierung in Notfällen verwendet werden kann (implizite Interaktion) [3]. In einem dritten Szenario werden ambiente Informationen dargeboten, die parallel zur Hauptaufgabe über visuelle, akustische oder haptische Kanäle passiv vermittelt werden, wie zum Beispiel in einem sogenannten ,,Group Mirror“, der den aktuellen Zustand einer Gruppen-Kollaboration widerspiegelt (siehe Abb. 8) [13].

Forschungsansatz Der Bau solcher Systeme stellt durchweg hohe technische Herausforderungen an den Informatiker: Wie lassen sich etablierte Verfahren zur Touch-Detektion auf gebogene und strukturierte Flächen übertragen? Welche Sensoren ermöglichen die robusteste Erkennung neuer Gestenformen? Welche Sensorik und Darstellungstechnologie eignet sich für periphere Interaktion? Das Forschungsgebiet gehört daher ganz klar in die Informatik. Um hier aber zu fundierten Ergebnissen zu gelangen, die den Benutzer in den Mittelpunkt stellen, ist ein weiteres Repertoire an Methoden nötig, die (noch) nicht zum klassischen Methodenkanon der Informatik gehören. Im Folgenden wollen wir anhand des ,,Group Mirrors“ skizzieren, welche weiteren methodischen Herausforderungen diese Art von Forschung auf-

Abb. 7 StaTube ist ein interaktives Objekt für Periphere Interaktion: Durch Drehen des Kopfteils wird der eigene Skype-Status verändert (Bildquelle: [4])

Abb. 8 Ein ,,Group Mirror“ als ambiente Visualisierung eines Gesprächsverlaufs: Das Wachstum der Blumen symbolisiert den Umfang der Gesprächsbeiträge der Teilnehmer

wirft. Selbstverständlich ist es nicht ausreichend, eine beliebige Lösung eines solchen Systems zu realisieren und ihr grundsätzliches Funktionieren nachzuweisen. Um beispielsweise die grundlegende Entscheidung für oder gegen peripheres Feedback zu motivieren und die speziellen Entscheidungen in dem großen Raum von möglichen Entwurfsentscheidungen zu begründen, sind empirische Untersuchungen mit menschlichen Nutzern nötig. Methodisch ist diese Arbeit näher an der Psychologie als an der Informatik angesiedelt. Für eine solche empirische Fundierung müssen zunächst die Di-

{ OUT OF SHAPE, OUT OF STYLE, OUT OF FOCUS

mensionen des zu betrachtenden Entwurfsraums gefunden werden und dann klare Alternativen für die Entwurfsentscheidungen (also mögliche Werte für unabhängige Variablen in Experimenten) festgelegt werden. Um den Effekt von bestimmten Entwurfsentscheidungen bewerten zu können, müssen abhängige Variablen gefunden und mit messbaren Größen verbunden werden. Bei ,,Group Mirror“-Systemen ist eine unabhängige Entwurfsvariable beispielsweise die Entscheidung, ob das System (bei visuellem Feedback) diagrammatische, grafisch abstrakte oder metaphorische Visualisierung benutzt. Eine messbare abhängige Variable ist dann bei einem Einsatz in Brainstorming-Sitzungen z. B. die Anzahl der in einer Gruppensitzung produzierten Ideen. Kontrollierte Experimente setzen dann sorgfältig entworfene Prototypen solcher Systeme und genau abgestimmte Versuchsanordnungen (mit Versuchspersonen) nach den Regeln der empirischen Wissenschaft ein, um zu überprüfen, welche Entscheidung einen besseren messbaren Gesamteffekt hat. Einen Entwurfsraum mit vielen Dimensionen in einer überschaubaren Zahl von Experimenten zu untersuchen, stellt sich dabei oft als höchst komplexe Aufgabe dar. Beim oben erwähnten Beispiel konnte z. B. nachgewiesen werden, dass metaphorische Visualisierungen (also die Umsetzung von Zustandsinformation über die Gruppendiskussion in Bilder aus der Alltagswelt, wie z. B. einen mehr oder minder blühenden Blumengarten, siehe Abb. 8) effektiver sind als diagrammatische oder abstrakte Visualisierungen [13]. Diese Erweiterung des Methodenkanons halten wir für essenziell bei der Entwicklung von Informatik-Systemen, die durch Menschen benutzbar sein sollen. Dies trifft natürlich besonders stark auf die Konzeption völlig neuer Bauformen und Interaktionsstile und damit auf die Arbeiten unserer Gruppe zu.

Zusammenfassung Die gemeinsame Vision hinter all diesen Arbeiten ist es, Interaktion mit Computern stärker und nahtloser in unseren Alltag einzubetten. Wenn wir konventionelle Benutzerschnittstellen überdenken und neuartige bauen, die andere Bauformen und Interaktionsstile verwenden und mit unserer Aufmerksamkeit anders umgehen, dann können wir uns damit der Vision des Ubiquitous Com-

puting von verschiedenen Seiten nähern. Die so entstehenden Benutzerschnittstellen betten sich beispielsweise durch ihre neue Bauform besser in die Alltagsumgebung ein oder sind der Problemstellung angemessener. Die neuen Interaktionsstile betten sich ihrerseits besser in bestehende Handlungsabläufe ein, z. B. beim Autofahren oder in kreativer Diskussion. Interaktion am Rande unserer Aufmerksamkeit sorgt dafür, dass sich solche Systeme nicht in den Vordergrund drängen, sondern Weisers Vision der ,,calm technology“ näher kommen. Ein Übersichtsartikel wie dieser kann selbstverständlich diese Themen nur anreißen. Für tiefergehende Informationen sei deshalb hier auf die zitierten Arbeiten sowie die Webseiten der Arbeitsgruppe verwiesen.

Danksagung Wir danken Florian Alt und Emanuel von Zezschwitz für anregende Diskussionen und wertvollen Input zu Inhalt und Titel dieses Papers.

Literatur 1. Beyer G, Butz A (2013) Communicating the Interactivity of differently shaped Displays. CHI 2013 Workshop on Displays Take New Shape: An Agenda for Interactive Surfaces, 28 Apr 2013, Paris, France 2. Beyer G, Köttner F, Schiewe M, Haulsen I, Butz A (2013) Squaring the Circle: How Framing Influences User Behavior around a Seamless Cylindrical Display. In: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ’13). ACM, New York, NY, USA, pp 1729–1738 3. De Luca A, Hang A, Brudy F, Lindner C, Hussmann H (2012) Touch me once and I know it’s you! Implicit Authentication based on Touch Screen Patterns. In: CHI ’12: Proceedings of the 30th international conference on Human factors in computing systems. Austin, Texas, USA, 5–10 Mai, ACM, New York, NY, USA, pp 987–996 4. Hausen D, Boring S, Lueling C, Rodestock S, Butz A (2012) StaTube: Facilitating State Management in Instant Messaging Systems. In: Proceedings of the 6th International ACM Conference on Tangible, Embedded and Embodied Interaction – TEI 2012, Kingston, Ontario, Canada, 19–22 Febr 2012, pp 283–290 5. Hennecke F, Matzke W, Butz A (2012) How screen transitions influence touch and pointer interaction across angled display arrangements. In: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ’12). ACM, New York, NY, USA, pp 209–212 6. Hennecke F, Völker S, Schenk M, Schaper H, Borchers J, Butz A (2013) Simplifying Remote Collaboration Through Spatial Mirroring. In: Proceedings of the 14th IFIP TC13 Conference on Human-Computer Interaction (INTERACT 2013). Cape Town, South Africa, 2–6 Sept 2013 7. Lauber F, Follmann A, Butz A (2014) What You See Is What You Touch: Visualizing Touch Screen Interaction in the Head-Up Display. In: Proceedings DIS 2014, 21–25 June 2014, Vancouver, BC, Canada, ACM 8. Loehmann S, Knobel M, Lamara M, Butz A (2013) Culturally Independent Gestures for In-Car Interactions. In: Proceedings of the 14th IFIP TC13 Conference on Human-Computer Interaction (INTERACT 2013). Cape Town, South Africa, 2–6 Sept 2013 9. Rümelin S, Brudy F, Butz A (2013) Up And Down And Along: How We Interact With Curvature. CHI 2013 Workshop on Displays Take New Shape: An Agenda for Interactive Surfaces, 28 Apr 2013, Paris, France 10. Rümelin S, Marouane C, Butz A (2013) Free-hand Pointing for Identification and Interaction with Distant Objects. In: Proceedings of the 5th International Conference on Automotive User Interfaces and Interactive Vehicular Applications (AutomotiveUI ’13). ACM Press, New York, NY, USA, pp 40–47

11. Schwarz T., Hennecke F, Lauber F, Reiterer H (2012) Perspective+detail: a visualization technique for vertically curved displays. In: Tortora G, Levialdi S, Tucci M (eds) Proceedings of the International Working Conference on Advanced Visual Interfaces (AVI ’12). ACM, New York, NY, USA, pp 485–488 12. Streitz NA, Geißler J, Holmer T, Konomi S, Müller-Tomfelde C, Reischl W, Rexroth P, Seitz P, Steinmetz R (1999) i-LAND: an interactive landscape for creativity and innovation. In: Proceedings of the SIGCHI conference on Human Factors in Computing Systems (CHI ’99). ACM, New York, NY, USA, pp 120–127 13. Streng S, Stegmann K, Hußmann H, Fischer F (2009) Metaphor or diagram?: Comparing different representations for group mirrors. In: Proceedings of the 21st Annual Conference of the Australian Computer-Human Interaction Special Interest Group: Design: Open 24/7. ACM, pp 249–256

14. Want R, Schilit W, Adams N, Gold R, Petersen K, Goldberg D, Ellis J, Weiser M (1995) An overview of the PARCTAB ubiquitous computing experiment. IEEE Pers Commun 2(6):28–43 15. Weiser M (1991) The Computer for the 21st Century. Sci Am 265:94–104 16. Weiss M, Voelker S, Sutter C, Borchers J (2010) BendDesk: Dragging Across the Curve. In: ITS ’10: Proceedings of the ACM International Conference on Interactive Tabletops and Surfaces. ACM, New York, NY, USA, November 2010, pp 1–10 17. Wimmer R, Hennecke F, Schulz F, Butz A (2010) Curve: Revisiting the Digital Desk. In: Proceedings of the 6th Nordic Conference on Human-Computer Interaction (NordiCHI 2010). Reykjavik, Iceland, 16–20 October 2010, pp 561–570