Interaction techniques for mid-air pen input in handheld augmented reality

Wacker, Philipp; Borchers, Jan (Thesis advisor); Malaka, Rainer (Thesis advisor)

Aachen : RWTH Aachen University (2021)
Doktorarbeit

Dissertation, RWTH Aachen University, 2021

Kurzfassung

Augmented Reality (AR) verändert die Art der Interaktion mit virtuellen Informationen. Derzeit werden virtuelle Informationen getrennt von der realen Welt auf 2D-Bildschirmen angezeigt. Mit AR können virtuelle Inhalte direkt in die reale Welt eingebettet werden. Dies ermöglicht das Vor-Ort-Modellieren, wobei virtuelle Modelle im Kontext der realen Welt entworfen werden. In einer ersten Studie wird gezeigt, dass das Zeichnen auf physischen Objekten die Strichgenauigkeit im Vergleich zu Strichen auf virtuellen Objekten verbessert und dass Merkmale, die einen Strich durch eine konkave/konvexe Form oder durch eine visuelle Linie führen, die Genauigkeit weiter erhöhen. Die verbreitetste Form von AR ist Handheld AR, bei der virtuelle Informationen in das Kamerabild von alltäglichen Smartphones oder Tablets eingebettet werden. Jedoch ist die kontinuierliche Angabe einer 3D-Position, die z.B. für das Zeichnen in der Luft benötigt wird, in heutigen Systemen nicht direkt möglich. Das ARPen-System wird vorgestellt, welches Vor-Ort-Modellieren in Handheld AR mithilfe eines 3D-gedruckten Stiftes und eines gängigen Smartphones ermöglicht. Die wesentlichen Interaktionen für ein solches bimanuelles System sind noch nicht ausreichend entwickelt. Es werden Auswahl- und Manipulationstechniken zur Positionierung eines Objekts in der Luft entworfen und evaluiert. Darüber hinaus werden Menütechniken zur Steuerung von Objekteigenschaften in der Szene entwickelt. Es wird gezeigt, dass RayCasting-Techniken, insbesondere durch die Stiftspitze, gut funktionieren. Auch die Interaktion über den Touchscreen oder Kombinationen aus Touchscreen- und Stift-Eingabe erzielen vielversprechende Ergebnisse. Um Wahrnehmungsprobleme bei der Bestimmung der Tiefe von virtuellen Objekten in Handheld AR zu überwinden, werden Tiefenvisualisierungen entworfen, die die Position der Stiftspitze in Relation zu anderen Objekten in der Szene zeigen. Eine Heatmap-Visualisierung, die jedes Objekt in der Szene in Abhängigkeit von seinem Abstand zur Stiftspitze einfärbt, erzielt die besten Ergebnisse und wird von den Studienteilnehmern bevorzugt. Das ARPen-System wird als eine Open-Source-Toolbox veröffentlicht, die es ermöglicht, Interaktionstechniken für Handheld AR mit einem Mid-Air-Stift zu implementieren und zu evaluieren. Die erzielten Erkenntnisse über wesentliche Interaktionstechniken bieten einen Ausgangspunkt für die Entwicklung und Evaluierung von spezialisierten Anwendungsszenarien.

Einrichtungen

• Fachgruppe Informatik [120000]
• Lehrstuhl für Informatik 10 (Medieninformatik und Mensch-Computer-Interaktion) [122710]