Sphärdinand

October 5, 2017 Bernhard Gstrein

Sphärdinand

Steuerung eines 360° – Videos per Smartphone (via VVVV)

 

Teilaufgabe des Gruppenprojekts “Sphärdinand” für die LV “Interaction Design” war es, ein Smartphone als Controller für ein 360° – Video zu verwenden. Die beiden essentiellen Bausteine für diese Steuerung sind die Android-Apps “Hyper IMU” und “Kontrolleur”zum Auslesen mehrerer Sensoren zweier Smartphones und ein VVVV-Patch zur Weiterverarbeitung dieser Daten.

 

Funktionsweise:

 

Die Smartphones schicken Rotation und Eingaben des Touchscreens in einem permanenten Datenstream über WLAN an den PC. In VVVV werden aus diesem Stream aktuelle Rotations- und Touch-Koordinaten gewonnen.

Ein 360° – Video wird auf der Innenseite einer hohlen Kugel abgespielt, welche in VVVV generiert wurde. Innerhalb dieser Kugel befindet sich eine virtuelle Kamera, deren Blickrichtung von den Rotationsdaten aus dem Smartphone-Stream gesteuert wird.

Über den Touchscreen des zweiten Smartphones und die App “Kontrolleur” kann das Blickfeld variiert werden, es kommt also einer Zoom-Funktion gleich. Außerdem kann durch Schütteln des zweiten Smartphones, das nächste Video abgespielt werden.

Um eine ansprechende Ästhetik und Haptik gewährleisten zu können, wurden alle eingehenden Werte gefiltert, damit die Kamerabewegung so weich und flüssig wie möglich abläuft.

Die Ausgabe des fertigen Bildes, das die virtuelle Kamera sieht, erfolgt über einen gewöhnlichen Renderer-Node in VVVV und kann dementsprechend einfach auf Displays oder als Projektion dargestellt, sowie per Spout-Node in andere Applikationen (z.B. Resolume Arena) eingefügt werden.

 

Umgesetzt von Bernhard Gstrein

Eine Produktion der Fachhochschule St.Pölten
Lehrveranstaltung Modulare Medienprogrammierung 
Masterstudiengang Digitale Medientechnologien 
LV Leitung: Matthias Husinsky

, , , , interactive, mobile, video