Let´s play! Die Sonifikation des Spielens

October 2, 2012 Markus Haas and Mathias Kronfuss

Let's Play TITLE

Ziel des Projektes war es eine Spielfläche zu schaffen, auf welcher die Bewegungen von Spielzeug durch Sound unterstützt werden sollen.Zum Beispiel: Ein Auto wird auf der Spieloberfläche getrackt, die Geschwindigkeit wird ermittelt und daran angepasste Sounds (Motorengeräusche, Bremsgeräusche) werden generiert.
Als Spielfläche dient eine Plexiglasoberfläche, welche möglichst entspiegelt werden sollteum Hotspots und damit Trackingfehler zu vermeiden. Unter der Oberfläche wird eine Webcam angebracht um Videotracking zu ermöglichen. Um die Videoerkennung zu erleichtern wird die Oberfläche von unten zusätzlich beleuchtet. Vorteilhaft wäre eine Kamera mit möglichst vielen FPS um weniger Bewegungsunschärfe zu erhalten.
Mithilfe von Reactivison war es uns möglich die Trackingdaten zu ermitteln und sie in Max6 zu implementieren. Getrackt werden dabei vorgegebene TUIO Symbole welche an der Unterseite des Spielzeugs angebracht wurden. Reactivision erkennt das TUIO Symbol und gibt die Werte auf der X- und Y-Koordinate, sowie den Winkel und die ID des TUIO Symbol an Max6 weiter.
Mit Hilfe der X- und Y-Werte war es uns möglich, mittels Vektorenrechnung die Distanz zwischen der aktuellen Position des Punktes und der vom vorhergehenden Frame . Die Distanz entspricht der Geschwindigkeit des Punktes. In den Buffer wird ein Sample geladen, welches hängt von der ID des TUIO Symbols ab. Das Sample wird mittels Groove Objekt dann abgespielt. Im Groove Objekt lässt sich die Abspielgeschwindigkeit des Samples einstellen. Damit keine extremen Werte verwendet werden, wird der Geschwindigkeitswert des Punktes auf einen vernünftigen Wert runtergerechnet (von 1 (normale Geschwindigkeit) bis 3 (dreifache Geschwindigkeit).
Ein weiteres Feature ist das Abspielen eines Reifenquietscher, der jedoch nur wiedergegeben wird, wenn der Punkt eine bestimmte Geschwindigkeit hat, und der Punkt sich um einen gewissen Winkel ändert.
Obwohl die Arbeitsbereiche aufgeteilt waren, griffen die verschiedenen Aufgaben in der Praxis ineinander über.

Betreuer: Jakob Doppler, Julian Rubisch

Markus Haas / mt101033 – Interaktionsdesign / 
Gestaltung der Benutzeroberfläche in MAX6

Matthias Jurkovicts / mt101047 – Bewegungserkennung
 / Implementierung von TUIO/reacTIVision in MAX6

Mathias Kronfuß / mt101054 – Sonifikation
 / Umwandlung von Interaktionsdaten in Sounds

, , , , , audio, interactive, topics