VVVVaveforms 2017

October 4, 2017 Felix Rauchwarter

VVVVaveforms ist eine Echtzeit-Musikvisualisierung, die verschiedene Eigenschaften von Klang in Echtzeit interpretiert und darstellt. Es besteht aus insgesamt vier Ebenen. Die erste Ebene ist der Mittelpunkt des Projekts und zeigt eine Frequenzdarstellung des Audiomaterials. Hierzu wird der anliegende Klang analysiert und in sechs Frequenzbereiche unterteilt. Diese werden von sechs Blöcken (Quads) dargestellt. Die Blöcke reagieren auf die Schallenergie, die in dem jeweiligen Frequenzbereich aktuell vorhanden ist und werden dementsprechend in der Y-Achse skaliert. Die sechs Blöcke sind oben und unten durch Linien verbunden, um die Zusammengehörigkeit visuell zu unterstreichen.

Um auch den Zeitbereich darzustellen, wird die Waveform beider Audiokanäle dargestellt. Aus ästhetischen Gründen wird die Wellenform durch einen Animationsfilter geschickt, der die Werteänderungen leicht verzögert und für das Auge besser nachvollziehbar macht.

Eine abstraktere Visualisierung des Audiosignals kommt aus einem Scopespread, dessen Output ein Line Objekt kontrolliert. Reaktiv auf das Audiosignal ist der Spread, da er das RMS-Level des Signals abgreift und dadurch den Wideness-Parameter des Line-Objekts kontrolliert. Auch hier gibt es jeweils eine Darstellung beider Audiokanäle.

Die Farbgebung der Scopespread-Lines sowie der Blockdarstellung kann mittels der Leap-Motion-Kamera gesteuert werden. Hier wird die Farbe jedes Line-Objekts mit der seitengleichen Hand gesteuert. Die Farbgebung der Blöcke ist eine Mischung der beiden Farbsignale. Die Farben werden durch die Palm Position der erfassten Hände ermittelt, wobei Bewegungen in X- bzw. Y-Achse unterschiedliche Farbparameter beeinflussen.

FH St. Pölten – Thomas Böck & Felix Rauchwarter

Eine Produktion der Fachhochschule St.Pölten
Lehrveranstaltung Modulare Medienprogrammierung 
Masterstudiengang Digitale Medientechnologien 
LV Leitung: Matthias Husinsky

audio, interactive, visuals