Crowdsounds

September 20, 2012 Johannes Gill, Konrad Milan and Marcus Schibler

Soundcrowds

Betreuer: Rubisch Julian und Doppler Jakob
Crowd Sounds. Projekt von Schibler Marcus, Milan Konrad, Kouba Valentin und Johannes Gill
Wir stellten uns die Frage, wie wir aus den Bewegungen einzelner oder mehrerer Personen Sound generieren könnten. Unsere Lösung ist es, die Positionen auf ein Spektogramm zu übertragen – das heißt: Zunächst müssen Personen gleichzeitig als Objekte erkannt und in ihrer Position verfolgt werden. Diese dynamischen Positionswerte bestehen, wie in einem Koordinatensystem, aus X und Y Werten. X steht für eine bestimmt Frequenz, Y für die dazugehörige Amplitude.
Als “Bühne” nutzen wir die Aula der Fachhochschule St. Pölten, welche wir von oben gefilmt haben.

1.Das Video wird gestartet und in ein Graustufenbild konvertiert. Anschließend wird das Bild in ein Schwarzweißbild mit einem definierten Threshold und Radius umgewandelt, um die Personen im Video tracken zu können.

2. Die Personen werden jetzt als Blops erkannt, diese haben einen X, Y und Flächenwert.
3. Diese Daten werden weitergegeben und dann durch eine IF-Abfrage gefiltert. Es werden im weiteren nur Blobs berücksichtigt, welche eine gewisse Fläche haben.

4. Ist ein Blob groß genug, wird ein Ton erzeugt. Ist ein Blob zu klein, stellt er meist nur einen einzelnen Fuß oder Kopf und nicht eine ganze Person dar – so werden doppelte Töne pro Person verhindert.

5. Der X-Wert wird für die Tonhöhe verwendet, der Y-Wert für die entsprechende Lautstärke.

6. Danach fügen wir noch ein Notenbild auf die Personen ein, die Koordinaten sind die selben wie die in der Tonerzeugung.

7. Aus Performancegründen verwenden wir nur fünf Töne und fünf Notenbilder. Das System ist aber beliebig erweiterbar.

, audio, interactive