Interaktive Videoprojektion

[BSE Royal]

Ich hoffe der Beitrag passt von der Thematik in die CL- ansonsten bitte einfach verschieben.

Ich suche ganz dringend, für meine Fachprüfung in Neue Medien, Links oder Literaturverweise, die sich mit interkativer Videoprojektion bzw. (noch besser) Mehrfachprojektion befassen.

Sprich der Benutzer kann mit einer Videovorführung interagieren, auf welche Weise auch immer- per Bewegungserfassung, Ton über Mikro, Eingabe per Tastatur/Maus...

Die Projektion kann auch auf verschiedenen Ausgabekanälen erfolgen, also z.B. 3 Leinwänden über 3 Projektoren, wobei auf LW 2 Ergebnisse der Interaktion mit LW 1 gezeigt werden (könnten).

Knapp: Ich brauche Infos die sich einerseits mit Interaktivität bei Video/Bild ermöglichen und sinnvolle Verwendung von mehreren medialen Ausgabekanälen (Bild und/oder Ton) bei einer solchen Interaktiven Raumkonstruktion.

Die Links/Literaturtips können Deutsch, Englisch oder Französisch sein, mit anderen Sprachen kriege ich Probleme.

Ich hoffe das war verständlich. Wenn nicht, nachhaken.
Danke für Hilfe.

 

[Martin Schaefer]

Viele spannende Ansätze für eine Interaktion in Verbindung mit realem Videobild gibt es
im Bereich "Augmented Reality". Vielleicht schaust du dazu mal das Projekt DART an:
http://www.gvu.gatech.edu/dart/ (basiert auf Macromedia Director)
Ein komplettes aber ziemlich komplexes Toolkit, mit dessen Hilfe ein Mix aus realer Welt
und virtueller Welt erstellt werden kann.
Anwendungsgebiete wie so oft bei neuen Technologien im militärischen und medizinischen
Bereich. Dort jedenfalls ist die Forschung sehr aktiv. Andere Anwendungsgebiete wie immer
eine Sache der persönlichen Phantasie.

Weitere Interaktionsmöglichkeiten findet man natürlich auch bei voraufgezeichnetem
Videomaterial. Das kann einerseits z.B. Marker (Cuepoint) - basiertes Navigieren zwischen
einzelnen Videosequenzen sein, aber auch deutlich komplexer über Datenhandschuhe,
Bewegungserkennung am Kopf oder gar eine Analyse von Videobild bzw. Audio.

Multi-Display-Anwendungen mit einer einfachen Interaktivität könnte ich mit z.B. bei
Panorama-Installationen vorstellen. 3 Displays zewigen das Bild von 3 Live-Kameras und
zeigen dir ein Landschafts- oder Stadt-Panorama. Drehst du den Kopf nach links, so fängt
der Mast mit den 3 Kameras an, sich ebenfalls langsam nach links zu drehen. So ist ein
Panorama-Sichtfeld von z.B. 100 Grad möglich, in dem du dich dennoch um 360 Grad drehen kannst.

Weitere Ideen sind insbesondere bei Live-Video leicht zu finden, denk ich mal.
Bei voraufgezeichnetem Video wird für eine Interaktion immer entweder ein großer
Pool einzelner Videosequenzen mit einer puzzle-artigen Struktur nötig sein, oder aber
das Video muss duch andere Medien "ergänzt" werden, wie es beispielsweise die
anfangs erwähnte "Augmented Reality" macht.

Gruß
Martin

 

[BSE Royal]

Hallo Martin,
danke dir erst einmal für deine Antwort, da finden sich sicherlich ein paar Sachen, die ich weiter führen kann.

Hast du evtl. noch ein paar Stichworte wie "Augmented Reality", nach denen man effektiv Suchen kann?

Darüber hinaus, kennst du evtl. auch noch Quellen, die das Thema "akustische Steuerung" behandeln?
Also, z.B. eine Directorapplikation durch Eingabe bestimmter gesprochener Begriffe zu steuern?

Bei den ganzen Infos kommt es nicht zwingend drauf an, dass sie für einen Studenten umsetzbar sind (wäre natürlich schön).
In erster Linie gehts gerad erst mal nur um das Erforschen generell bestehender Möglichkeiten für meine Fachprüfung.

lg, Philip

 

[Martin Schaefer]

Hi nochmal,

also bzgl. Sound könntest du z.B. über Fast Fourier Transformation bestimmte
Frequenzmuster erkennen und diese dann für beliebige Methoden verwenden.

Director beispielsweise bietet das über das Xtra asFFT
http://www.as-ci.net/asFFTXtra/index.html

Hier kannst du Live Sound Input analysieren und so bestimmt auch die Anwendung
auf ein paar Stichworte "trainieren", indem du sie in einem Trainingsmodus einsprichst
und Director die so generierten Muster z.B. mit einer gewissen Toleranz für eine einfache
Spracherkennung verwendet.

Andere Soundsteuerungen lassen sich z.B. durch Cuepoints in Audiodateien realisieren
oder aber z.B. indem du bei einer normalen Audiokarte den linken Kanal des Eingangs
für Monosound (falls Audio-In benötigt wird) nutzt und auf den rechten Kanal z.B. wie eine
Art Pilotton-Kanal, auf den du aus anderen Geräten oder vielleicht auch an bestimmten
Stellen des Raumes positionierte Mikrofone legst. Über das asFFT Xtra kannst du Pegel
und Frequenz erkennen und für Interaktion nutzen.

Mehr fällt mir spontan nicht ein.

Gruß
Martin