multitouch for immersive environments

this week my student jens finished his diploma at h-da and igd. he developed a multitouch table and software for navigation through immersive vr environments. as multitouch technology has become a standard technology and everyone is able to build a table it’s the applications that matter now.

together we created a very straight interaction concept for navigating and evaluating virtual architecture visualizations. the movement in the virtual space becomes cinematic when using two fingers for movement, orientation and lookat at the same time.

the setup consits of a table installation in front of igd‘s 18 megapixel heyewall. content is a 3d architecture visualization of messe frankfurt’s new building. on the table there is a bird view of the area. tracking is done by harald’s visionlib blobdetection. it communicates with instant player (X3D) via TUIO protocol.

pointing with a finger on a spot let’s the camera fly to the point in the 3d scene. moving with the finger moves the camera. with a second finger the orientation of the camera is set. by pointing on a certain building the camera will look at it. by pointing with the second finger on a building and moving the first finger around it the camera moves around it while looking at it.

multitouch_immersive_01.jpgmultitouch_immersive_02.jpg
multitouch_immersive_03.jpgmultitouch_immersive_04.jpg

Project summary

tutorials, tutorials, tutorials..

finally we put instant reality’s tutorial section online. i wrote several tutorials about instant player’s interface, arduino / serial communication,  marker tracking, apple’s sudden motion sensor, java in x3d, followers and dampers, etc..

together with don brutzman’s x3d book this could be a turning point for x3d development. in the last years x3d was a hidden mystery documented by the web3d specification. only a closed circle of people was able to read and understand the spec. a kind of x3d geheimbund. i learned it from our developers in the institute. my students learned it from me. like in joseph weizenbaum’s modern cathedrals of science.

i am teaching x3d in my master course’s “augmented reality” module, too.

instant player public beta 1 released

yesterday the public beta 1 of instantplayer has been released. it is now available for all platforms (os x, linux, windows), which is unique for x3d compatible software. i don’t mind anymore on which platform my applications will run..

the main new features for me are the visionlib marker tracking and the native apple’s sudden motion sensor. the wiimote backend did not make it in this release. i hope it will be included in beta 2 in august.

i wrote a lot of tutorials and examples for this release. they will be published early next week on the instantreality website. the software is part of my master’s course augmented reality module where i am teaching technology strategies for designers.

visionlib.jpg

this semester’s classes

the new semester already started two month ago. i am giving two classes this semester:

master class – technologies
the master studies “information design” at the university of applied sciences wuerzburg just started this semester. in my class students are learning about advanced technologies and to demystify them. there are four modules:
– data structures: how find and visualize realtime data
– virtual worlds
– augmented and mixed reality
– experimental interfaces: electronics, sensors, etc

http://gestaltung.fh-wuerzburg.de/blogs/master

museum 2.0
i am giving this class together with prof. erich schoels. we decided to join our two courses this semester. the first concepts are looking very promising:

http://gestaltung.fh-wuerzburg.de/blogs/museum_20

design digital – neue wege in der elektroniktronischen informationsvermittlung

gestern trafen sich ehemalige digitale der fakultaet gestaltung der fh wuerzburg, um ihre damaligen diplomarbeiten und ihre aktuellen arbeiten zu zeigen. philipp heidkamp, didier stricker und joachim sauter hielten vortraege zum thema.

design_digital.jpg

marco formulierte es ganz gut: sauters vortraege sind immer immens inspirierend, aber auch zugleich ein wenig frustrierend.

in einem zitat von sauter fand ich mich bestaetigt: “man muss es nur ausprobieren, dann funktioniert es doch.”

fuer die studenten ist ein solche veranstaltung immens wichtig. fuer unsere generation – die ausstellenden – war sauters besuch 2001 in wuerzburg der motivationsanschub unseres studiums.
design_digital_sauter_02.jpgdesign_digital_sauter_01.jpg

semesterausstellung wuerzburg

freitag und samstag fand die semesterausstellung der fakultaet gestaltung in wuerzburg statt. es gab viele digitale arbeiten dieses mal. drei diplome, arbeiten aus erich schoels “design for elderlies”, daniels processing tp, detlevs grundlagen und aus meinen “experimentellen interfaces”. nett, aber stoerend war der tangible sampler in der mitte des raums. durch den laerm konnte man sich leider nicht unterhalten.

viele ehemalige waren da: vera wieder zurueck in jena, yvonne aus chicago, dimitry aus muenchen, esther, etc.

Ausstellung_SS_06_11.jpgAusstellung_SS_06_10.jpg

Ausstellung_SS_06_06.jpgAusstellung_SS_06_05.jpg

Ausstellung_SS_06_04.jpgAusstellung_SS_06_03.jpg

Ausstellung_SS_06_02.jpg

experimentelle interfaces – sensitive environments

seit diesem semester halte ich an der fh wuerzburg im projektstudium den kurs “experimentelle interfaces”. im mittelpunkt steht die arbeit an frischen experimentellen interfaceideen abseits von desktop und point&click.

thema dieses semesters war “sensitive environments”. am freitag praesentierten die studenten ihre projekte in der villa.

marc nonnenmacher – bruchtestsimulator
selbst traeger des gruenen taekwondo guertels entwicklete marc ein simulations- und analysesystem für den sogenannten bruchtest. dabei zerschlaegt man im idealfall mit der faust ein holzbrett.
das projekt besteht aus einer haptischen und visuellen komponente. der benutzer schlaegt auf die schaumstoffdecke einer schwarzen box. der integrierte seilzugpotenziometer eines playstation gametrak systems liefert die positionsdaten der faust an die visualisierung in processing.
die projektion zeigt ueber ein fadenkreuz die position der faust, eine tachonadel die geschwindigkeit beim einschlag und eine darstellung des schlagverlaufs.
das projekt wurde mit processing, arduino und komponenten eines playstation gametrak device realisiert.

bruchtest_01.jpgbruchtest_02.jpg

peter woelfel – skylift
eames “power of ten” ist die vorlage fuer dieses projekt. peter simuliert einen flug von der erde bis ins all. die hoehenposition definiert dabei der benutzer ueber die positionierung einer fahne ueber einer google earth bodenprojektion. verschiedene visualisierungen stellen die aktuelle hoehe in beziehung zu strecken und gebaeudehoehen dar. besonders spannend ist die haptische vermittlung der temperatur der luftschichten ueber ein peltierelement.
skylift wurde mit processing, google maps daten und arduino umgesetzt. das tracking basiert auf reactivision.

skylift_01.jpgskylift_02.jpg

fabian goetz – nightlife
nightlife ist eine mososo informationssystem fuer party-locations. dabei werden die locations als verortete figuren auf einem mobiltelefon dargestellt. ihre erscheinung steht fuer die aktuelle musikrichtung, ihr verhalten und ihre bewegung spiegeln die besucherzahl wider.
ein server in den clubs registriert bluetoothfaehige telefone von besuchern. bekannte telefone werden entsprechend als freunde dargestellt.
die anwendung wurde mit processing mobile und der bluetooth api realisiert.

nightlive_01.jpgnightlive_02.jpg

anja – virtuelles pflanzenwachstum in erweiterter realitaet
ein lindenmayer system simuliert das wachstum einer virtuellen pflanze. die parameter werden dabei ueber externe sensoren erfasst. ueber eine reale gieskanne wird der wasserhaushalt gesteuert, ein piezo element wandelt puste in co2 und ein photowiderstand misst die helligkeit im raum und steht fuer das sonnenlicht.
die installation besteht aus einem mit erde gefuellten blumentopf, ueber den die virtuelle pflanze projiziert wird. jede neue pflanze hat ihre ganz eigene form, je nachdem wie man sie aufzieht.
das projekt wurde mit processing und arduino realisiert.

virtuelle_pflanze_02.jpgvirtuelle_pflanze_01.jpg

am 20. und 21. juli werden die arbeiten waehrend der semesterausstellung des fachbereichs gestaltung im wiso gebaeude der fh wuerzburg ausgestellt.