pixiebubbles – mobile image based sequencer

pixiebubble ist eine anwendung fuer mobiltelefone, bei der bilder in tonsequenzen umgesetzt werden. man schiesst mit der kamera im telefon ein bild, dessen pixel in bubble sounds widergegeben werden. pitch und tonlaenge richten sich nach dem hsb wert des pixels. das bild wird dabei auf eine 8×8 matrix reduziert.

im naechsten schritt wird man die toene selbst mit dem telefon samplen koennen. die java media api des k750i unterstuetzt dieses feature leider nicht. deswegen muss dafuer ein neues telefon her.

pixiebubble wurde mit processing mobile 0005 und der mvideo api umgesetzt.

pixiebubble is an application for mobile phones where images are processed into sound sequences. pixels of a photo shot with the phones camera are translated into bubble sounds. pitch and length of the tones are defined by the hsb values of a pixel. the image is scaled to a 8×8 matrix.

the next step will be live sampling of sounds instead of using prerecorded ones. unfortunately the java media api of the k750i does not support this feature. i need a new phone.tent/u

pixiebubble was realized with processing mobile and the mvideo api.

pixiebubbles.gif

video mp4

source code for processing mobile

bubble mirror

ich habe nun endlich mit meinem bubble mirror die heyewall am igd bezwungen. am ende scheint es ganz leicht gewesen zu sein den cluster aus 48 rechnern zu beherrschen. man muss nur die richtigen scripte der passenden version in der richtigen reihenfolge aufrufen. der kampf erinnert mich an mein derzeitiges lieblingsspiel “shadow of the colossus“.

der bubble mirror entspringt einer reihe von projekten rund um information bubbles. es ist ein reaktives experiment vor einem hochaufloesenden display (18 megapixel). die silhuetten der person vor dem spiegel wird als ansammlung aufsteigender wasserblasen interpretiert. durch die realistische physik simulation des partikel systems der darunter liegenden software avalon, entsteht eine zeitverzoegerung des imitierten bildes. posen der vergangenheit steigen als luftblasen auf und irritieren den besucher.

tritt man nahe heran, sieht man sich in den einzelnen luftblasen spiegeln. avalons partikelsystem macht es moeglich das videobild per shader auf die geometrien der blasen zu mappen und hunderttausende videomirror gleichzeitig auf 48 beamern darzustellen.

finally i defeated the heyewall at the igd by realizing my bubble mirror project. in the end it seems easy to controll the 48 pc cluster. one has only to call the right scripts at the right time. it remembers me of my favorite game “shadow of the colossus“.

the bubble mirror is part of a series of projects about information bubbles. it is a reactive experiment in front of a large high resolution display (18 megapixels). the silhuette of a person in front of the mirror will be interpreted in sparkling bubbles in liquid. because of the realistic physics of the particle system of the underlying software avalon the bubble image is time shifted. poses of the past are sparkling and irritating the visitor.

close to the display the visitor sees himself mirroring in the bubbles. avalon’s particle system makes it possible to map shaders of the video on the bubbles and displaying hundred thousands of video mirrors simultaneous in real time.

bubble_mirror_01.jpgbubble_mirror_02.jpgbubble_mirror_03.jpgbubble_mirror_04.jpg

bubble mirror video (mp4)

plateau interface

christian und ich haben heute das “segway interface” fertig gebaut. ein plateau auf dem man durch neigen des koerpers navigiert. wir haben es fuer seine vr architektur evaluation – einem usability test fuer virtuelle architektur – gebaut.

zwei mdf-platten, ein gummi schlauch, ein gamepad und viel heisskleber. die analogsticks des gamepads dienen als winkelmesser, in dem sie mit einer metallstange verlaengert und an zwei seiten der platten geklebt werden. so kann fuer die vor/zurueck- und links/rechtsbewegung der winkel abgelesen werden. simple..
unter die oberste platte werden vie beiden vibrationsmotoren geklebt um haptisches feedback zu uebertragen.

in der software muessen nur die werte der analog sticks (0-1) ausgelesen werden und auf die bewegung uebertragen werden. screenshots folgen..

today christian and me finished the “segway interface”. an interaction device where the user has to move an lean his body to navigate. we build it for his architecture evaluation project – a usablity test for virtual architecture models.

it is build of two mdf panels, a rubber tire, a gamepad and a lot of hot glue. the analogue sticks of the gamepad work as angular encoders. they angles have been increased by extending them with a metal bar. they sit on two sides of the panel in order to read left/right and forward/back movements of the user. simple..
to get a haptic feedback the two vibration motors of the gamepad sit under the upper panel.

in the software one has only to read the values of the analog sticks (0-1) and map them on the movement. screenshots ar coming soon.

plateau_01.jpgplateau_04.jpg
plateau_03.jpg

Gamesnight Performance

gerade habe ich videos unseres auftritts bei der ars electronica gamesnight 2004 gefunden. dan und ich haben statistiken in computerspielen gezeigt und dafuer ein intro in quake 3 gestaltet. denn geplant war, das wir voellig aus dem off als characters in game engine auftreten.ich hatte dafuer reduzierte quake models aus fotografien von dan und mir erstellt. waehrend der praesentation rannten wir durch eine virtuelle welt aus schlagworten und ausschnitten.

das konzept fuer den virtuellen auftritt stammte noch von der ausstellung innen|aussen.

performance_jin.jpgperformance_em.jpg

performance_jin.mp4
performance_em.mp4

MapChair

die idee entstand in einem gespraech mit christian. ich weiss nicht mehr genau wie es kam, aber am ende standen schlagworte wie “da drueckts” im zusammenhang mit einem jacobsen stuhl im raum.

negative nachrichten sollen haptisch erfahrbar dargestellt werden. ueber eine weltkarte aus einer matrix von feedback komponenten: aktuatoren, vibrationsmotoren, elektroshocker oder peltier elemente. der teil der erde, an dem negatisches geschieht, gibt ein haptisches feedback auf den ruecken des sitzenden. er bekommt eine raeumliche vorstellung des leidens und nimmt daran teil.

komponenten:
copal virbrationsmotoren
peltier element
etc

das projekt gehoert in die arbeitsreihe “statistical environments”, in der alltagsgegenstaende zu echtzeit-informationsdarstellungen werden.

MapChair_02_s.jpgMapChair_03_s.jpg

statistiken in computerspielen 2.0

daniel und ich werden unser projekt statistiken in computerspielen wieder angehen. wir hatten es 2003 als visualisierung von suchmaschinendaten auf der basis von quake 3 entwickelt. 2004 gab es einen page artikel darueber und wir waren zur gamesnight des ars electronica festivals (pdf) damit eingeladen.

damals analysierten wir daten von live-suchmaschinen, kategorisierten diese und stellten das ergebnis als bevoelkerte landschaften in quake 3 dar. heute stellt zum glueck fast jede website und jeder dienst einen rss feed zur verfuegung.

zusammen mit meinem bubble-display und bubble-mirror – einem physikalischen display aus aufsteigenden luftblasen in fluessigkeit – werden wir in der ersten phase del.icio.us bookmarks in echtzeit als dotmatrix typografie luftblasen darstellen. die kategorien werden zusaetzlich ueber eine rgb diode farblich codiert.

die kategorien bleiben die selben:
politics: http://del.icio.us/tag/politics
economics: http://del.icio.us/tag/economics
sports: http://del.icio.us/tag/sports
nature: http://del.icio.us/tag/nature
computer: http://del.icio.us/tag/computer
porn: http://del.icio.us/tag/porn