I mit kandidatspeciale undersøgte jeg, hvordan lys, vibration og lyd kan få mennesker til at opleve en kugle, der bevæger sig inde i en fysisk prototype – selv om kuglen ikke findes.
Specialet begyndte med et lille forsøg med en NeoPixel-ring og en bevægelsessensor. Det endte som et selvstændigt Research through Design-projekt med seks fysiske prototyper, laboratorieforsøg, programmering, elektronik og to brugerundersøgelser.
Hvorfor er haptisk feedback interessant?
Haptisk feedback er information, vi modtager gennem følesansen. Det kan være telefonens korte vibration, når man skriver, modstanden i en spilcontroller eller et rat, der advarer føreren. Hvor en skærm kommunikerer gennem synet, kan en haptisk løsning kommunikere gennem vibration, tryk, kraft og bevægelse.
Det er interessant, fordi interaktion ikke altid behøver at kræve vores blik. Haptisk feedback kan bruges til advarsler, navigation, tilgængelighed, træning, simulation og digitale oplevelser, hvor noget skal føles nærværende. Den kan støtte syn og lyd, men den kan også formidle information, når en skærm er upraktisk eller tager for meget opmærksomhed.
I specialet var jeg særligt optaget af, hvor meget oplevelse man kan skabe med forholdsvis enkel teknologi. Det er let at forestille sig, at en troværdig oplevelse af en kugle kræver en mekanisk kugle eller et system, der fysisk flytter vægt. Men måske kan hjernen selv udfylde noget af det, der mangler, hvis lys, lyd, bevægelse og vibration passer til hinanden.
Det kaldes en pseudo-haptisk illusion: En visuel eller multisensorisk påvirkning ændrer den måde, en fysisk påvirkning opleves på. Det interessante er derfor ikke kun, hvor kraftigt en motor vibrerer. Det afgørende er, om alle signalerne tilsammen giver mening for brugeren.
En kugle, der ikke findes
Idéen opstod, mens jeg eksperimenterede med en LED-ring koblet til en ESP32. Jeg programmerede lyset til at bevæge sig rundt i ringen, når den blev vippet. Først var det blot en afprøvning af komponenterne, men lyset begyndte hurtigt at ligne en lille kugle, der trillede langs kanten.
Da andre prøvede ringen, sagde de, at de kunne mærke, hvor lyset befandt sig. Det undrede mig, fordi konstruktionen ikke kunne flytte vægt rundt i ringen. Oplevelsen måtte derfor opstå i mødet mellem synet, bevægelsen og brugerens forventning om, hvordan en kugle opfører sig.
Det blev til specialets spørgsmål: Hvordan kan man skabe overbevisende interaktive illusioner ved hjælp af lys og haptisk feedback?
I den første brugerundersøgelse afprøvede fem personer fire forskellige prototyper. Testen kombinerede observation, usability-test, semistrukturerede interview og et vurderingsskema. Jeg fortalte ikke på forhånd, at prototyperne skulle forestille en kugle. På den måde kunne jeg høre deltagernes egne associationer i stedet for blot at få min forklaring gentaget.
Flere deltagere beskrev noget, der bevægede sig, rullede eller ændrede vægt. Oplevelsen var ikke lige tydelig i alle prototyper. Nogle kombinationer af form, lys og vibration virkede bedre end andre, og især upræcis timing kunne få oplevelsen til at falde fra hinanden.
Den afsluttende undersøgelse blev gennemført med prototype 5 og 11 deltagere. De prøvede først prototypen med lukkede øjne, derefter med åbne øjne og til sidst igen med lukkede øjne. Alle 11 beskrev vibration eller bevægelse med lukkede øjne. Ti bemærkede lyset eller en visuel ændring med åbne øjne, og otte beskrev en ændret perception, da de lukkede øjnene igen.
Nogle beskrev en kugle eller noget, der rullede. Andre oplevede, at noget trak i hånden, skubbede eller ændrede vægt. Flere fastholdt oplevelsen, efter at de havde set lyset bevæge sig. Det visuelle indtryk havde med andre ord været med til at forme den efterfølgende taktile oplevelse.
Undersøgelserne var små og eksplorative. De dokumenterer ikke, at alle mennesker vil opleve illusionen på samme måde. De gav derimod et konkret materiale til at forstå, hvordan forskellige sanseindtryk kan forstærke, svække eller ændre hinanden.
Research through Design – at undersøge ved at bygge
Research through Design, ofte forkortet RtD, er en tilgang, hvor man udvikler viden ved at designe, konstruere og undersøge prototyper. Prototypen er ikke kun et tidligt forslag til et produkt. Den er også et redskab til at stille spørgsmål med.
Det passede til projektet, fordi jeg ikke på forhånd kendte den rigtige kombination af form, komponenter, bevægelsesmodel og haptisk feedback. Jeg kunne læse om haptik, perception og elektronik, men jeg kunne ikke tænke mig frem til, hvordan netop denne illusion ville føles i hånden. Der måtte bygges noget, som mennesker kunne reagere på.
Arbejdet fulgte derfor en gentaget bevægelse:
- Byg en prototype, der undersøger et afgrænset spørgsmål.
- Afprøv dens tekniske opførsel og dens oplevede kvaliteter.
- Observer problemer og uventede reaktioner.
- Juster konstruktionen eller udvikl en ny prototype.
- Sammenhold erfaringerne med teori og tidligere forsøg.
Hver prototype fungerede som et filter. Den lille ring undersøgte den grundlæggende forbindelse mellem lys og vibration. Den store ring gjorde skala og materialemasse tydelig. Den lineære form gjorde acceleration, friktion og kollision lettere at undersøge. Den fjernstyrede prototype afprøvede, hvad der sker, når håndbevægelsen og den synlige effekt adskilles.
RtD gav også plads til de uventede fund. Illusionen var selv opstået som en uventet observation. Senere opstod der nye spørgsmål, fordi vibrationer forstyrrede sensoren, krydsfineren dæmpede motorerne, og testpersonerne oplevede mere vægt, end prototypen fysisk kunne skabe.
Hvorfor ikke bare Design Thinking?
Design Thinking og Research through Design er ikke modsætninger, men de bruges ofte med forskelligt formål.
Design Thinking tager typisk udgangspunkt i et menneskeligt behov eller et problem, som man vil udvikle en anvendelig løsning på. Man undersøger brugere, formulerer problemet, udvikler idéer, bygger prototyper og tester dem. Tilgangen er velegnet, når målet eksempelvis er at forbedre en tjeneste eller udvikle et produkt til en bestemt målgruppe.
Mit speciale begyndte et andet sted. Jeg havde ikke en kunde eller en på forhånd defineret anvendelse, som skulle løses. Jeg havde observeret et mærkeligt fænomen og ville forstå det bedre: Hvorfor kunne mennesker mærke en bevægelse eller vægt, som teknologien ikke fysisk skabte?
Derfor var hovedopgaven ikke at finde den bedste løsning til et fast problem. Den var at udvikle viden om sammenhængen mellem prototype, teknologi og perception. RtD gav mulighed for, at selve forskningsspørgsmålet kunne blive mere præcist, efterhånden som prototyperne gav modstand og testpersonerne reagerede.
Der er stadig elementer, som minder om Design Thinking: Jeg arbejdede iterativt, inddrog mennesker og ændrede designet på baggrund af undersøgelser. Forskellen ligger især i formålet. Prototyperne skulle først og fremmest hjælpe med at forstå et fænomen; de skulle ikke ende som et markedsklart produkt.
Hvordan virker illusionen?
Prototype 5 kan forklares som en kæde af syv handlinger:
1. Brugeren holder en lang, let prototype og vipper den. 2. En MPU-6050-sensor registrerer hældningen. 3. ESP32’en beregner, hvordan en tænkt kugle ville accelerere og bevæge sig. 4. Et lys flytter sig langs LED-striben og viser kuglens position. 5. En vibrationsmotor giver små taktile signaler under bevægelsen. 6. En solenoide skaber et tydeligt slag, når den tænkte kugle rammer en ende. 7. Brugeren hører, ser og mærker signalerne, mens hånden samtidig registrerer prototypens hældning.
Hjernen forsøger at samle signalerne til én forståelig hændelse. Når lyset accelererer nedad, vibrationen følger bevægelsen, og slaget kommer præcis ved enden, er en rullende kugle en nærliggende forklaring. Hvis signalerne kommer på forkerte tidspunkter, eller bevægelsen ikke passer til hældningen, bliver illusionen mindre overbevisende.
Der flyttes ingen fysisk kugle og ingen vægt frem og tilbage. Oplevelsen opstår gennem en koordineret kombination af visuel, auditiv, taktil og proprioceptiv information. Proprioception er kroppens fornemmelse af stilling og bevægelse – i dette tilfælde hvordan hånden holder og vipper prototypen.
Komponenter og programmering
Prototyperne blev bygget af forholdsvis tilgængelige komponenter, men deres funktion ændrede sig gennem projektet:
- ESP32: Microcontrolleren læste sensordata og styrede lys, timing og motorer. I den fjernstyrede prototype kommunikerede to ESP32-enheder trådløst.
- MPU-6050: Et modul med accelerometer og gyroskop, som registrerede prototypens hældning og bevægelse.
- NeoPixel-ringe og LED-strips: Visualiserede den tænkte kugles position og bevægelse.
- Vibrationsmotorer: Skabte løbende taktil feedback, men kunne også forstyrre sensorens målinger.
- Solenoide: Gav prototype 5 et kraftigere og mere præcist slag ved banens ender.
- Motorstyringsmoduler: Gjorde det muligt at styre aktuatorer, som krævede mere strøm, end ESP32’en kunne levere direkte.
- Diode og ekstern strømforsyning: Beskyttede kredsløbet og adskilte motorernes strømforbrug fra microcontrolleren.
- Fritzing: Blev brugt til at tegne og dokumentere kredsløbene.
Koden blev skrevet i Arduino/C++. Den begyndte som en enkel forbindelse mellem hældning og lysets position, men udviklede sig til en bevægelsesmodel med acceleration, dynamisk friktion, inerti, kalibrering, filtrering af sensorstøj og kollisionsfeedback. Python blev brugt til datavisualisering fra den første undersøgelse.
Hvorfor var prototyperne vanskelige at udvikle?
Det er hurtigt at få et lys til at flytte sig på en LED-strip. Det svære er at få bevægelsen til at føles som en kugle.
Sensoren leverede ikke rene og stabile tal. Små udsving kunne få lyset til at hoppe, selv når prototypen blev holdt stille. Derfor måtte data filtreres og kalibreres. Samtidig skabte vibrationsmotorerne netop de rystelser, som bevægelsessensoren reagerede på. Den haptiske effekt kunne altså forstyrre det målesystem, der skulle styre effekten.
Bevægelsesmodellen krævede også mange afvejninger. Et lys, der straks placerer sig i det laveste punkt, ser ikke ud som en rullende kugle. Kuglen skulle accelerere, bevare noget inerti og langsomt miste fart. Ved små hældninger skulle den være kontrollerbar, mens større hældninger skulle give mere fart. Et hårdt slag ved enden skulle kunne mærkes, uden at de løbende vibrationer brugte al motorens kraft.
Materialerne havde deres egen indflydelse. Den store LED-ring blev monteret på en krydsfinerplade. Det gjorde prototypen mere stabil, men pladens masse absorberede vibrationerne. En teknisk forbedring ét sted kunne derfor forringe oplevelsen et andet sted.
Kraftigere motorer gav nye elektriske problemer. De kunne ikke forsynes direkte fra ESP32’en, og fejlkobling kunne beskadige microcontrolleren eller computerens USB-port. Derfor blev der arbejdet med separat strømforsyning, motorstyringsmoduler og beskyttende komponenter.
Den fjernstyrede prototype tilføjede endnu et lag. Brugerens håndtag og den lange LED-strip skulle udveksle data trådløst. Systemet skulle kunne kalibreres, opdage en mistet forbindelse og finde den anden enhed igen. Samtidig måtte lyset forsinkes en smule, fordi en helt direkte bevægelse føltes voldsom og ukontrolleret på afstand.
Prototype 6 skulle føre de kraftigere haptiske effekter tilbage til den cirkulære form. Her valgte jeg et nyt sensormodul med magnetometer, men modulet gav ustabile målinger og viste sig vanskeligt at få til at fungere. Prototypen blev ikke færdig.
Det var ikke en elegant afslutning, men det var relevant viden. Problemet kunne ikke løses ansvarligt ved bare at justere videre uden en klar fejlkilde. I stedet måtte jeg afgrænse forsøget og bruge den fungerende prototype 5 som grundlag for den afsluttende undersøgelse.
Seks prototyper som én sammenhængende undersøgelse
De seks prototyper var ikke seks forslag til forskellige produkter. De var seks skridt i den samme undersøgelse:
1. Den lille ring etablerede den første illusion. 2. Den store ring undersøgte skala, visuel opløsning og materialemasse. 3. Den lineære strip gjorde bevægelsesmodellen mere tydelig. 4. Den fjernstyrede prototype afprøvede afstand, kontrol og trådløs kommunikation. 5. Den lineære pind tilføjede kraftigere og mere præcis haptisk feedback. 6. Den sidste cirkel undersøgte, om forbedringerne kunne overføres, men blev stoppet på grund af sensorproblemer.
Arbejdet endte med en prototype, hvor flere deltagere oplevede en bevægende kugle og en vægtforskydning, som konstruktionen ikke fysisk rummede. Det mest interessante resultat var derfor ikke en bestemt komponent. Det var samspillet mellem bevægelsesmodellen, lyset, lyden, de haptiske signaler og brugerens egen perception.
Projektfakta: Individuelt kandidatspeciale, cand.it. i Digital Design og Interaktive Teknologier, IT-Universitetet i København, 2024. Specialisering i interaktionsdesign. Seks fysiske prototyper, ekspertfeedback, laboratorieforsøg og to brugerundersøgelser. Metoder og teknologier omfattede Research through Design, Constructive Design Research, ESP32, Arduino/C++, Python, sensorer, LED, haptiske aktuatorer og elektronik.
Seneste kommentarer