Utforming av Augmented Reality-apper: Interaksjon med objekter

Når du planlegger å designe utvidet virkelighet-appen din, må du vurdere hvordan brukeren vil samhandle med objekter. Det meste av virtuell virkelighet (VR)-interaksjon foregår via en bevegelseskontroller, men de fleste hodesettbaserte enheter for utvidet virkelighet (AR) bruker en kombinasjon av blikk og håndsporing for interaksjon. Ofte bruker AR-headset blikkbasert navigasjon for å spore hvor en bruker ønsker å målrette mot elementer i miljøet. Når et element er målrettet, vil en bruker ofte samhandle med det elementet via håndbevegelser.

Som sådan må du designe AR-opplevelsen din for å holde brukerens hender innenfor hodesettets gjenkjenningsområde og arbeide med hvert hodesetts spesifikke sett med gester. Opplæring av brukeren om gjenkjennelsesområdet for bevegelser – og å varsle brukere når bevegelsene deres er nær grensene – kan bidra til å skape en mer vellykket brukeropplevelse.

Fordi denne måten å samhandle på er ny for nesten alle, er det viktig å holde interaksjoner så enkle som mulig. De fleste av brukerne dine vil allerede gjennomgå en læringskurve for samhandling i AR, for å finne ut bevegelsene for deres spesifikke enhet (fordi et universelt AR-bevegelsessett ennå ikke er utviklet). De fleste AR-hodesett som bruker håndsporing kommer med et standard sett med kjernebevegelser. Prøv å holde deg til disse ferdigpakkede bevegelsene og unngå å overvelde brukerne dine ved å introdusere nye bevegelser som er spesifikke for applikasjonen din.

Bildet nedenfor gir eksempler på de to kjernebevegelsene for HoloLens , "Air Tap" (A) og "Bloom" (B). En Air Tap ligner på et museklikk på en standard 2D-skjerm. En bruker holder fingeren i klarposisjon og trykker fingeren ned for å velge eller klikke på elementet som er målrettet via brukerblikket. "Bloom"-bevegelsen er en universell gest for å sende en bruker til Start-menyen. En bruker holder fingertuppene sammen og åpner deretter hånden.

Microsofts eksempel på en bruker som utfører en "Air Tap" (A) og en "Bloom" (B).

Å gripe et objekt i den virkelige verden gir en bruker tilbakemelding som følelsen av objektet, vekten av objektet i hånden, og så videre. Håndbevegelser laget for å velge virtuelle hologrammer vil ikke gi brukeren noen av denne standard taktile tilbakemeldingen. Så det er viktig å varsle brukeren om tilstanden til digitale hologrammer i miljøet på forskjellige måter.

Gi brukeren signaler om tilstanden til et objekt eller miljøet, spesielt når brukeren prøver å plassere eller samhandle med digitale hologrammer. For eksempel, hvis brukeren din skal plassere et digitalt hologram i 3D-rom, kan det å gi en visuell indikator bidra til å kommunisere til henne hvor objektet skal plasseres. Hvis brukeren kan samhandle med et objekt i scenen din, kan det være lurt å visuelt indikere det på objektet, og potensielt bruke nærhet for å varsle brukeren om at hun nærmer seg et objekt hun kan samhandle med. Hvis brukeren din prøver å velge ett objekt blant mange, marker elementet hun har valgt for øyeblikket og gi lydsignaler for handlingene hennes.

Dette bildet viser hvordan Meta 2 velger å vise denne tilbakemeldingen til brukeren. En sirkel med en ring vises på baksiden av en brukers hånd når han nærmer seg et interaktivt objekt (A). Når brukerens hånd lukkes til en knyttneve, blir ringen mindre (B) og trekker seg nærmere midtsirkelen. En ring som berører sirkelen indikerer et vellykket grep (C). En brukers hånd som beveger seg nær kanten av sensoren blir også oppdaget og flagget via en rød indikator og advarselsmelding (D).

Et skjermbilde av hodesettets visning av en Meta 2-dra-interaksjon.

Interaksjon med mobilenheter i AR-apper

Mange av designprinsippene for AR gjelder både hodesett og mobilopplevelser . Det er imidlertid en betydelig forskjell mellom den interaktive funksjonaliteten til AR-headset og mobile AR-opplevelser. På grunn av formfaktorforskjellene mellom AR-hodesett og AR-mobilenheter, krever interaksjon noen forskjellige regler.

Å holde interaksjoner enkle og gi tilbakemelding når du plasserer eller samhandler med et objekt er regler som gjelder både for hodetelefoner og mobile AR-opplevelser. Men det meste av interaksjon for brukere på mobile enheter vil skje gjennom bevegelser på berøringsskjermen til enheten i stedet for at brukere direkte manipulerer 3D-objekter eller bruker håndbevegelser i 3D-rom.

En rekke biblioteker, som ManoMotion , kan gi 3D-bevegelseshåndsporing og gestgjenkjenning for å kontrollere hologrammer i mobile AR-opplevelser. Disse bibliotekene kan være verdt å utforske avhengig av kravene til appen din. Bare husk at brukeren din sannsynligvis vil holde enheten i den ene hånden mens han opplever appen din, noe som kan gjøre det vanskelig å prøve å stikke den andre hånden inn foran et bakovervendt kamera.

Brukerne dine forstår sannsynligvis allerede mobilenhetsbevegelser som å trykke med én finger, dra, knipe og rotere med to fingre, og så videre. Imidlertid forstår de fleste brukere disse interaksjonene i forhold til skjermens todimensjonale verden i stedet for de tre dimensjonene til den virkelige verden.

Etter at et hologram er plassert i rommet, bør du vurdere å tillate bevegelse av det hologrammet i bare to dimensjoner, slik at det i hovedsak bare kan gli over overflaten det ble plassert på. På samme måte bør du vurdere å begrense objektrotasjonen til en enkelt akse. Å tillate bevegelse eller rotasjon på alle tre aksene kan fort bli svært forvirrende for sluttbrukeren og resultere i utilsiktede konsekvenser eller plassering av hologrammene.

Hvis du roterer et objekt, bør du vurdere å tillate rotasjon bare rundt y- aksen. Låsing av disse bevegelsene forhindrer brukeren i å utilsiktet flytte objekter på uforutsigbare måter. Det kan også være lurt å lage en metode for å "angre" enhver utilsiktet bevegelse av hologrammene dine, ettersom å plassere disse hologrammene i det virkelige verdensrommet kan være utfordrende for brukerne å få til riktig.

De fleste mobile enheter støtter en "klype"-interaksjon med skjermen for å enten zoome inn på et område eller skalere et objekt. Fordi en bruker er i et fast punkt i rommet både i den virkelige verden og hologramverdenen, vil du sannsynligvis ikke bruke denne gesten for å zoome inn AR.

På samme måte bør du vurdere å eliminere en brukers mulighet til å skalere et objekt i AR. En to-fingers klypebevegelse for skalering er en standard interaksjon for mobilbrukere. I AR gir denne skalabevegelsen ofte ikke mening. AR hologram 3D-modeller er ofte en bestemt størrelse. Det visuelle utseendet til størrelsen på 3D-modellen påvirkes av avstanden fra AR-enheten. En bruker som skalerer et objekt på plass for å få objektet til å se nærmere kameraet er egentlig bare å gjøre objektet større på plass, ofte ikke det brukeren hadde til hensikt. Pinch-to-scale kan fortsatt brukes i AR, men bruken bør vurderes nøye.

Stemmeinteraksjon i AR-apper

Noen AR-enheter støtter også stemmeinteraksjonsfunksjoner. Selv om interaksjonen for de fleste AR-hodesett først og fremst er blikk og bevegelser, for de hodesettene med stemmefunksjoner må du vurdere hvordan du bruker alle metodene for interaksjon og hvordan du får dem til å fungere godt sammen. Stemmekontroller kan være en veldig praktisk måte å kontrollere applikasjonen din på. Ettersom prosessorkraften vokser eksponentielt, kan du forvente at stemmekontroll introduseres og foredles ytterligere på AR-headset.

Her er noen ting du bør huske på når du utvikler talekommandoer for AR-enheter som støtter denne funksjonen:

• Bruk enkle kommandoer. Ved å holde kommandoene dine enkle vil du unngå potensielle problemer med brukere som snakker med forskjellige dialekter eller aksenter. Det minimerer også læringskurven til applikasjonen din. For eksempel er "Les mer" sannsynligvis et bedre valg enn "Gi mer informasjon om det valgte elementet."
• Sørg for at talekommandoer kan angres. Stemmeinteraksjoner kan noen ganger utløses utilsiktet ved å fange opp lyd fra andre i nærheten. Sørg for at enhver talekommando kan angres hvis en utilsiktet interaksjon utløses.
• Eliminer lignende klingende interaksjoner. For å forhindre at brukeren din utløser feil handlinger, eliminer alle talekommandoer som kan høres like ut, men som utfører forskjellige handlinger. For eksempel, hvis "Les mer" utfører en bestemt handling i applikasjonen din (for eksempel å avsløre mer tekst), bør den alltid utføre den samme interaksjonen gjennom hele applikasjonen. Kommandoer med lignende lyd bør også unngås. For eksempel er det altfor sannsynlig at "Åpen referanse" og "Åpne preferanser" forveksles med hverandre.
• Unngå systemkommandoer. Pass på at programmet ikke overstyrer talekommandoer som allerede er reservert av systemet. Hvis en kommando som "hjemmeskjerm" er reservert av AR-enheten, ikke omprogrammer den kommandoen til å utføre annen funksjonalitet i applikasjonen din.
• Gi tilbakemelding. Stemmeinteraksjoner bør gi samme nivå av tilbakemeldingssignaler til en bruker som standard interaksjonsmetoder gjør. Hvis en bruker bruker talekommandoer, gi tilbakemelding om at applikasjonen din har hørt og forstått kommandoen. En måte å gjøre det på ville være å gi tekst på skjermen med hvilke kommandoer systemet tolket fra brukeren. Dette vil gi brukeren tilbakemelding om hvordan systemet forstår kommandoene hans og tillate ham å justere kommandoene sine om nødvendig.