Oblikovanje aplikacij razširjene resničnosti: interakcija s predmeti

Ko nameravate oblikovati svojo aplikacijo za razširjeno resničnost, boste morali razmisliti, kako bo uporabnik komuniciral s predmeti. Večina interakcij z navidezno resničnostjo (VR) poteka prek krmilnika gibanja, vendar večina naprav razširjene resničnosti (AR), ki temeljijo na slušalkah, za interakcijo uporablja kombinacijo pogleda in sledenja rok. Slušalke AR pogosto uporabljajo navigacijo, ki temelji na pogledu, za sledenje, kam uporabnik želi ciljati predmete v okolju. Ko je predmet ciljno usmerjen, bo uporabnik pogosto v interakciji s tem predmetom s kretnjami rok.

Kot taka morate oblikovati svojo izkušnjo AR tako, da bodo roke uporabnika znotraj območja prepoznavanja slušalk in delati s posebnim naborom potez vsake slušalke. Izobraževanje uporabnika o področju prepoznavanja kretenj – in obveščanje uporabnikov, ko so njihove kretnje blizu meja – lahko pomaga ustvariti uspešnejšo uporabniško izkušnjo.

Ker je ta način interakcije nov za skoraj vsakogar, je pomembno, da so interakcije čim preprostejše. Večina vaših uporabnikov se bo že učila za interakcijo v AR, pri čemer bodo ugotovili kretnje za svojo specifično napravo (ker je treba še razviti univerzalni nabor potez AR). Večina slušalk AR, ki uporabljajo sledenje rok, je opremljena s standardnim naborom osnovnih potez. Poskusite se držati teh predpakiranih potez in se izognite preobremenitvi uporabnikov z uvedbo novih potez, specifičnih za vašo aplikacijo.

Spodnja slika prikazuje primere dveh osnovnih potez za HoloLens , "Air Tap" (A) in "Bloom" (B). Air Tap je podoben kliku z miško na standardnem 2D zaslonu. Uporabnik drži prst v položaju pripravljenosti in s prstom pritisne navzdol, da izbere ali klikne predmet, na katerega cilja pogled uporabnika. Poteza »Bloom« je univerzalna gesta za pošiljanje uporabnika v meni Start. Uporabnik drži konice prstov skupaj in nato odpre roko.

Microsoftov primer uporabnika, ki izvaja »Air Tap« (A) in »Bloom« (B).

Zgrabi predmet v resničnem svetu daje uporabniku povratne informacije, kot so občutek predmeta, teža predmeta v njegovi roki itd. Ročne kretnje za izbiro virtualnih hologramov uporabniku ne bodo zagotovile nobene od teh standardnih taktilnih povratnih informacij. Zato je pomembno, da uporabnika na različne načine obveščamo o stanju digitalnih hologramov v okolju.

Uporabniku zagotovite namige o stanju predmeta ali okolja, še posebej, ko uporabnik poskuša postaviti digitalne holograme ali komunicirati z njimi. Na primer, če naj bi vaš uporabnik postavil digitalni hologram v 3D prostor, ji lahko zagotovi vizualni indikator, da ji sporoči, kje bo predmet postavljen. Če lahko uporabnik komunicira s predmetom v vašem prizoru, ga boste morda želeli vizualno označiti na objektu, pri čemer lahko uporabite bližino, da opozorite uporabnika, da se približuje predmetu, s katerim lahko komunicira. Če vaš uporabnik poskuša izbrati en predmet med številnimi, označite predmet, ki ga je trenutno izbral, in zagotovite zvočne namige za njena dejanja.

Ta slika prikazuje, kako se Meta 2 odloči za prikaz te povratne informacije uporabniku. Ko se uporabnik približa interaktivnemu predmetu (A), se na zadnji strani roke prikaže krog z obročem. Ko se roka uporabnika približa pesti, se prstan zmanjša (B) in se približa osrednjemu krogu. Prstan, ki se dotika kroga, kaže na uspešen prijem (C). Uporabnikova roka, ki se premika blizu roba senzorja, je prav tako zaznana in označena z rdečim indikatorjem in opozorilnim sporočilom (D).

Posnetek zaslona pogleda v slušalkah interakcije vlečenja Meta 2.

Interakcija z mobilnimi napravami v aplikacijah AR

Veliko načel oblikovanja za AR velja tako za slušalke kot za mobilne izkušnje . Vendar pa obstaja precejšnja razlika med interaktivno funkcionalnostjo slušalk AR in mobilnimi izkušnjami AR. Zaradi razlik oblikovnih faktorjev med slušalkami AR in mobilnimi napravami AR, interakcija zahteva nekaj različnih pravil.

Ohranjanje preprostih interakcij in zagotavljanje povratnih informacij pri postavljanju ali interakciji s predmetom sta pravila, ki veljajo tako za slušalke kot za mobilne izkušnje AR. Toda večina interakcij za uporabnike na mobilnih napravah bo potekala s potezami na zaslonu na dotik naprave, namesto da bi uporabniki neposredno manipulirali s 3D predmeti ali uporabljali kretnje rok v 3D prostoru.

Številne knjižnice, kot je ManoMotion , lahko zagotovijo 3D sledenje z roko in prepoznavanje potez za nadzor hologramov v mobilnih izkušnjah AR. Te knjižnice je morda vredno raziskati, odvisno od zahtev vaše aplikacije. Samo ne pozabite, da bo vaš uporabnik verjetno držal napravo v eni roki, medtem ko bo doživljal vašo aplikacijo, zaradi česar bo morda nerodno poskusiti tudi drugo roko vstaviti pred kamero, obrnjeno nazaj.

Vaši uporabniki verjetno že razumejo poteze mobilnih naprav, kot so tapkanje z enim prstom, vlečenje, ščipanje in vrtenje z dvema prstoma itd. Vendar večina uporabnikov razume te interakcije v zvezi z dvodimenzionalnim svetom zaslona namesto s tremi dimenzijami resničnega sveta.

Ko je hologram postavljen v prostor, razmislite o tem, da dovolite premikanje tega holograma samo v dveh dimenzijah, kar v bistvu omogoča, da le drsi po površini, na katero je bil postavljen. Podobno razmislite o omejitvi vrtenja predmeta na eno os. Omogočanje premikanja ali vrtenja na vseh treh oseh lahko hitro postane zelo zmedeno za končnega uporabnika in povzroči nenamerne posledice ali postavitev hologramov.

Če vrtite predmet, razmislite o dovolitvi vrtenja samo okoli osi y . Zaklepanje teh premikov preprečuje, da bi vaš uporabnik nenamerno premikal predmete na nepredvidljive načine. Morda boste želeli ustvariti tudi metodo za "razveljavitev" kakršnega koli nenamernega premikanja vaših hologramov, saj je namestitev teh hologramov v resnični prostor za vaše uporabnike lahko izziv, da se pravilno odločijo.

Večina mobilnih naprav podpira interakcijo z zaslonom s ščipanjem, da bodisi povečate območje ali povečate predmet. Ker je uporabnik tako v resničnem kot v hologramskem svetu v fiksni točki v vesolju, verjetno ne boste želeli uporabiti te poteze za povečavo v AR.

Podobno razmislite o odpravi zmožnosti uporabnika, da poveča predmet v AR. Poteza ščipanja z dvema prstoma za obseg je standardna interakcija za mobilne uporabnike. V AR ta gesta za merjenje pogosto ni smiselna. 3D-modeli holograma AR so pogosto nastavljene velikosti. Na vizualni videz velikosti 3D modela vpliva oddaljenost od naprave AR. Uporabnik, ki poveča predmet na mestu, da bi bil predmet videti bližje kameri, v resnici samo poveča predmet na mestu, pogosto ne tisto, kar je uporabnik nameraval. V AR se lahko še vedno uporablja ščepec v obsegu, vendar je treba o njegovi uporabi premišljeno razmisliti.

Glasovna interakcija v aplikacijah AR

Nekatere naprave AR podpirajo tudi zmožnosti glasovne interakcije. Čeprav sta interakcija pri večini slušalk AR predvsem pogled in kretnje, morate pri slušalkah z glasovnimi zmogljivostmi razmisliti, kako uporabiti vse metode interakcije in kako jih dobro delovati. Glasovni nadzor je lahko zelo priročen način za nadzor vaše aplikacije. Ker procesorska moč eksponentno raste, pričakujte, da bo glasovno upravljanje uvedeno in dodatno izboljšano na slušalkah AR.

Tukaj je nekaj stvari, ki jih morate upoštevati pri razvijanju glasovnih ukazov za naprave AR, ki podpirajo to funkcijo:

• Uporabite preproste ukaze. Preprosti ukazi se bodo izognili morebitnim težavam, da bi uporabniki govorili z različnimi narečji ali naglasi. Prav tako zmanjša krivuljo učenja vaše aplikacije. Na primer, »Preberi več« je verjetno boljša izbira kot »Navedite dodatne informacije o izbranem predmetu«.
• Prepričajte se, da je glasovne ukaze mogoče razveljaviti. Glasovne interakcije se lahko včasih nehote sprožijo z zajemom zvoka drugih v bližini. Prepričajte se, da je mogoče kateri koli glasovni ukaz razveljaviti, če se sproži nenamerna interakcija.
• Odpravite podobno zveneče interakcije. Če želite preprečiti, da bi vaš uporabnik sprožil napačna dejanja, odstranite vse izgovorjene ukaze, ki morda zvenijo podobno, vendar izvajajo različna dejanja. Na primer, če »Preberi več« izvede določeno dejanje v vaši aplikaciji (na primer razkrije več besedila), mora vedno izvajati enako interakcijo v celotni aplikaciji. Prav tako se je treba izogibati ukazom, ki zvenijo podobno. Na primer, »Odprta referenca« in »Odprte nastavitve« je preveč verjetno, da bi se zamenjali.
• Izogibajte se sistemskim ukazom. Prepričajte se, da vaš program ne preglasi glasovnih ukazov, ki jih je sistem že rezerviral. Če je ukaz, kot je »domači zaslon«, rezerviran za napravo AR, tega ukaza ne preprogramirajte za izvajanje različnih funkcij v vaši aplikaciji.
• Pošljite povratne informacije. Glasovne interakcije bi morale uporabniku zagotoviti enako raven povratnih informacij kot standardne metode interakcije. Če uporabnik uporablja glasovne ukaze, navedite povratne informacije, da je vaša aplikacija slišala in razumela ukaz. Eden od načinov za to bi bil zagotoviti besedilo na zaslonu o tem, katere ukaze je sistem interpretiral od uporabnika. To bo uporabniku zagotovilo povratne informacije o tem, kako sistem razume njegove ukaze, in mu omogočilo, da po potrebi prilagodi svoje ukaze.