Navrhovanie aplikácií rozšírenej reality: Interakcia s objektmi

Keď sa rozhodnete navrhnúť svoju aplikáciu rozšírenej reality, budete musieť zvážiť, ako bude používateľ interagovať s objektmi. Väčšina interakcií vo virtuálnej realite (VR) prebieha prostredníctvom ovládača pohybu, ale väčšina zariadení s rozšírenou realitou (AR) na báze náhlavnej súpravy využíva na interakciu kombináciu sledovania pohľadu a rúk. Náhlavné súpravy AR často používajú navigáciu založenú na pohľade na sledovanie toho, kde sa používateľ snaží zacieliť na položky v prostredí. Keď je položka zameraná, používateľ s ňou často interaguje gestami rúk.

Preto musíte svoje prostredie AR navrhnúť tak, aby sa ruky používateľa nachádzali v oblasti rozpoznávania slúchadiel a pracovali so špecifickými gestami jednotlivých slúchadiel. Vzdelávanie používateľa o oblasti rozpoznávania gest – a upozorňovanie používateľov, keď sú ich gestá blízko hraníc – môže pomôcť vytvoriť úspešnejšiu používateľskú skúsenosť.

Pretože tento spôsob interakcie je nový takmer pre každého, je dôležité udržiavať interakcie čo najjednoduchšie. Väčšina vašich používateľov už prejde procesom učenia sa interakcie v AR, zisťovaním gest pre ich konkrétne zariadenie (pretože univerzálna súprava gest AR musí byť ešte vyvinutá). Väčšina náhlavných súprav AR, ktoré využívajú sledovanie rúk, sa dodáva so štandardnou sadou základných gest. Skúste sa držať týchto vopred pripravených gest a vyhnite sa preťaženiu používateľov zavedením nových gest špecifických pre vašu aplikáciu.

Na obrázku nižšie sú príklady dvoch základných gest pre HoloLens , „Air Tap“ (A) a „Bloom“ (B). Air Tap je podobné kliknutiu myšou na štandardnej 2D obrazovke. Používateľ drží prst v pripravenej polohe a zatlačením prsta nadol vyberie alebo klikne na položku, na ktorú sa zameriava pohľadom používateľa. Gesto „Bloom“ je univerzálne gesto na presmerovanie používateľa do ponuky Štart. Používateľ drží končeky prstov pri sebe a potom otvorí ruku.

Príklad spoločnosti Microsoft, keď používateľ vykonáva „vzduchové klepnutie“ (A) a „kvitnutie“ (B).

Uchopenie predmetu v reálnom svete poskytuje používateľovi spätnú väzbu, napríklad pocit z predmetu, hmotnosť predmetu v ruke atď. Gestá rúk na výber virtuálnych hologramov neposkytnú používateľovi žiadnu z týchto štandardných hmatových spätných väzieb. Preto je dôležité informovať používateľa o stave digitálnych hologramov v prostredí rôznymi spôsobmi.

Poskytnite používateľovi informácie o stave objektu alebo prostredia, najmä keď sa používateľ pokúša umiestniť alebo interagovať s digitálnymi hologramami. Napríklad, ak má váš používateľ umiestniť digitálny hologram do 3D priestoru, poskytnutie vizuálneho indikátora mu môže pomôcť pri komunikácii s ním, kde bude objekt umiestnený. Ak môže používateľ interagovať s objektom vo vašej scéne, možno to budete chcieť na objekte vizuálne naznačiť, prípadne pomocou blízkosti upozorniť používateľa, že sa blíži k objektu, s ktorým môže interagovať. Ak sa váš používateľ pokúša vybrať jeden objekt z mnohých, zvýraznite položku, ktorú práve vybral, a poskytnite zvukové podnety pre jej akcie.

Tento obrázok ukazuje, ako sa Meta 2 rozhodne zobraziť túto spätnú väzbu používateľovi. Keď sa používateľ priblíži k interaktívnemu objektu (A), na chrbte ruky sa objaví kruh s krúžkom. Keď sa ruka používateľa priblíži k päste, prsteň sa zmenšuje (B) a približuje sa k stredovému kruhu. Krúžok dotýkajúci sa kruhu označuje úspešné uchopenie (C). Ruka používateľa, ktorá sa pohybuje blízko okraja snímača, je tiež detekovaná a označená červeným indikátorom a výstražnou správou (D).

Snímka obrazovky so zobrazením v náhlavnej súprave interakcie ťahania Meta 2.

Interakcia mobilného zariadenia v aplikáciách AR

Mnohé z princípov dizajnu pre AR sa vzťahujú na náhlavné súpravy aj mobilné zariadenia . Existuje však značný rozdiel medzi interaktívnou funkčnosťou náhlavných súprav AR a mobilnými skúsenosťami s AR. Vzhľadom na rozdiely vo forme medzi náhlavnými súpravami AR a mobilnými zariadeniami AR si interakcia vyžaduje určité odlišné pravidlá.

Udržiavanie jednoduchých interakcií a poskytovanie spätnej väzby pri umiestňovaní alebo interakcii s objektom sú pravidlá, ktoré sa vzťahujú na náhlavnú súpravu aj mobilnú AR. Väčšina interakcií používateľov mobilných zariadení však bude prebiehať prostredníctvom gest na dotykovej obrazovke zariadenia namiesto toho, aby používatelia priamo manipulovali s 3D objektmi alebo používali gestá rúk v 3D priestore.

Množstvo knižníc, ako napríklad ManoMotion , môže poskytnúť 3D sledovanie rúk gestami a rozpoznávanie gest na ovládanie hologramov v mobilných AR prostrediach. Tieto knižnice sa oplatí preskúmať v závislosti od požiadaviek vašej aplikácie. Len si pamätajte, že vaša používateľka bude pravdepodobne držať zariadenie v jednej ruke počas používania vašej aplikácie, takže môže byť nepríjemné pokúsiť sa vložiť aj druhú ruku pred zadnú kameru.

Vaši používatelia už pravdepodobne rozumejú gestám mobilných zariadení, ako sú klepnutia jedným prstom, ťahanie, stláčanie a otáčanie dvoma prstami atď. Väčšina používateľov však chápe tieto interakcie vo vzťahu k dvojrozmernému svetu obrazovky namiesto troch dimenzií skutočného sveta.

Po umiestnení hologramu do priestoru zvážte umožnenie pohybu tohto hologramu iba v dvoch rozmeroch, čo mu v podstate umožní posúvať sa iba po povrchu, na ktorý bol umiestnený. Podobne zvážte obmedzenie rotácie objektu na jednu os. Umožnenie pohybu alebo rotácie na všetkých troch osiach sa môže rýchlo stať pre koncového používateľa veľmi mätúce a viesť k neúmyselným dôsledkom alebo umiestneniu hologramov.

Ak otáčate objekt, zvážte povolenie otáčania iba okolo osi y . Uzamknutie týchto pohybov zabraňuje používateľovi neúmyselne posúvať predmety nepredvídateľným spôsobom. Možno budete chcieť vytvoriť metódu na „zrušenie“ akéhokoľvek neúmyselného pohybu vašich hologramov, pretože umiestnenie týchto hologramov do reálneho priestoru môže byť pre vašich používateľov náročné.

Väčšina mobilných zariadení podporuje „štipcovú“ interakciu s obrazovkou na priblíženie oblasti alebo zmenu veľkosti objektu. Pretože používateľ je v pevnom bode v priestore v reálnom svete aj vo svete hologramov, pravdepodobne nebudete chcieť použiť toto gesto na priblíženie v AR.

Podobne zvážte odstránenie možnosti používateľa meniť mierku objektu v AR. Gesto pritiahnutia dvoch prstov na nastavenie mierky je štandardnou interakciou pre používateľov mobilných zariadení. V AR toto gesto mierky často nedáva zmysel. 3D modely AR hologramov majú často nastavenú veľkosť. Vizuálny vzhľad veľkosti 3D modelu je ovplyvnený vzdialenosťou od AR zariadenia. Používateľ zmení mierku objektu na mieste, aby objekt vyzeral bližšie k fotoaparátu, v skutočnosti len zväčší objekt na mieste, často nie to, čo používateľ zamýšľal. V AR sa môže stále používať funkcia Pinch-to-scale, ale jej použitie by sa malo zvážiť.

Hlasová interakcia v aplikáciách AR

Niektoré zariadenia AR podporujú aj možnosti hlasovej interakcie. Hoci interakcia pre väčšinu slúchadiel AR je primárne pohľad a gestá, pri slúchadlách s hlasovými schopnosťami musíte zvážiť, ako využiť všetky spôsoby interakcie a ako zabezpečiť, aby spolu fungovali. Hlasové ovládanie môže byť veľmi pohodlným spôsobom ovládania vašej aplikácie. Vzhľadom na to, že výpočtový výkon exponenciálne rastie, očakávajte, že sa na náhlavných súpravách AR zavedie a ďalej zdokonaľuje hlasové ovládanie.

Tu je niekoľko vecí, ktoré je potrebné mať na pamäti pri vývoji hlasových príkazov pre zariadenia AR, ktoré podporujú túto funkciu:

• Používajte jednoduché príkazy. Udržiavanie jednoduchých príkazov vám pomôže vyhnúť sa potenciálnym problémom, keď používatelia hovoria rôznymi dialektmi alebo prízvukmi. Minimalizuje tiež krivku učenia vašej aplikácie. Napríklad „Prečítať viac“ je pravdepodobne lepšou voľbou ako „Poskytnúť ďalšie informácie o vybranej položke“.
• Uistite sa, že hlasové príkazy je možné vrátiť späť. Hlasové interakcie môžu byť niekedy spustené neúmyselne zachytením zvuku ostatných v okolí. Uistite sa, že akýkoľvek hlasový príkaz je možné vrátiť späť, ak sa spustí náhodná interakcia.
• Eliminujte podobne znejúce interakcie. Aby ste zabránili vášmu používateľovi spustiť nesprávne akcie, odstráňte všetky hovorené príkazy, ktoré môžu znieť podobne, ale vykonávajú odlišné akcie. Ak napríklad príkaz „Čítať viac“ vykoná určitú akciu vo vašej aplikácii (napríklad odkryje viac textu), mal by vždy vykonávať rovnakú interakciu v celej vašej aplikácii. Treba sa tiež vyhnúť podobne znejúcim príkazom. Napríklad „Otvorené referencie“ a „Otvorené preferencie“ je príliš pravdepodobné, že sa budú navzájom zamieňať.
• Vyhnite sa systémovým príkazom. Uistite sa, že váš program neprepíše hlasové príkazy, ktoré sú už rezervované systémom. Ak je príkaz, ako napríklad „domovská obrazovka“ vyhradený zariadením AR, nepreprogramujte tento príkaz tak, aby vykonával iné funkcie vo vašej aplikácii.
• Poskytnite spätnú väzbu. Hlasové interakcie by mali používateľovi poskytnúť rovnakú úroveň spätnej väzby ako štandardné metódy interakcie. Ak používateľ používa hlasové príkazy, poskytnite mu spätnú väzbu, že vaša aplikácia príkaz počula a pochopila. Jedným zo spôsobov, ako to urobiť, by bolo poskytnúť na obrazovke text toho, aké príkazy systém interpretoval od používateľa. Používateľovi to poskytne spätnú väzbu o tom, ako systém rozumie jeho príkazom, a umožní mu v prípade potreby príkazy upraviť.