Papildytos realybės programų kūrimas: sąveika su objektais

Kai ketinate kurti papildytosios realybės programą, turėsite apsvarstyti, kaip vartotojas sąveikaus su objektais. Dauguma virtualios realybės (VR) sąveikos vyksta per judesio valdiklį, tačiau dauguma ausinėmis pagrįstų papildytosios realybės (AR) įrenginių sąveikai naudoja žvilgsnio ir rankos stebėjimo derinį. Dažnai AR ausinės naudoja žvilgsniu pagrįstą navigaciją, kad galėtų sekti, kur vartotojas nori nukreipti objektus aplinkoje. Kai taikomas elementas, vartotojas dažnai sąveikauja su tuo elementu rankos gestais.

Taigi, jūs turite sukurti savo AR patirtį , kad naudotojo rankos būtų ausinių atpažinimo zonoje ir dirbtumėte su kiekvienos ausinės konkrečiu gestų rinkiniu. Naudotojo mokymas apie gestų atpažinimo sritį ir įspėjimas naudotojams, kai jų gestai yra netoli ribų, gali padėti sukurti sėkmingesnę naudotojo patirtį.

Kadangi šis sąveikos būdas yra naujas beveik visiems, svarbu, kad sąveika būtų kuo paprastesnė. Dauguma jūsų naudotojų jau mokysis sąveikauti su AR, sugalvodami gestus savo konkrečiam įrenginiui (nes dar reikia sukurti universalų AR gestų rinkinį). Daugumoje AR ausinių, kuriose naudojamas rankų sekimas, yra standartinis pagrindinių gestų rinkinys. Stenkitės laikytis šių iš anksto supakuotų gestų ir neapsunkinkite naudotojų, pristatydami naujus gestus, būdingus jūsų programai.

Toliau pateiktame paveikslėlyje pateikiami dviejų pagrindinių HoloLens gestų pavyzdžiai: „Air Tap“ (A) ir „Bloom“ (B). Oro bakstelėjimas yra panašus į pelės paspaudimą standartiniame 2D ekrane. Naudotojas laiko pirštą paruoštoje padėtyje ir spaudžia pirštą žemyn, kad pasirinktų arba spustelėtų elementą, nukreiptą vartotojo žvilgsniu. „Bloom“ gestas yra universalus gestas, skirtas nusiųsti vartotoją į meniu Pradėti. Naudotojas laiko pirštų galiukus kartu ir tada atidaro ranką.

„Microsoft“ pavyzdys, kai naudotojas atlieka „Air Tap“ (A) ir „Bloom“ (B).

Paėmus daiktą realiame pasaulyje, vartotojas gauna grįžtamąjį ryšį, pvz., objekto pojūtį, daikto svorį rankoje ir pan. Rankų gestai, skirti pasirinkti virtualias hologramas, nesuteiks vartotojui jokio šio standartinio lytėjimo grįžtamojo ryšio. Taigi svarbu įvairiais būdais informuoti vartotoją apie skaitmeninių hologramų būklę aplinkoje.

Pateikite naudotojui užuominas apie objekto ar aplinkos būseną, ypač kai vartotojas bando įdėti skaitmenines hologramas arba su jomis sąveikauti. Pavyzdžiui, jei jūsų vartotojas turėtų įdėti skaitmeninę hologramą į 3D erdvę, vaizdinis indikatorius gali padėti jai pranešti, kur bus dedamas objektas. Jei vartotojas gali sąveikauti su objektu jūsų scenoje, galite vizualiai tai nurodyti objekte, galbūt naudodami artumą, kad įspėtų vartotoją, kad ji artėja prie objekto, su kuriuo gali sąveikauti. Jei jūsų vartotojas bando pasirinkti vieną objektą iš daugelio, paryškinkite elementą, kurį ji šiuo metu pasirinko, ir pateikite garso signalus apie jos veiksmus.

Šiame paveikslėlyje parodyta, kaip Meta 2 pasirenka rodyti šį atsiliepimą vartotojui. Vartotojo rankos gale atsiranda apskritimas su žiedu, kai jis artėja prie interaktyvaus objekto (A). Kai naudotojo ranka priglunda prie kumščio, žiedas tampa mažesnis (B) ir priartėja prie centrinio apskritimo. Apskritimą liečiantis žiedas rodo sėkmingą griebimą (C). Naudotojo ranka, judanti prie jutiklio krašto, taip pat aptinkama ir pažymėta raudonu indikatoriumi bei įspėjamuoju pranešimu (D).

Meta 2 vilkimo sąveikos laisvų rankų įrangos ekrano vaizdas.

Mobiliojo įrenginio sąveika AR programose

Daugelis AR projektavimo principų taikomi ir ausinėms, ir mobiliesiems įrenginiams . Tačiau yra didelis skirtumas tarp interaktyvių AR ausinių funkcijų ir mobiliųjų AR funkcijų. Dėl formos faktoriaus skirtumų tarp AR ausinių ir AR mobiliųjų įrenginių sąveikai reikia tam tikrų skirtingų taisyklių.

Paprasta sąveika ir grįžtamojo ryšio teikimas pastatant objektą arba sąveikaujant su juo yra taisyklės, taikomos tiek ausinėms, tiek mobiliesiems AR. Tačiau dauguma mobiliųjų įrenginių naudotojų sąveikos vyks per prietaiso jutiklinio ekrano gestus, o ne tiesiogiai manipuliuojant 3D objektais arba naudojant rankų gestus 3D erdvėje.

Daugybė bibliotekų, pvz., „ ManoMotion“ , gali teikti 3D gestų rankinį stebėjimą ir gestų atpažinimą, kad būtų galima valdyti hologramas naudojant mobiliuosius AR. Atsižvelgiant į programos reikalavimus, šias bibliotekas gali būti verta ištirti. Tiesiog atminkite, kad naudotojas greičiausiai laikys įrenginį viena ranka, kol naudosis jūsų programa, todėl gali būti nepatogu bandyti įkišti kitą ranką priešais atsuktą kamerą.

Tikėtina, kad naudotojai jau supranta mobiliojo įrenginio gestus, pvz., bakstelėjimus vienu pirštu, vilkimą, suspaudimą dviem pirštais, pasukimą ir pan. Tačiau dauguma vartotojų supranta šias sąveikas, susijusias su dvimačiu ekrano pasauliu, o ne su trimis realaus pasaulio matmenimis.

Įdėjus hologramą erdvėje, apsvarstykite galimybę leisti tai hologramai judėti tik dviem matmenimis, iš esmės leidžiant jai slysti tik paviršiumi, ant kurio ji buvo uždėta. Panašiai apsvarstykite galimybę apriboti objekto sukimąsi iki vienos ašies. Leidimas judėti arba suktis visomis trimis ašimis gali greitai supainioti galutinį vartotoją ir sukelti nenumatytų pasekmių arba hologramų išdėstymo.

Jei sukate objektą, apsvarstykite galimybę sukti tik aplink y ašį. Šių judesių užrakinimas neleidžia naudotojui netyčia perkelti objektų nenuspėjamai. Taip pat galite sukurti metodą, kaip „anuliuoti“ bet kokį netyčinį hologramų judėjimą, nes naudotojams gali būti sudėtinga įdėti šias hologramas į realią erdvę.

Dauguma mobiliųjų įrenginių palaiko „suspaudimą“ su ekranu, kad būtų galima priartinti sritį arba pakeisti objekto mastelį. Kadangi vartotojas yra fiksuotame erdvės taške tiek realiame pasaulyje, tiek hologramos pasaulyje, tikriausiai nenorėsite naudoti šio gesto priartindami AR.

Panašiai apsvarstykite galimybę panaikinti vartotojo galimybę keisti objekto mastelį AR. Dviejų pirštų suspaudimo gestas yra įprastas mobiliųjų įrenginių naudotojų bendravimas. AR šis mastelio gestas dažnai neturi prasmės. AR hologramos 3D modeliai dažnai yra nustatyto dydžio. 3D modelio dydžio vizualiai išvaizdai įtakos turi atstumas nuo AR įrenginio. Naudotojas, keičiantis objekto mastelį, kad objektas atrodytų arčiau fotoaparato, iš tikrųjų tiesiog padidina objektą vietoje, dažnai ne tai, ko vartotojas norėjo. AR vis tiek gali būti naudojamas spaudimas iki mastelio, tačiau reikėtų apgalvoti jo naudojimą.

Sąveika balsu AR programose

Kai kurie AR įrenginiai taip pat palaiko balso sąveikos galimybes. Nors daugumos AR ausinių sąveika visų pirma yra žvilgsnis ir gestai, tų ausinių, turinčių balso funkciją, atveju turite apsvarstyti, kaip panaudoti visus sąveikos būdus ir kaip padaryti, kad jie gerai veiktų kartu. Valdymas balsu gali būti labai patogus būdas valdyti programą. Eksponentiškai didėjant apdorojimo galiai, tikimasi, kad AR ausinėse bus įdiegtas ir patobulintas valdymas balsu.

Kurdami balso komandas AR įrenginiams, kurie palaiko šią funkciją, reikia atsiminti keletą dalykų:

• Naudokite paprastas komandas. Jei komandos bus paprastos, išvengsite galimų problemų, susijusių su vartotojais, kalbančiais skirtingais dialektais ar dialektais. Tai taip pat sumažina jūsų programos mokymosi kreivę. Pavyzdžiui, „Skaityti daugiau“ tikriausiai yra geresnis pasirinkimas nei „Pateikti daugiau informacijos apie pasirinktą elementą“.
• Įsitikinkite, kad balso komandas galima anuliuoti. Balso sąveika kartais gali būti suaktyvinta netyčia užfiksavus kitų netoliese esančių asmenų garsą. Įsitikinkite, kad bet kurią balso komandą galima anuliuoti, jei atsitiktinai suveikiama.
• Pašalinkite panašiai skambančias sąveikas. Kad vartotojas nesuaktyvintų neteisingų veiksmų, pašalinkite visas ištartas komandas, kurios gali skambėti panašiai, bet atlieka skirtingus veiksmus. Pavyzdžiui, jei „Skaityti daugiau“ jūsų programoje atlieka tam tikrą veiksmą (pvz., atskleidžia daugiau teksto), ji visada turi atlikti tą pačią sąveiką visoje programoje. Taip pat reikėtų vengti panašiai skambančių komandų. Pavyzdžiui, labai tikėtina, kad „Atvira nuoroda“ ir „Atviros nuostatos“ būtų supainioti.
• Venkite sistemos komandų. Įsitikinkite, kad jūsų programa nepaiso balso komandų, kurias jau rezervavo sistema. Jei komandą, pvz., „pagrindinis ekranas“, rezervuoja AR įrenginys, neperprogramuokite šios komandos, kad jūsų programoje atliktų skirtingas funkcijas.
• Pateikti atsiliepimą. Sąveika balsu vartotojui turėtų suteikti tokio pat lygio grįžtamojo ryšio signalus, kaip ir standartiniai sąveikos metodai. Jei vartotojas naudoja balso komandas, pateikite atsiliepimą, kad jūsų programa išgirdo ir suprato komandą. Vienas iš būdų tai padaryti būtų pateikti ekrane tekstą, kokias komandas interpretavo sistema iš vartotojo. Tai suteiks vartotojui grįžtamąjį ryšį apie tai, kaip sistema supranta jo komandas, ir prireikus galės pakoreguoti komandas.