Kiterjesztett valóság alkalmazások tervezése: interakció tárgyakkal

A kibővített valóság alkalmazásának tervezése során mérlegelnie kell, hogy a felhasználó hogyan kommunikál az objektumokkal. A legtöbb virtuális valóság (VR) interakciója mozgásvezérlőn keresztül történik, de a legtöbb headset-alapú kiterjesztett valóság (AR) eszköz a tekintet és a kézkövetés kombinációját használja az interakcióhoz. Az AR fejhallgatók gyakran tekinteten alapuló navigációt használnak annak nyomon követésére, hogy a felhasználó hol akar megcélozni a környezetben lévő elemeket. Amikor egy elemet megcéloznak, a felhasználó gyakran kézmozdulatokkal lép kapcsolatba vele.

Ennek megfelelően meg kell terveznie az AR-élményt , hogy a felhasználó kezeit a fejhallgató felismerési területén belül tartsa, és az egyes fejhallgatók sajátos gesztuskészletével dolgozzon. A felhasználó felvilágosítása a gesztusok felismerési területéről – és a felhasználók értesítése, ha gesztusaik a határok közelében vannak – hozzájárulhat a sikeresebb felhasználói élmény megteremtéséhez.

Mivel az interakciónak ez a módja szinte mindenki számára új, fontos, hogy az interakciók a lehető legegyszerűbbek legyenek. A legtöbb felhasználó már átesik az AR-ben való interakció tanulási görbéjén, hogy kitalálja a gesztusokat az adott eszközéhez (mivel az univerzális AR-gesztuskészletet még ki kell fejleszteni). A kézkövetést használó AR fejhallgatók többsége szabványos alapvető gesztuskészlettel rendelkezik. Próbáljon meg ragaszkodni ezekhez az előre csomagolt gesztusokhoz, és elkerülje, hogy a felhasználók túlterhelje az alkalmazásra jellemző új gesztusok bevezetésével.

Az alábbi kép példákat ad a HoloLens két alapvető gesztusára , az „Air Tap”-ra (A) és a „Bloom”-ra (B). Az Air Tap hasonló az egérkattintáshoz egy szabványos 2D képernyőn. A felhasználó készenléti helyzetben tartja az ujját, és lenyomja az ujját, hogy kiválassza vagy rákattintson a felhasználó tekintetével megcélzott elemre. A „Bloom” gesztus egy univerzális gesztus, amellyel a felhasználót a Start menübe küldheti. A felhasználó összetartja az ujjbegyeit, majd kinyitja a kezét.

A Microsoft példája egy „Air Tap” (A) és egy „Bloom” (B) művelet végrehajtására.

Egy tárgy megragadása a való világban visszajelzést ad a felhasználónak, például a tárgy tapintását, a kezében tartott tárgy súlyát stb. A virtuális hologramok kiválasztásához végzett kézmozdulatok nem biztosítják a felhasználó számára ezt a szokásos tapintható visszajelzést. Ezért fontos, hogy a felhasználót különböző módokon értesítsük a digitális hologramok környezetében lévő állapotáról.

Tájékoztatást adjon a felhasználónak egy objektum vagy a környezet állapotáról, különösen akkor, amikor a felhasználó digitális hologramokat próbál elhelyezni vagy interakcióba lépni velük. Például, ha a felhasználónak egy digitális hologramot kell elhelyeznie a 3D-s térben, egy vizuális jelző segítségével kommunikálhat vele, hová kerül az objektum. Ha a felhasználó kölcsönhatásba léphet egy tárggyal a jelenetben, érdemes lehet ezt vizuálisan jelezni az objektumon, esetleg a közelség használatával figyelmeztetni a felhasználót, hogy olyan objektumhoz közeledik, amellyel interakcióba léphet. Ha a felhasználó egy objektumot próbál kiválasztani a sok közül, jelölje ki az általa jelenleg kiválasztott elemet, és adjon hangjelzéseket a műveleteihez.

Ez a kép azt mutatja, hogy a Meta 2 hogyan jeleníti meg ezt a visszajelzést a felhasználónak. Egy gyűrűs kör jelenik meg a felhasználó kézfején, amikor egy interaktív objektumhoz közeledik (A). Ahogy a felhasználó keze ökölbe zár, a gyűrű kisebb lesz (B), és közelebb kerül a középső körhöz. A kört érintő gyűrű sikeres fogást jelez (C). Az érzékelő széle közelében mozgó felhasználó kezét is észleli, és egy piros jelzőfény és figyelmeztető üzenet (D) jelzi.

Képernyőfelvétel egy Meta 2 drag interakció fejhallgatóba helyezett nézetéről.

Mobileszköz interakció az AR-alkalmazásokban

Az AR tervezési alapelvei közül sok egyaránt vonatkozik a headsetekre és a mobil élményekre is . Azonban jelentős különbség van az AR headsetek interaktív funkcionalitása és a mobil AR-élmények között. Az AR fejhallgatók és az AR mobileszközök közötti alaktényezők közötti különbségek miatt az interakcióhoz különböző szabályokra van szükség.

Az interakciók egyszerű tartása és a visszacsatolás egy objektum elhelyezésekor vagy interakciója során olyan szabályok, amelyek mind a headsetes, mind a mobil AR-élményekre vonatkoznak. A legtöbb interakció azonban a mobileszközöket használó felhasználók számára az eszköz érintőképernyőjén megjelenő gesztusokon keresztül történik, ahelyett, hogy a felhasználók közvetlenül manipulálnának 3D objektumokat vagy kézmozdulatokat használnának a 3D térben.

Számos könyvtár, például a ManoMotion 3D kézmozdulat-követést és gesztusfelismerést biztosít a hologramok vezérléséhez a mobil AR-élményekben. Ezeket a könyvtárakat érdemes lehet felfedezni az alkalmazás követelményeitől függően. Ne feledje, hogy a felhasználó valószínűleg az egyik kezében fogja az eszközt, miközben használja az alkalmazást, ami esetleg kényelmetlenné teheti, ha megpróbálja a másik kezét a hátlapi kamera elé helyezni.

Felhasználói valószínűleg már megértik a mobileszközön végzett kézmozdulatokat, például az egyujjas érintést, húzást, kétujjas csípést és forgatást stb. A legtöbb felhasználó azonban ezeket az interakciókat a képernyő kétdimenziós világához viszonyítva érti, nem pedig a való világ három dimenziójához.

Miután egy hologramot elhelyezett a térben, fontolja meg annak a hologramnak csak két dimenzióban történő mozgását, ami lényegében csak azon a felületen csúszik át, amelyre elhelyezték. Hasonlóképpen fontolja meg az objektum elforgatásának egyetlen tengelyre történő korlátozását. A mindhárom tengelyen történő mozgás vagy forgás engedélyezése gyorsan nagyon megzavarhatja a végfelhasználót, és nemkívánatos következményekhez vagy a hologramok elhelyezéséhez vezethet.

Ha egy objektumot forgat, fontolja meg, hogy csak az y tengely körül engedélyezze az elforgatást . Ezeknek a mozgásoknak a zárolása megakadályozza, hogy a felhasználó véletlenül előre nem látható módon elmozdítsa az objektumokat. Érdemes lehet egy módszert is létrehozni a hologramok nem szándékos elmozdulásának „visszavonására”, mivel ezeknek a hologramoknak a valós világban való elhelyezése kihívást jelenthet a felhasználók számára.

A legtöbb mobileszköz támogatja a képernyővel való „csípés” interakciót egy terület nagyításához vagy egy objektum átméretezéséhez. Mivel a felhasználó a valós világban és a hologramos világban is egy fix pontban tartózkodik a térben, valószínűleg nem fogja használni ezt a gesztust az AR nagyítására.

Hasonlóképpen fontolja meg a felhasználó azon képességének megszüntetését, hogy méretezhessen egy objektumot az AR-ben. A kétujjas összefogás a méretezés érdekében a mobilfelhasználók szokásos művelete. Az AR-ben ennek a léptékű gesztusnak gyakran nincs értelme. Az AR hologram 3D modellek gyakran meghatározott méretűek. A 3D modell méretének vizuális megjelenését az AR eszköztől való távolság befolyásolja. Az a felhasználó, aki egy objektumot a helyén méretez be, hogy az objektumot a kamerához közelebb hozza, valójában csak megnöveli a tárgyat a helyén, gyakran nem úgy, ahogyan a felhasználó akarta. Az AR-ben továbbra is használható a kicsinyítés a méretre, de a használatát megfontolandó.

Hang interakció az AR-alkalmazásokban

Egyes AR-eszközök a hang interakciós képességeket is támogatják. Bár a legtöbb AR fejhallgató esetében az interakció elsősorban a tekintetből és a gesztusokból áll, a hangfunkciókkal rendelkező fejhallgatók esetében meg kell fontolni, hogyan lehet minden interakciós módszert kihasználni, és hogyan lehet őket jól együttműködni. A hangvezérlés nagyon kényelmes módja lehet az alkalmazás vezérlésének. A feldolgozási teljesítmény exponenciális növekedésével várhatóan bevezetik és tovább finomítják a hangvezérlést az AR fejhallgatókon.

Íme néhány dolog, amelyet szem előtt kell tartania, amikor hangutasításokat fejleszt a funkciót támogató AR-eszközökhöz:

• Használjon egyszerű parancsokat. A parancsok egyszerű tartása segít elkerülni a különböző dialektusokkal vagy akcentussal beszélő felhasználók esetleges problémáit. Ezenkívül minimálisra csökkenti az alkalmazás tanulási görbéjét. Például a „További információ” valószínűleg jobb választás, mint a „További információ megadása a kiválasztott tételről”.
• Győződjön meg arról, hogy a hangutasítások visszavonhatók. A hangos interakciók néha véletlenül is kiválthatók, ha a közelben lévő személyek hangját rögzítik. Győződjön meg arról, hogy bármely hangutasítás visszavonható, ha véletlen interakció indul el.
• Szüntesse meg a hasonló hangzású interakciókat. Annak elkerülése érdekében, hogy a felhasználó helytelen műveleteket indítson el, távolítsa el a hasonló hangzású, de eltérő műveleteket végrehajtó parancsokat. Például, ha a „További információ” egy adott műveletet hajt végre az alkalmazásban (például több szöveget jelenít meg), akkor mindig ugyanazt a műveletet kell végrehajtania az alkalmazásban. A hasonló hangzású parancsokat is kerülni kell. Például a „Nyílt hivatkozás” és a „Nyitott beállítások” túl nagy valószínűséggel összetéveszthető egymással.
• Kerülje a rendszerparancsokat. Győződjön meg arról, hogy a program nem írja felül a rendszer által már lefoglalt hangutasításokat. Ha egy parancsot, például a „kezdőképernyőt” foglalt le az AR-eszköz, ne programozza át azt a parancsot, hogy az alkalmazáson belül más funkciókat hajtson végre.
• Visszajelzést. A hangalapú interakcióknak ugyanolyan szintű visszajelzést kell adniuk a felhasználónak, mint a szokásos interakciós módszereknek. Ha egy felhasználó hangutasításokat használ, adjon visszajelzést arról, hogy az alkalmazás hallotta és megértette a parancsot. Ennek egyik módja az lenne, ha a képernyőn szöveget adunk meg arról, hogy a rendszer milyen parancsokat értelmezett a felhasználótól. Ez visszajelzést ad a felhasználónak arról, hogy a rendszer hogyan érti a parancsait, és szükség esetén módosíthatja parancsait.