Navrhování aplikací pro rozšířenou realitu: Interakce s objekty

Když se rozhodnete navrhnout aplikaci pro rozšířenou realitu, budete muset zvážit, jak bude uživatel s objekty komunikovat. Většina interakcí ve virtuální realitě (VR) probíhá prostřednictvím pohybového ovladače, ale většina zařízení pro rozšířenou realitu (AR) na bázi náhlavních souprav využívá k interakci kombinaci pohledu a sledování ruky. Náhlavní soupravy pro AR často používají navigaci založenou na pohledu ke sledování toho, kam uživatel hledá zacílit položky v prostředí. Když je předmět zacílen, uživatel s ním často interaguje pomocí gest rukou.

Proto musíte své prostředí AR navrhnout tak, abyste udrželi ruce uživatele v oblasti rozpoznání náhlavní soupravy a pracovali se specifickou sadou gest každé náhlavní soupravy. Poučení uživatele o oblasti rozpoznávání gest – a upozornění uživatelů, když jsou jejich gesta blízko hranic – může pomoci vytvořit úspěšnější uživatelský zážitek.

Protože je tento způsob interakce nový téměř pro každého, je důležité udržovat interakce co nejjednodušší. Většina vašich uživatelů již projde křivkou učení pro interakci v AR a bude zjišťovat gesta pro jejich konkrétní zařízení (protože univerzální sada gest pro AR musí být ještě vyvinuta). Většina náhlavních souprav pro AR, které využívají sledování ruky, se dodává se standardní sadou základních gest. Zkuste se držet těchto předem zabalených gest a vyhněte se přetížení uživatelů tím, že zavedete nová gesta specifická pro vaši aplikaci.

Obrázek níže uvádí příklady dvou základních gest pro HoloLens , „Air Tap“ (A) a „Bloom“ (B). Air Tap je podobné kliknutí myší na standardní 2D obrazovce. Uživatel podrží prst v připravené poloze a stiskne prst dolů, aby vybral nebo kliknul na cílovou položku pohledem uživatele. Gesto „Bloom“ je univerzální gesto pro přesměrování uživatele do nabídky Start. Uživatel drží konečky prstů u sebe a poté otevře ruku.

Příklad společnosti Microsoft, kdy uživatel provádí „Air Tap“ (A) a „Bloom“ (B).

Uchopení předmětu v reálném světě poskytuje uživateli zpětnou vazbu, jako je pocit z předmětu, váha předmětu v jeho ruce a tak dále. Gesta rukou provedená pro výběr virtuálních hologramů neposkytnou uživateli žádnou z této standardní hmatové zpětné vazby. Je tedy důležité informovat uživatele o stavu digitálních hologramů v prostředí různými způsoby.

Poskytněte uživateli vodítka ohledně stavu objektu nebo prostředí, zejména když se uživatel pokouší umístit digitální hologramy nebo s nimi pracovat. Pokud má váš uživatel například umístit digitální hologram do 3D prostoru, poskytnutí vizuálního indikátoru mu může pomoci sdělit, kde bude objekt umístěn. Pokud může uživatel interagovat s objektem ve vaší scéně, můžete to na objektu vizuálně označit, případně pomocí blízkosti upozornit uživatele, že se blíží k objektu, se kterým může interagovat. Pokud se váš uživatel pokouší vybrat jeden objekt z mnoha, zvýrazněte položku, kterou aktuálně vybral, a poskytněte zvukové podněty pro její akce.

Tento obrázek ukazuje, jak se Meta 2 rozhodne zobrazit tuto zpětnou vazbu uživateli. Když se uživatel přiblíží k interaktivnímu objektu (A), na hřbetu ruky se objeví kruh s prstenem. Když se ruka uživatele sevře v pěst, prsten se zmenší (B) a přiblíží se ke středovému kruhu. Prsten, který se dotýká kruhu, znamená úspěšné uchopení (C). Ruka uživatele pohybující se blízko okraje senzoru je také detekována a označena pomocí červeného indikátoru a výstražné zprávy (D).

Snímek obrazovky s pohledem na náhlavní soupravu interakce tažení Meta 2.

Interakce s mobilním zařízením v aplikacích AR

Mnoho principů návrhu pro AR platí pro náhlavní soupravy i mobilní prostředí . Existuje však značný rozdíl mezi interaktivní funkcí náhlavních souprav AR a mobilním prostředím AR. Vzhledem k rozdílům ve tvaru mezi náhlavními soupravami AR a mobilními zařízeními AR vyžaduje interakce některá odlišná pravidla.

Udržování jednoduchých interakcí a poskytování zpětné vazby při umisťování nebo interakci s předmětem jsou pravidla, která platí jak pro náhlavní soupravu, tak pro mobilní AR. Většina interakcí uživatelů mobilních zařízení však bude probíhat prostřednictvím gest na dotykové obrazovce zařízení namísto toho, aby uživatelé přímo manipulovali s 3D objekty nebo používali gesta rukou ve 3D prostoru.

Řada knihoven, jako je ManoMotion , může poskytovat 3D sledování rukou gesty a rozpoznávání gest pro ovládání hologramů v mobilních AR zážitcích. Tyto knihovny mohou stát za prozkoumání v závislosti na požadavcích vaší aplikace. Jen si pamatujte, že váš uživatel bude pravděpodobně držet zařízení v jedné ruce při používání vaší aplikace, což může být nepříjemné, když se pokusí vložit i druhou ruku před kameru směřující dozadu.

Vaši uživatelé již pravděpodobně chápou gesta mobilních zařízení, jako jsou klepnutí jedním prstem, přetažení, svírání a otáčení dvěma prsty a tak dále. Většina uživatelů však tyto interakce chápe ve vztahu k dvourozměrnému světu obrazovky namísto tří rozměrů skutečného světa.

Po umístění hologramu do prostoru zvažte umožnění pohybu tohoto hologramu pouze ve dvou rozměrech, což mu v podstatě umožní pouze klouzat po povrchu, na který byl umístěn. Podobně zvažte omezení rotace objektu na jednu osu. Povolení pohybu nebo rotace ve všech třech osách se může rychle stát pro koncového uživatele velmi matoucím a vést k nezamýšleným následkům nebo umístění hologramů.

Pokud otáčíte objekt, zvažte povolení otáčení pouze kolem osy y . Uzamčení těchto pohybů zabrání uživateli v nechtěném posunutí předmětů nepředvídatelným způsobem. Můžete také chtít vytvořit metodu, jak „zrušit“ jakýkoli neúmyslný pohyb vašich hologramů, protože umístění těchto hologramů do reálného prostoru může být pro vaše uživatele náročné.

Většina mobilních zařízení podporuje „štípnutí“ interakce s obrazovkou za účelem přiblížení oblasti nebo změny velikosti objektu. Protože se uživatel nachází v pevném bodě v prostoru v reálném světě i ve světě hologramů, pravděpodobně nebudete chtít toto gesto použít k přiblížení v AR.

Podobně zvažte odstranění možnosti uživatele měnit měřítko objektu v AR. Gesto sevření dvěma prsty pro změnu měřítka je standardní interakcí pro mobilní uživatele. V AR toto gesto měřítka často nedává smysl. 3D modely AR hologramu mají často nastavenou velikost. Vizuální vzhled velikosti 3D modelu je ovlivněn vzdáleností od AR zařízení. Uživatel měřítko objektu na místě, aby objekt vypadal blíže k fotoaparátu, ve skutečnosti pouze zvětšuje objekt na místě, často ne to, co uživatel zamýšlel. Pinch-to-scale může být stále používán v AR, ale jeho použití by mělo být pečlivě zváženo.

Hlasová interakce v aplikacích AR

Některá zařízení AR také podporují možnosti hlasové interakce. Ačkoli interakce u většiny náhlavních souprav pro AR je primárně pohled a gesta, u náhlavních souprav s hlasovými schopnostmi musíte zvážit, jak využít všechny metody interakce a jak je zajistit, aby spolu dobře fungovaly. Hlasové ovládání může být velmi pohodlný způsob ovládání vaší aplikace. Vzhledem k tomu, že výpočetní výkon exponenciálně roste, očekávejte, že bude na náhlavních soupravách pro AR zaváděno a dále zdokonalováno hlasové ovládání.

Zde je několik věcí, které je třeba mít na paměti při vývoji hlasových příkazů pro zařízení AR, která tuto funkci podporují:

• Používejte jednoduché příkazy. Udržování jednoduchých příkazů vám pomůže vyhnout se potenciálním problémům s uživateli mluvícími různými dialekty nebo přízvuky. Minimalizuje také křivku učení vaší aplikace. Například „Přečíst více“ je pravděpodobně lepší volbou než „Poskytnout další informace o vybrané položce“.
• Ujistěte se, že hlasové příkazy lze vrátit zpět. Hlasové interakce mohou být někdy neúmyslně spuštěny zachycením zvuku ostatních v okolí. Ujistěte se, že jakýkoli hlasový příkaz lze vrátit zpět, pokud dojde k náhodné interakci.
• Eliminujte podobně znějící interakce. Abyste zabránili uživateli spouštět nesprávné akce, odstraňte všechny mluvené příkazy, které mohou znít podobně, ale provádějí různé akce. Pokud například „Číst více“ provede určitou akci ve vaší aplikaci (jako je odkrytí dalšího textu), mělo by vždy provést stejnou interakci v celé vaší aplikaci. Stejně znějící příkazy je třeba se také vyhnout. Například „Otevřená reference“ a „Otevřené předvolby“ je příliš pravděpodobné, že je lze zaměnit.
• Vyhněte se systémovým příkazům. Ujistěte se, že váš program nepřepíše hlasové příkazy, které jsou již rezervovány systémem. Pokud je příkaz jako „domovská obrazovka“ vyhrazen zařízením AR, nepřeprogramujte tento příkaz tak, aby ve vaší aplikaci vykonával různé funkce.
• Poskytnout zpětnou vazbu. Hlasové interakce by měly uživateli poskytovat stejnou úroveň zpětné vazby jako standardní metody interakce. Pokud uživatel používá hlasové příkazy, poskytněte mu zpětnou vazbu, že vaše aplikace příkaz slyšela a pochopila. Jedním ze způsobů, jak toho dosáhnout, by bylo poskytnout na obrazovce text toho, jaké příkazy systém interpretoval od uživatele. To uživateli poskytne zpětnou vazbu o tom, jak systém rozumí jeho příkazům, a umožní mu v případě potřeby příkazy upravit.