Проектиране на приложения за разширена реалност: взаимодействие с обекти

Докато се стремите да проектирате своето приложение за разширена реалност, ще трябва да помислите как потребителят ще взаимодейства с обекти. Повечето взаимодействия с виртуална реалност (VR) се осъществяват чрез контролер за движение, но повечето базирани на слушалки устройства с разширена реалност (AR) използват комбинация от поглед и проследяване на ръцете за взаимодействие. Често слушалките с AR използват навигация, базирана на поглед, за да проследяват къде потребителят търси да насочи елементи в средата. Когато даден елемент е насочен, потребителят често ще взаимодейства с този артикул чрез жестове с ръце.

Като такъв, трябва да проектирате вашето AR изживяване, за да държите ръцете на потребителя в зоната на разпознаване на слушалките и да работите със специфичния набор от жестове на всяка слушалка. Обучаването на потребителя за областта на разпознаване на жестове – и уведомяването на потребителите, когато жестовете им са близо до границите – може да помогне за създаването на по-успешно потребителско изживяване.

Тъй като този начин на взаимодействие е нов за почти всички, е важно да поддържате взаимодействията възможно най-прости. Повечето от вашите потребители вече ще преминат през крива на обучение за взаимодействие в AR, измисляне на жестовете за тяхното конкретно устройство (тъй като универсален набор от жестове за AR все още не е разработен). Повечето AR слушалки, които използват проследяване на ръцете, се предлагат със стандартен набор от основни жестове. Опитайте се да се придържате към тези предварително опаковани жестове и избягвайте да претоварвате потребителите си, като въвеждате нови жестове, специфични за вашето приложение.

Изображението по-долу дава примери за двата основни жеста за HoloLens , „Air Tap“ (A) и „Bloom“ (B). Air Tap е подобно на щракване с мишката в стандартен 2D екран. Потребителят държи пръста си в готово положение и натиска пръста си надолу, за да избере или щракне върху обекта, насочен чрез погледа на потребителя. Жестът „Bloom“ е универсален жест за изпращане на потребител до менюто „Старт“. Потребителят държи върховете на пръстите си заедно и след това отваря ръката си.

Пример на Microsoft за потребител, изпълняващ „Air Tap“ (A) и „Bloom“ (B).

Грабването на обект в реалния свят дава на потребителя обратна връзка, като усещането за обекта, теглото на обекта в ръката му и т.н. Жестовете с ръце, направени за избор на виртуални холограми, няма да осигурят на потребителя нито една от тази стандартна тактилна обратна връзка. Затова е важно да уведомявате потребителя за състоянието на цифровите холограми в околната среда по различни начини.

Предоставете на потребителя сигнали за състоянието на обект или околната среда, особено когато потребителят се опитва да постави или взаимодейства с цифрови холограми. Например, ако вашият потребител трябва да постави цифрова холограма в 3D пространство, предоставянето на визуален индикатор може да й помогне да съобщи къде ще бъде поставен обектът. Ако потребителят може да взаимодейства с обект във вашата сцена, може да искате да посочите визуално това върху обекта, като потенциално използвате близост, за да предупреди потребителя, че се приближава към обект, с който може да взаимодейства. Ако вашият потребител се опитва да избере един обект измежду много, маркирайте елемента, който в момента е избрал, и предоставете звукови сигнали за нейните действия.

Това изображение показва как Meta 2 избира да покаже тази обратна връзка на потребителя. На гърба на ръката на потребителя се появява кръг с пръстен, когато той се приближава до интерактивен обект (A). Когато ръката на потребителя се приближава до юмрук, пръстенът става по-малък (B) и се приближава до централния кръг. Пръстен, докосващ кръга, показва успешно грабване (C). Ръката на потребителя, която се движи близо до ръба на сензора, също се открива и маркира чрез червен индикатор и предупредително съобщение (D).

Екранно заснемане на изглед в слушалките на взаимодействие с плъзгане на Meta 2.

Взаимодействие с мобилно устройство в AR приложения

Много от принципите на проектиране за AR важат както за слушалки, така и за мобилни изживявания . Въпреки това, има значителна разлика между интерактивната функционалност на AR слушалките и мобилните AR изживявания. Поради разликите във форм-фактора между слушалките с AR и мобилните устройства с AR, взаимодействието изисква някои различни правила.

Поддържането на взаимодействията опростени и предоставянето на обратна връзка при поставяне или взаимодействие с обект са правила, които важат както за слушалки, така и за мобилни AR изживявания. Но повечето взаимодействия за потребителите на мобилни устройства ще се осъществят чрез жестове на сензорния екран на устройството, вместо потребителите да манипулират директно 3D обекти или да използват жестове с ръце в 3D пространство.

Редица библиотеки, като ManoMotion , могат да осигурят 3D проследяване на жестове и разпознаване на жестове за контролиране на холограми в мобилни AR изживявания. Тези библиотеки може да си струва да се проучат в зависимост от изискванията на вашето приложение. Само не забравяйте, че вашият потребител вероятно ще държи устройството в една ръка, докато изживява вашето приложение, което потенциално ще направи неудобно да опитате да поставите и другата си ръка пред камера, обърната назад.

Вашите потребители вероятно вече разбират жестове на мобилни устройства като докосвания с един пръст, плъзгане, прищипване и завъртане с два пръста и т.н. Въпреки това повечето потребители разбират тези взаимодействия във връзка с двуизмерния свят на екрана вместо триизмерния на реалния свят.

След като холограмата бъде поставена в пространството, помислете дали да разрешите движението на тази холограма само в две измерения, което по същество й позволява да се плъзга само по повърхността, върху която е поставена. По същия начин, помислете за ограничаване на въртенето на обекта до една ос. Разрешаването на движение или въртене по трите оси може бързо да стане много объркващо за крайния потребител и да доведе до непредвидени последици или поставяне на холограмите.

Ако въртите обект, помислете за разрешаване на въртене само около оста y . Заключването на тези движения предпазва вашия потребител от непреднамерено преместване на обекти по непредвидими начини. Може също да искате да създадете метод за „отмяна“ на всяко неволно движение на вашите холограми, тъй като поставянето на тези холограми в реалното пространство може да бъде предизвикателство за вашите потребители да се оправят.

Повечето мобилни устройства поддържат взаимодействие с „щипване“ с екрана за приближаване на дадена област или мащабиране на обект. Тъй като потребителят е във фиксирана точка в пространството както в реалния свят, така и в света на холограмата, вероятно няма да искате да използвате този жест за увеличаване на AR.

По същия начин, помислете за премахване на способността на потребителя да мащабира обект в AR. Жестът с прищипване с два пръста за мащаб е стандартно взаимодействие за мобилни потребители. В AR този жест за мащабиране често няма смисъл. AR холограмните 3D модели често са с определен размер. Визуалният вид на размера на 3D модела се влияе от разстоянието от AR устройството. Потребител, който мащабира обект на място, за да накара обекта да изглежда по-близо до камерата, всъщност просто прави обекта по-голям на място, често не това, което потребителят е предвидил. Възможно е все още да се използва щипка до мащаб в AR, но използването му трябва да се обмисли внимателно.

Гласово взаимодействие в AR приложения

Някои AR устройства също поддържат възможности за гласово взаимодействие. Въпреки че взаимодействието за повечето AR слушалки е предимно поглед и жестове, за тези слушалки с гласови възможности трябва да помислите как да използвате всички методи на взаимодействие и как да ги накарате да работят добре заедно. Гласовите контроли могат да бъдат много удобен начин за управление на вашето приложение. Тъй като процесорната мощност нараства експоненциално, очаквайте гласовото управление да бъде въведено и усъвършенствано допълнително в AR слушалките.

Ето някои неща, които трябва да имате предвид, докато разработвате гласови команди за AR устройства, които поддържат тази функция:

• Използвайте прости команди. Поддържането на вашите команди прости ще помогне да се избегнат потенциални проблеми на потребителите, които говорят с различни диалекти или акценти. Освен това минимизира кривата на обучение на вашето приложение. Например „Прочетете повече“ вероятно е по-добър избор от „Предоставете допълнителна информация за избрания елемент“.
• Уверете се, че гласовите команди могат да бъдат отменени. Гласовите взаимодействия понякога могат да бъдат задействани по невнимание чрез заснемане на звук от други хора наблизо. Уверете се, че всяка гласова команда може да бъде отменена, ако се задейства случайно взаимодействие.
• Елиминирайте сходно звучащи взаимодействия. За да попречите на вашия потребител да задейства неправилни действия, елиминирайте всички изговорени команди, които може да звучат подобно, но изпълняват различни действия. Например, ако „Прочетете повече“ изпълнява определено действие във вашето приложение (като разкриване на повече текст), то винаги трябва да извършва едно и също взаимодействие във вашето приложение. Също така трябва да се избягват подобни звучащи команди. Например „Отворена препратка“ и „Отворени предпочитания“ е твърде вероятно да бъдат сбъркани едно с друго.
• Избягвайте системните команди. Уверете се, че програмата ви не отменя гласовите команди, които вече са запазени от системата. Ако команда като „начален екран“ е запазена от AR устройството, не препрограмирайте тази команда, за да изпълнява различна функционалност във вашето приложение.
• Предоставете обратна връзка. Гласовите взаимодействия трябва да предоставят на потребителя същото ниво на сигнали за обратна връзка, което правят стандартните методи за взаимодействие. Ако потребител използва гласови команди, предоставете обратна връзка, че приложението ви е чуло и разбрало командата. Един от методите за това е да се предостави текст на екрана за командите, които системата интерпретира от потребителя. Това ще предостави на потребителя обратна връзка за това как системата разбира неговите команди и ще му позволи да коригира командите си, ако е необходимо.