Проектування додатків доповненої реальності: взаємодія з об’єктами

Коли ви збираєтеся розробити свій додаток доповненої реальності, вам потрібно буде враховувати, як користувач буде взаємодіяти з об’єктами. Більшість взаємодії у віртуальній реальності (VR) відбувається через контролер руху, але більшість пристроїв доповненої реальності (AR) на основі гарнітур використовують для взаємодії комбінацію погляду та відстеження рук. Часто гарнітури з доповненою реальністю використовують навігацію на основі погляду, щоб відстежувати, де користувач шукає цілі на предмети в середовищі. Коли об’єкт націлений, користувач часто взаємодіє з ним за допомогою жестів руками.

Таким чином, вам потрібно створити свій досвід доповненої реальності, щоб тримати руки користувача в зоні розпізнавання гарнітури та працювати з певним набором жестів кожної гарнітури. Ознайомлення користувачів із зоною розпізнавання жестів — і сповіщення користувачів, коли їхні жести наближаються до кордонів — може допомогти створити більш успішний досвід користувача.

Оскільки цей спосіб взаємодії є новим майже для всіх, важливо підтримувати взаємодію якомога простішою. Більшість ваших користувачів вже пройдуть криву навчання для взаємодії в AR, з’ясування жестів для свого конкретного пристрою (оскільки універсальний набір жестів AR ще не розроблено). Більшість гарнітур AR, які використовують відстеження рук, мають стандартний набір основних жестів. Намагайтеся дотримуватися цих готових жестів і не перевантажувати користувачів, вводячи нові жести, характерні для вашої програми.

На зображенні нижче наведено приклади двох основних жестів для HoloLens , «Air Tap» (A) і «Bloom» (B). Air Tap схожий на клацання мишею на стандартному 2D-екрані. Користувач тримає палець у положенні готовності й натискає палець вниз, щоб вибрати або клацнути об’єкт, на який націлено поглядом користувача. Жест «Bloom» — це універсальний жест для відправлення користувача до меню «Пуск». Користувач тримає кінчики пальців разом, а потім відкриває руку.

Приклад Microsoft, коли користувач виконує «Air Tap» (A) і «Bloom» (B).

Схоплення об’єкта в реальному світі дає користувачеві зворотний зв’язок, наприклад відчуття об’єкта, вагу об’єкта в його руці тощо. Жести руками, зроблені для вибору віртуальних голограм, не нададуть користувачеві жодного стандартного тактильного зворотного зв’язку. Тому важливо по-різному сповіщати користувача про стан цифрових голограм у навколишньому середовищі.

Надайте користувачеві підказки щодо стану об’єкта чи середовища, особливо коли користувач намагається розмістити цифрові голограми чи взаємодіяти з ними. Наприклад, якщо ваш користувач повинен розмістити цифрову голограму в тривимірному просторі, надання візуального індикатора може допомогти їй повідомити, де буде розміщений об’єкт. Якщо користувач може взаємодіяти з об’єктом у вашій сцені, ви можете візуально вказати це на об’єкті, потенційно використовуючи близькість, щоб попередити користувача, що він наближається до об’єкта, з яким може взаємодіяти. Якщо ваш користувач намагається вибрати один об’єкт із багатьох, виділіть об’єкт, який він зараз вибрав, і надайте звукові сигнали для її дій.

На цьому зображенні показано, як Meta 2 відображає цей відгук користувачеві. Коло з кільцем з’являється на тильній стороні долоні користувача, коли він наближається до інтерактивного об’єкта (A). Коли рука користувача наближається до кулака, кільце стає менше (B) і наближається до центрального кола. Кільце, що торкається кола, вказує на успішне захоплення (С). Рука користувача, що рухається близько до краю датчика, також виявляється та позначається червоним індикатором та попереджувальним повідомленням (D).

Знімок екрана, на якому в гарнітурі відображається взаємодія перетягування Meta 2.

Взаємодія з мобільним пристроєм у додатках AR

Багато принципів дизайну AR стосуються як гарнітур, так і мобільних пристроїв . Однак існує значна різниця між інтерактивною функціональністю гарнітур AR та мобільним досвідом AR. Через відмінності форм-факторів між гарнітурами AR та мобільними пристроями AR, взаємодія вимагає деяких інших правил.

Збереження простоти взаємодії та надання зворотного зв’язку під час розміщення або взаємодії з об’єктом — це правила, які застосовуються як до гарнітури, так і до мобільної доповненої реальності. Але більшість взаємодії користувачів на мобільних пристроях відбуватиметься за допомогою жестів на сенсорному екрані пристрою замість того, щоб користувачі безпосередньо маніпулювали 3D-об’єктами або використовували жести руками в 3D-просторі.

Ряд бібліотек, таких як ManoMotion , можуть надавати тривимірне відстеження жестів і розпізнавання жестів для керування голограмами в мобільних доповненій реальності . Ці бібліотеки варто вивчити залежно від вимог вашої програми. Просто пам’ятайте, що ваш користувач, швидше за все, буде тримати пристрій в одній руці під час роботи з вашим додатком, що може зробити його незручним, якщо спробувати також вставити її іншу руку перед задньою камерою.

Ваші користувачі, ймовірно, вже розуміють жести мобільного пристрою, такі як натискання одним пальцем, перетягування, стискання та обертання двома пальцями тощо. Однак більшість користувачів розуміють ці взаємодії щодо двовимірного світу екрана замість трьох вимірів реального світу.

Після розміщення голограми в просторі розглянемо можливість переміщення цієї голограми лише в двох вимірах, по суті дозволяючи їй лише ковзати по поверхні, на якій вона була розміщена. Аналогічно розглянемо обмеження обертання об’єкта однією віссю. Дозвіл переміщення або обертання за всіма трьома осями може швидко заплутати кінцевого користувача і призвести до непередбачуваних наслідків або розміщення голограм.

Якщо ви обертаєте об’єкт, подумайте про можливість обертання лише навколо осі y . Блокування цих рухів запобігає вашому користувачеві від випадкового зміщення об’єктів непередбачуваним чином. Ви також можете створити метод для «скасування» будь-якого ненавмисного переміщення ваших голограм, оскільки розміщення цих голограм у реальному просторі може бути складним для ваших користувачів, щоб виправитися.

Більшість мобільних пристроїв підтримують взаємодію «щипком» з екраном для збільшення або масштабування об’єкта. Оскільки користувач перебуває у фіксованій точці простору як у реальному, так і в голограмному світі, ви, ймовірно, не захочете використовувати цей жест для збільшення масштабу в AR.

Подібним чином подумайте про те, щоб виключити можливість користувача масштабувати об’єкт у AR. Жест двома пальцями для масштабування є стандартною взаємодією для користувачів мобільних пристроїв. У AR цей жест масштабування часто не має сенсу. 3D-моделі голограми AR часто мають встановлений розмір. На візуальний вигляд розміру 3D-моделі впливає відстань від пристрою AR. Користувач, який масштабує об’єкт на місці, щоб об’єкт виглядав ближче до камери, насправді просто збільшує об’єкт на місці, часто не те, що задумав користувач. Зведення до масштабу все ще може використовуватися в AR, але його використання слід уважно розглянути.

Голосова взаємодія в програмах AR

Деякі пристрої AR також підтримують можливості голосової взаємодії. Хоча взаємодія для більшості гарнітур AR – це насамперед погляд і жести, для гарнітур з голосовими можливостями вам потрібно подумати, як використовувати всі методи взаємодії та як змусити їх добре працювати разом. Голосове керування може бути дуже зручним способом керування програмою. Оскільки обчислювальна потужність зростає в геометричній прогресії, очікуйте, що голосове керування буде впроваджено та вдосконалено на гарнітурах AR.

Розробляючи голосові команди для пристроїв AR, які підтримують цю функцію, слід пам’ятати про деякі речі:

• Використовуйте прості команди. Прості команди допоможуть уникнути потенційних проблем, коли користувачі говорять різними діалектами або акцентами. Це також мінімізує криву навчання вашої програми. Наприклад, «Читати більше», ймовірно, кращий вибір, ніж «Надати додаткову інформацію про вибраний елемент».
• Переконайтеся, що голосові команди можна скасувати. Інколи голосова взаємодія може бути викликана випадково, записуючи аудіо інших людей поблизу. Переконайтеся, що будь-яку голосову команду можна скасувати, якщо виникне випадкова взаємодія.
• Усуньте схожі за звучанням взаємодії. Щоб запобігти здійсненню невірних дій вашим користувачем, виключіть будь-які голосові команди, які можуть звучати подібно, але виконувати різні дії. Наприклад, якщо «Читати більше» виконує певну дію у вашій програмі (наприклад, показує більше тексту), вона завжди має виконувати ту саму взаємодію у вашій програмі. Також слід уникати подібних за звучанням команд. Наприклад, «Відкритий посилання» та «Відкриті параметри» занадто імовірно, щоб бути помилково прийнятими один за одного.
• Уникайте системних команд. Переконайтеся, що ваша програма не замінює голосові команди, які вже зарезервовані системою. Якщо пристроєм AR зарезервовано таку команду, як «домашній екран», не перепрограмуйте цю команду для виконання інших функцій у вашій програмі.
• Забезпечити зворотній звязок. Голосові взаємодії повинні надавати користувачеві такий самий рівень сигналів зворотного зв’язку, що й стандартні методи взаємодії. Якщо користувач використовує голосові команди, надайте відгук, що ваша програма почула та зрозуміла команду. Одним із способів зробити це було б надання на екрані тексту того, які команди система інтерпретувала від користувача. Це надасть користувачеві зворотний зв’язок щодо того, як система розуміє його команди, і дозволить йому налаштувати свої команди, якщо це необхідно.