Designa Augmented Reality-appar: Interagera med objekt

När du bestämmer dig för att designa din förstärkta verklighetsapp måste du överväga hur användaren kommer att interagera med objekt. Det mesta av virtuell verklighet (VR)-interaktion sker via en rörelsekontroller, men de flesta headsetbaserade augmented reality-enheter (AR) använder en kombination av blick och handspårning för interaktion. Ofta använder AR-headset blickbaserad navigering för att spåra var en användare letar efter objekt i miljön. När ett objekt är inriktat kommer en användare ofta att interagera med objektet via handgester.

Som sådan måste du designa din AR-upplevelse för att hålla användarens händer inom headsetets igenkänningsområde och arbeta med varje headsets specifika uppsättning av gester. Att utbilda användaren om området för igenkänning av gester – och att meddela användare när deras gester är nära gränserna – kan bidra till att skapa en mer framgångsrik användarupplevelse.

Eftersom detta sätt att interagera är nytt för nästan alla, är det viktigt att hålla interaktioner så enkla som möjligt. De flesta av dina användare kommer redan att genomgå en inlärningskurva för att interagera i AR, för att ta reda på gesterna för deras specifika enhet (eftersom en universell AR-gestuppsättning har ännu inte utvecklats). De flesta AR-headset som använder handspårning kommer med en standarduppsättning kärngester. Försök att hålla fast vid dessa färdigförpackade gester och undvik att överväldiga dina användare genom att introducera nya gester som är specifika för din applikation.

Bilden nedan ger exempel på de två centrala gesterna för HoloLens , "Air Tap" (A) och "Bloom" (B). En Air Tap liknar ett musklick på en vanlig 2D-skärm. En användare håller fingret i redo-positionen och trycker ned fingret för att välja eller klicka på objektet som riktas via användarens blick. "Bloom"-gesten är en universell gest för att skicka en användare till Start-menyn. En användare håller ihop fingertopparna och öppnar sedan sin hand.

Microsofts exempel på en användare som utför en "Air Tap" (A) och en "Bloom" (B).

Att ta tag i ett föremål i den verkliga världen ger en användare feedback som känslan av föremålet, vikten av föremålet i handen och så vidare. Handgester gjorda för att välja virtuella hologram kommer att ge användaren ingen av denna standard taktil feedback. Så det är viktigt att meddela användaren om tillståndet för digitala hologram i miljön på olika sätt.

Ge användaren ledtrådar om tillståndet för ett objekt eller miljön, särskilt när användaren försöker placera eller interagera med digitala hologram. Till exempel, om din användare ska placera ett digitalt hologram i 3D-rymden, kan tillhandahållande av en visuell indikator hjälpa henne att kommunicera var objektet kommer att placeras. Om användaren kan interagera med ett objekt i din scen, kanske du vill visuellt indikera det på objektet, eventuellt använda närhet för att varna användaren om att hon närmar sig ett objekt som hon kan interagera med. Om din användare försöker välja ett objekt bland många, markera objektet som hon för närvarande har valt och ge ljudsignaler för hennes handlingar.

Den här bilden visar hur Meta 2 väljer att visa denna feedback för användaren. En cirkel med en ring dyker upp på baksidan av en användares hand när han närmar sig ett interaktivt objekt (A). När användarens hand närmar sig en knytnäve, blir ringen mindre (B) och närmar sig mittcirkeln. En ring som rör vid cirkeln indikerar ett lyckat grepp (C). En användares hand som rör sig nära sensorns kant upptäcks också och flaggas via en röd indikator och ett varningsmeddelande (D).

En skärmdump av in-headsetvyn av en Meta 2-draginteraktion.

Interaktion med mobila enheter i AR-appar

Många av designprinciperna för AR gäller både headset och mobila upplevelser . Det finns dock en avsevärd skillnad mellan den interaktiva funktionen hos AR-headset och mobila AR-upplevelser. På grund av formfaktorskillnaderna mellan AR-headset och AR-mobila enheter kräver interaktion några olika regler.

Att hålla interaktioner enkla och ge feedback när du placerar eller interagerar med ett objekt är regler som gäller för både headset och mobila AR-upplevelser. Men den mesta interaktionen för användare på mobila enheter kommer att ske genom gester på enhetens pekskärm istället för att användare direkt manipulerar 3D-objekt eller använder handgester i 3D-rymden.

Ett antal bibliotek, som ManoMotion , kan tillhandahålla 3D-gesterhandspårning och gestigenkänning för att kontrollera hologram i mobila AR-upplevelser. Dessa bibliotek kan vara värda att utforska beroende på kraven för din app. Kom bara ihåg att din användare sannolikt kommer att hålla enheten i ena handen medan de upplever din app, vilket potentiellt gör det besvärligt att försöka föra in sin andra hand framför en bakåtvänd kamera.

Dina användare förstår sannolikt redan mobila enhetsgester som att trycka med ett finger, dra, nypa och rotera med två fingrar och så vidare. De flesta användare förstår dock dessa interaktioner i förhållande till skärmens tvådimensionella värld istället för den verkliga världens tre dimensioner.

Efter att ett hologram har placerats i rymden, överväg att tillåta rörelse av det hologrammet i endast två dimensioner, vilket i huvudsak låter det bara glida över ytan som det placerades på. På samma sätt kan du överväga att begränsa objektrotationen till en enda axel. Att tillåta rörelse eller rotation på alla tre axlarna kan snabbt bli mycket förvirrande för slutanvändaren och resultera i oavsiktliga konsekvenser eller placering av hologrammen.

Om du roterar ett objekt, överväg att tillåta rotation endast runt y- axeln. Låsning av dessa rörelser förhindrar din användare från att oavsiktligt flytta objekt på oförutsägbara sätt. Du kanske också vill skapa en metod för att "ångra" alla oavsiktliga rörelser av dina hologram, eftersom att placera dessa hologram i verkliga rymden kan vara en utmaning för dina användare att få rätt.

De flesta mobila enheter stöder en "nypa" interaktion med skärmen för att antingen zooma in på ett område eller skala ett objekt. Eftersom en användare befinner sig i en fast punkt i rymden i både den verkliga världen och hologramvärlden, vill du förmodligen inte använda den här gesten för att zooma in AR.

På samma sätt kan du överväga att eliminera en användares förmåga att skala ett objekt i AR. En tvåfingrad nypgest för skala är en standardinteraktion för mobilanvändare. I AR är denna skala gest ofta inte vettig. AR hologram 3D-modeller är ofta en bestämd storlek. Det visuella utseendet på storleken på 3D-modellen påverkas av avståndet från AR-enheten. En användare som skalar ett objekt på plats för att få objektet att se närmare kameran är egentligen bara att göra objektet större på plats, ofta inte vad användaren tänkt sig. Nyp-till-skala kan fortfarande användas i AR, men dess användning bör övervägas noggrant.

Röstinteraktion i AR-appar

Vissa AR-enheter har även stöd för röstinteraktion. Även om interaktionen för de flesta AR-headset främst är blick och gester, för de headset med röstfunktioner måste du överväga hur man använder alla metoder för interaktion och hur man får dem att fungera bra tillsammans. Röstkontroller kan vara ett mycket bekvämt sätt att styra din applikation. När processorkraften växer exponentiellt kan du förvänta dig att röststyrning introduceras och förfinas ytterligare på AR-headset.

Här är några saker att tänka på när du utvecklar röstkommandon för AR-enheter som stöder den här funktionen:

• Använd enkla kommandon. Att hålla dina kommandon enkla hjälper till att undvika potentiella problem med användare som talar med olika dialekter eller accenter. Det minimerar också inlärningskurvan för din applikation. Till exempel är "Läs mer" sannolikt ett bättre val än "Ge ytterligare information om det valda objektet."
• Se till att röstkommandon kan ångras. Röstinteraktioner kan ibland utlösas oavsiktligt genom att fånga ljud från andra i närheten. Se till att alla röstkommandon kan ångras om en oavsiktlig interaktion utlöses.
• Eliminera liknande klingande interaktioner. För att förhindra att din användare utlöser felaktiga åtgärder, eliminera alla talade kommandon som kan låta liknande men utföra olika åtgärder. Till exempel, om "Läs mer" utför en viss åtgärd i din applikation (som att avslöja mer text), bör den alltid utföra samma interaktion genom hela applikationen. Liknande kommandon bör också undvikas. Till exempel, "Öppen referens" och "Öppna inställningar" är alldeles för sannolikt att misstas för varandra.
• Undvik systemkommandon. Se till att ditt program inte åsidosätter röstkommandon som redan reserverats av systemet. Om ett kommando som "hemskärm" är reserverat av AR-enheten, programmera inte om det kommandot för att utföra olika funktioner i din applikation.
• Ge feedback. Röstinteraktioner bör ge en användare samma nivå av feedback som standardinteraktionsmetoder. Om en användare använder röstkommandon, ge feedback om att din applikation hörde och förstod kommandot. En metod för att göra det skulle vara att tillhandahålla text på skärmen med vilka kommandon systemet tolkade från användaren. Detta kommer att ge användaren feedback om hur systemet förstår hans kommandon och tillåta honom att justera sina kommandon om det behövs.