Lisätyn todellisuuden sovellusten suunnittelu: vuorovaikutus esineiden kanssa

Kun suunnittelet lisätyn todellisuuden sovellustasi, sinun on harkittava, kuinka käyttäjä on vuorovaikutuksessa esineiden kanssa. Suurin osa virtuaalitodellisuuden (VR) vuorovaikutuksesta tapahtuu liikeohjaimen kautta, mutta useimmat kuulokemikrofoneihin perustuvat lisätyn todellisuuden (AR) laitteet käyttävät vuorovaikutukseen katseen ja käden seurannan yhdistelmää. AR-kuulokkeet käyttävät usein katsepohjaista navigointia seuratakseen, mihin käyttäjä haluaa kohdistaa kohteita ympäristössä. Kun kohde on kohdistettu, käyttäjä on usein vuorovaikutuksessa sen kanssa käsieleillä.

Sellaisenaan sinun on suunniteltava AR-kokemuksesi niin, että käyttäjän kädet pysyvät kuulokkeiden tunnistusalueella ja toimivat kunkin kuulokkeen erityisten eleiden kanssa. Käyttäjän kouluttaminen eleiden tunnistusalueesta – ja käyttäjille ilmoittaminen, kun heidän eleensä ovat lähellä rajoja – voi auttaa luomaan onnistuneemman käyttökokemuksen.

Koska tämä vuorovaikutustapa on uusi lähes kaikille, on tärkeää pitää vuorovaikutus mahdollisimman yksinkertaisena. Suurin osa käyttäjistäsi käy jo läpi AR-vuorovaikutuksen oppimiskäyrän, joka selvittää laitteensa eleitä (koska yleismaailmallista AR-elesarjaa ei ole vielä kehitetty). Useimmissa käsiseurantaa käyttävissä AR-kuulokkeissa on vakioeleet. Yritä pitää kiinni näistä valmiiksi pakatuista eleistä ja vältä käyttäjiäsi kuormittamasta ottamalla käyttöön uusia sovelluskohtaisia ​​eleitä.

Alla olevassa kuvassa on esimerkkejä HoloLensin kahdesta ydineleestä , "Air Tap" (A) ja "Bloom" (B). Air Tap on samanlainen kuin hiiren napsautus tavallisessa 2D-näytössä. Käyttäjä pitää sormeaan valmiusasennossa ja painaa sormea ​​alas valitakseen tai napsauttaakseen käyttäjän katseella kohdistetun kohteen. "Bloom"-ele on yleinen ele, jolla käyttäjä lähetetään Käynnistä-valikkoon. Käyttäjä pitää sormenpäänsä yhdessä ja avaa sitten kätensä.

Microsoftin esimerkki käyttäjästä, joka suorittaa "Air Tap" (A) ja "Bloom" (B).

Esineen tarttuminen todellisessa maailmassa antaa käyttäjälle palautetta, kuten kohteen tunteen, kädessään olevan esineen painon ja niin edelleen. Virtuaalihologrammien valitsemiseksi tehdyt käsieleet eivät anna käyttäjälle mitään tätä standardia kosketeltavaa palautetta. Siksi on tärkeää ilmoittaa käyttäjälle digitaalisten hologrammien tilasta ympäristössä eri tavoin.

Anna käyttäjälle vihjeitä kohteen tai ympäristön tilasta, varsinkin kun käyttäjä yrittää sijoittaa digitaalisia hologrammeja tai olla vuorovaikutuksessa niiden kanssa. Jos esimerkiksi käyttäjäsi on tarkoitus sijoittaa digitaalinen hologrammi 3D-avaruuteen, visuaalisen ilmaisimen tarjoaminen voi auttaa viestimään hänelle, mihin esine sijoitetaan. Jos käyttäjä voi olla vuorovaikutuksessa kohtauksessasi olevan kohteen kanssa, saatat haluta osoittaa sen visuaalisesti objektissa ja mahdollisesti käyttää läheisyyttä varoittaakseen käyttäjää, että hän lähestyy kohdetta, jonka kanssa hän voi olla vuorovaikutuksessa. Jos käyttäjä yrittää valita yhden kohteen monista, korosta kohde, jonka hän on tällä hetkellä valinnut, ja anna äänimerkkejä hänen toimilleen.

Tämä kuva näyttää, kuinka Meta 2 päättää näyttää tämän palautteen käyttäjälle. Ympyrä, jossa on rengas, ilmestyy käyttäjän käteen, kun hän lähestyy interaktiivista objektia (A). Kun käyttäjän käsi sulkeutuu nyrkkiin, rengas pienenee (B) ja lähestyy keskiympyrää. Ympyrää koskettava rengas osoittaa onnistuneen tarttumisen (C). Myös käyttäjän käsi, joka liikkuu lähellä anturin reunaa, havaitaan ja merkitään punaisella merkkivalolla ja varoitusviestillä (D).

Näyttökaappaus kuulokkeiden sisäisestä näkymästä Meta 2 -vetovuorovaikutuksesta.

Mobiililaitteiden vuorovaikutus AR-sovelluksissa

Monet AR:n suunnitteluperiaatteet koskevat sekä kuulokkeita että mobiilikokemuksia . AR-kuulokkeiden interaktiivisten toimintojen ja mobiili-AR-kokemusten välillä on kuitenkin huomattava ero. AR-kuulokkeiden ja AR-mobiililaitteiden välisten muototekijöiden erojen vuoksi vuorovaikutus vaatii erilaisia ​​sääntöjä.

Vuorovaikutuksen pitäminen yksinkertaisena ja palautteen antaminen esineen sijoittamisessa tai vuorovaikutuksessa sen kanssa ovat sääntöjä, jotka koskevat sekä kuulokemikrofonin että mobiilin AR-kokemuksia. Suurin osa mobiililaitteiden käyttäjien vuorovaikutuksesta tapahtuu kuitenkin laitteen kosketusnäytön eleillä sen sijaan, että käyttäjät manipuloisivat suoraan 3D-objekteja tai käyttäisivät käsieleitä 3D-tilassa.

Useat kirjastot, kuten ManoMotion , voivat tarjota 3D- elekäden seurantaa ja eleiden tunnistusta hologrammien ohjaamiseen mobiili-AR-kokemuksissa. Nämä kirjastot saattavat olla tutkimisen arvoisia sovelluksesi vaatimuksista riippuen. Muista vain, että käyttäjäsi todennäköisesti pitää laitetta toisessa kädessään, kun hän kokee sovelluksesi, jolloin voi olla hankalaa yrittää työntää toisen kätensä myös taaksepäin suunnatun kameran eteen.

Käyttäjäsi todennäköisesti ymmärtävät jo mobiililaitteiden eleitä, kuten yhden sormen napautuksia, vetämistä, kahden sormen nipistämistä ja pyörittämistä ja niin edelleen. Useimmat käyttäjät kuitenkin ymmärtävät nämä vuorovaikutukset suhteessa näytön kaksiulotteiseen maailmaan todellisen maailman kolmen ulottuvuuden sijaan.

Kun hologrammi on asetettu avaruuteen, harkitse hologrammin liikkumisen sallimista vain kahdessa ulottuvuudessa, jolloin se voi käytännössä vain liukua sen pinnan poikki, jolle se asetettiin. Harkitse samalla tavalla objektin pyörimisen rajoittamista yhdelle akselille. Liikkeen tai pyörimisen salliminen kaikilla kolmella akselilla voi nopeasti tulla hyvin hämmentäväksi loppukäyttäjälle ja johtaa tahattomiin seurauksiin tai hologrammien sijoittamiseen.

Jos pyörität objektia, harkitse pyörityksen sallimista vain y- akselin ympäri . Näiden liikkeiden lukitseminen estää käyttäjää vahingossa siirtämästä esineitä arvaamattomilla tavoilla. Haluat ehkä myös luoda menetelmän hologrammiesi tahattoman liikkeen "kumoamiseksi", koska näiden hologrammien sijoittaminen todelliseen tilaan voi olla haastavaa käyttäjillesi.

Useimmat mobiililaitteet tukevat "nipistämistä" näytön kanssa joko alueen lähentämiseksi tai kohteen skaalaamiseksi. Koska käyttäjä on kiinteässä pisteessä avaruudessa sekä todellisessa että hologrammimaailmassa, et todennäköisesti halua käyttää tätä elettä AR:n zoomaukseen.

Harkitse samalla tavalla käyttäjän kyvyn skaalata objektia AR:ssa poistamista. Kahden sormen nipistys skaalaamiseksi on tavallinen vuorovaikutus mobiilikäyttäjille. AR:ssä tämä asteikkoele ei useinkaan ole järkevää. AR-hologrammi 3D-mallit ovat usein määrätyn kokoisia. 3D-mallin koon visuaaliseen ulkonäköön vaikuttaa etäisyys AR-laitteesta. Käyttäjä, joka skaalaa kohteen paikoilleen saadakseen kohteen näyttämään lähemmäs kameraa, tekee itse asiassa vain suuremman kohteen paikallaan, usein ei käyttäjän tarkoittamalla tavalla. Pinch-to-scale voidaan edelleen käyttää AR:ssä, mutta sen käyttöä tulee harkita harkiten.

Äänivuorovaikutus AR-sovelluksissa

Jotkut AR-laitteet tukevat myös äänivuorovaikutusominaisuuksia. Vaikka useimpien AR-kuulokkeiden vuorovaikutus on ensisijaisesti katsetta ja eleitä, ääniominaisuuksilla varustetuissa kuulokkeissa on harkittava, kuinka hyödyntää kaikkia vuorovaikutustapoja ja miten ne saadaan toimimaan hyvin yhdessä. Ääniohjaukset voivat olla erittäin kätevä tapa hallita sovellustasi. Prosessointitehon kasvaessa eksponentiaalisesti voit odottaa puheohjauksen ottavan käyttöön ja parannettavan edelleen AR-kuulokkeissa.

Tässä on joitain asioita, jotka tulee pitää mielessä, kun kehität äänikomentoja tätä ominaisuutta tukeville AR-laitteille:

• Käytä yksinkertaisia ​​komentoja. Komennon pitäminen yksinkertaisena auttaa välttämään mahdollisia ongelmia käyttäjille, jotka puhuvat eri murteilla tai aksenteilla. Se myös minimoi sovelluksesi oppimiskäyrän. Esimerkiksi "Lue lisää" on todennäköisesti parempi valinta kuin "Anna lisätietoja valitusta tuotteesta".
• Varmista, että äänikomennot voidaan kumota. Äänivuorovaikutus voi joskus käynnistyä vahingossa sieppaamalla muiden lähellä olevien ihmisten ääntä. Varmista, että kaikki äänikomennot voidaan kumota, jos vahingossa tapahtuu vuorovaikutus.
• Poista samanlaiselta kuulostavat vuorovaikutukset. Estä käyttäjää käynnistämästä virheellisiä toimintoja poistamalla kaikki puhutut komennot, jotka saattavat kuulostaa samalta mutta suorittavat erilaisia ​​toimintoja. Jos esimerkiksi "Lue lisää" suorittaa tietyn toiminnon sovelluksessasi (kuten paljastaa lisää tekstiä), sen tulee aina suorittaa sama vuorovaikutus koko sovelluksessasi. Samalla kuulostavia komentoja tulee myös välttää. Esimerkiksi "Avoin viittaus" ja "Avoimet asetukset" on aivan liian todennäköisesti erehtynyt toisiinsa.
• Vältä järjestelmäkomentoja. Varmista, että ohjelmasi ei ohita järjestelmän jo varaamia äänikomentoja. Jos AR-laite varaa komennon, kuten "aloitusnäyttö", älä ohjelmoi komentoa uudelleen suorittamaan erilaisia ​​toimintoja sovelluksessasi.
• Antaa palautetta. Äänivuorovaikutusten tulee tarjota käyttäjälle samantasoisia palautevihjeitä kuin tavalliset vuorovaikutusmenetelmät. Jos käyttäjä käyttää äänikomentoja, anna palautetta siitä, että sovelluksesi kuuli ja ymmärsi komennon. Yksi tapa tehdä niin olisi tarjota näytölle tekstiä siitä, mitä komentoja järjestelmä tulkitsi käyttäjältä. Tämä antaa käyttäjälle palautetta siitä, kuinka järjestelmä ymmärtää hänen komentojaan, ja antaa hänelle mahdollisuuden säätää komentojaan tarvittaessa.