Problem med Augmented Reality

Det har länge verkat som om förstärkt verklighet existerar i den virtuella verklighetens skugga. Tanken på att besöka helt virtuella världar åtskilda från vår egen har länge fångat allmänhetens fantasi och tagit företräde framför "förstoringen" av vår existerande värld. Å andra sidan har förstärkt verklighet länge haft många praktiska tillämpningar i företagsmiljöer, såsom industriell tillverkning. Detta kan leda till att användare bekantar sig med tekniken på jobbet, vilket potentiellt kan leda till en ökning av konsumentens förstärkta verklighetsanvändning hemma.

Teknikforskningsföretaget Gartner förutspår att virtuell verklighet kommer att nå massintroduktion 2020 till 2023 , medan den förutspår massantagande av förstärkt verklighet några år efter det. Det betyder att det potentiellt kommer att dröja ett decennium innan vi ser en storskalig adoption av förstärkt verklighet, vilket verkar vara en logisk slutsats.

Både virtual reality och augmented reality har tekniska problem att lösa. Augmented reality delar nästan samma problem med virtuell verklighet, men har ytterligare problem att lösa med datorseende för att upptäcka verkliga objekt, unika visningsformfaktorer på transparenta skärmar (om man inte använder en videokamera som genomgång), digitala objekt placering, låsa digitala hologram på plats i den verkliga världen och mycket mer.

Augmented reality: Formfaktorer och första intryck

Augmented realitys största försök att komma ikapp den virtuella verkligheten och kliva in i det allmänna medvetandets rampljus kan också visa sig vara en av de största problemen den har att brottas med. För att uppleva virtuell verklighet måste användare köpa extra kringutrustning, såsom dyra headset och datorer för att driva dem. Tillägget av förstärkt verklighet till vanliga mobila enheter ger omedelbart en form av förstärkt verklighet i hundratals miljoner användares händer.

Men den upplevelsen av förstärkt verklighet är mycket mindre än optimal. Ingenjörerna på Apple och Google har gjort ett häpnadsväckande jobb med att föra en förstärkt verklighetsupplevelse till enheter som inte är byggda i första hand för det ändamålet, men de flesta konsumenters initiala erfarenhet av förstärkt verklighet kommer att vara begränsad till vad en mobil enhet kan leverera.

Som ordspråket säger, du får aldrig en andra chans att göra ett första intryck. Om användare har en förstärkt verklighetsupplevelse av låg kvalitet på sina mobila enheter, kan de i stort sett associera den upplevelsen med förstärkt verklighet i allmänhet och avfärda tekniken helt som bara så avancerad som vad en mobil förstärkt verklighetsupplevelse kan ge. De kan då avfärda den myriad av andra formfaktorer som finns för att leverera en potentiellt överlägsen augmented reality-upplevelse.

Augmented reality: Kostnad och tillgänglighet

Lösningen på problemet med "första intrycket" är en egen fråga. Även om ett antal augmented reality-headset och glasögon verkar vara under utveckling, är endast ett fåtal utvalda tillgängliga för köp under 2018, och de flesta är inriktade på företag, är "utvecklarutgåvor" eller är i allmänhet inte redo för offentlig konsumtion.

Dessutom, till skillnad från virtuell verklighet, för vilken ett antal billiga headset finns tillgängliga, kan maskinvaran för augmented reality-headset/glasögon enkelt kosta tusentals dollar, vilket gör att de är utom räckhåll för alla utom de mest dedikerade innovatörerna eller tidiga användare. Denna kostnadsskillnad kan hjälpa till att förklara varför massintroduktionen av förstärkt verklighet beräknas vara några år längre bort än den för virtuell verklighet.

Augmented reality, och augmented reality-headset specifikt, finns mycket i det tidiga stadiet av adoption, Innovators-stadiet. Det kan vara utmanande för tekniker att övervinna klyftan med Early Adopters och ta sig över avgrunden för att nå den tidiga majoritetskonsumentens adoptionsstadium.

Den upplevda användbarheten av augmented reality

Den bästa hårdvaran i världen betyder ingenting om den inte åtföljs av fantastisk programvara. Allmänheten verkar fascinerad av löftet om förstärkt verklighet, men många är inte riktigt säkra på vad de skulle använda det till. Många människor förstår fördelarna med virtuell verklighet, eftersom att kunna placera sig i en helt virtuell värld har utforskats relativt djupt av populära medier. Augmented reality, å andra sidan, har legat lite mer under radarn, vilket gör det svårt för allmänheten att föreställa sig hur den kommer att användas.

Detta kan vara ett scenario med höna-eller-ägget. Mjukvaruutvecklare vill inte bygga mjukvara för hårdvara som inte har nått vissa konsumtionsnivåer, och konsumenter vill inte köpa hårdvara som inte har en bred bas av applikationer att använda. Användare behöver en övertygande anledning att köpa dessa enheter.

Det kommer sannolikt att krävas några företagsamma mjukvaruutvecklare som skapar några "måste-ha"-applikationer som kommer att driva konsumentanpassning. Även om vägen för dessa mjukvaruutvecklare inte kommer att vara välbesökt, kommer de som skapar de första "killer-applikationerna" för aug att belönas rejält.

Det finns redan ett antal augmented reality-applikationer som visar upp precis vad augmented reality är bra på.

Augmented reality och spårning

En av de största egenskaperna hos förstärkt verklighet är förmågan att placera digitala objekt i det tredimensionella, verkliga rummet. Att placera ett objekt är måttligt enkelt att göra med hjälp av en verklig markör för att indikera var objektet ska ta vägen, men det slutliga målet med många augmented reality-applikationer är markörlös spårning.

Exemplet nedan visar ett exempel på markörbaserad förstärkt verklighet. Markörbaserad förstärkt verklighet kräver att en specifikt designad markör placeras i det verkliga rummet för kamerorna/datorvisionen att orientera sig efter. I det här exemplet har en pappersutskrift av en QR-kod lagts på bordet, och programvaran för augmented reality placerar det digitala hologrammet av en kub ovanpå den. Markörbaserad förstärkt verklighet kan ge en mycket solid bas att spåra från, eftersom datorseendet inte behöver vara lika sofistikerat som spårning utan markör. Den måste bara känna igen markören.

Markörbaserad förstärkt verklighet.

En av termerna du kommer att höra slängas runt när du diskuterar förstärkt verklighet är datorseende. Datorseende är ett brett studieområde, men i samband med förstärkt verklighet beskriver det vanligtvis hur en dator kan förstå miljön den ser via digital bild eller video.

Datorseende som kan hantera markörlös förstärkt verklighet är tekniskt svårt eftersom det kräver en komplex förståelse av verklig 3D-rymd. Våra hjärnor kan se en scen och enkelt skilja mellan en vägg, ett fönster och en dörröppning, men en dator kommer bara att se en samling pixlar, utan en pixel är mer meningsfull än den andra. Datorseende beskriver hur en dator kan ta en samling pixlar och förstå vad de betyder. Till exempel, givet en bild av en tabell, skulle datorseende tillåta applikationen att inte bara känna igen den som en samling pixlar, utan också identifiera den som ett objekt i 3D-rymden med en höjd, bredd och djup.

Även på system som kan göra den bearbetning som krävs för markörlös förstärkt verklighet, kan det uppstå fördröjningar medan bearbetningen sker. Vissa augmented reality-enheter är snabbare än andra på att bearbeta miljön (med HoloLens utför särskilt väl i detta avseende), men många augmented reality enheter lider av någon mängd spåra latens (fördröjning). Flytta din mobila enhet eller ändra din huvudposition tillräckligt snabbt, och du kan se vissa förskjutningar av de digitala hologrammen placerade i det fysiska utrymmet, även på den bästa av den nuvarande generationens enheter.

Men i den verkliga världen, om du såg en stol ändra position eller glida över golvet när du vred på huvudet, skulle du anta att ditt hus var hemsökt. Dessa spårningsproblem är fortfarande en vanlig företeelse i augmented reality-upplevelser idag.

Att få spårningen korrekt är en av de största utmaningarna för augmented reality står inför, men en som kommer att gå långt för att upprätthålla illusionen av en användares digitala föremål som finns i det fysiska rummet. Förvänta dig att nästa generations enheter gör spårning till en prioritet och förbättrar den nuvarande generationens spårningsteknik.

Augmented reality: Synfält

Synfältet (FOV) avser det utrymme i vilket digitala hologram kan visas. Till exempel är FOV för mobil förstärkt verklighet mängden synligt utrymme på enhetens skärm. Enhetens skärm fungerar som ditt fönster in i den augmented reality-världen. Titta bort från detta fönster in i det digitala, och du skulle bara se den verkliga världen, där inga hologram existerar.

På vissa nuvarande augmented reality-headset/glasögon täcker den digitala FOV vanligtvis bara ett mycket litet område inom visiret eller glasögonen, inte hela det synliga området. Detta ger effekten av att titta in i den virtuella världen genom ett litet fönster eller brevfack.

På samma sätt som att titta genom en bokstavsöppning, skulle hologrammen endast visas i det område du markerar som synligt hologram. Varje del av hologrammet som faller in i det område du markerar hologrammet som osynligt skulle skäras av vid den punkten. Som du kan se har ett headset med en smal FOV mycket svårare att erbjuda samma nivå av nedsänkning som ett headset med en större FOV.

Uppenbarligen är en större FOV att föredra framför en mindre. Om de holografiska bilderna bara visas i ett litet fönster är det lätt att dras ut ur upplevelsen när du ser att hologrammen skärs av i din FOV. Meta 2 verkar ha den största FOV av den nuvarande satsen av headset, med anspråk på en 90-graders FOV, men alla har en lång väg att gå innan de närmar sig FOV för det mänskliga ögat (ungefär 135 grader vertikalt och 200 grader horisontellt).

Att förbättra FOV för upplevelsesiffrorna för förstärkt verklighet för att bli ett av de nästa stora stegen för förstärkt verklighet att göra med nästa generations hårdvara. Faktum är att Microsoft redan har meddelat att de har hittat ett sätt att mer än fördubbla sin nuvarande FOV för sin nästa generation HoloLens, vilket skulle vara ett bra steg mot att lösa det största klagomålet de flesta har med HoloLens.

Visuals i förstärkt verklighet

Liksom den nuvarande generationen av virtual reality-headset, kämpar nuvarande augmented reality-headset för att möta de högupplösta krav som konsumenterna är vana vid.

Dessutom lider många nuvarande augmented reality-enheter av dålig ocklusion (effekten av att ett objekt blockerar ett annat objekt). I förstärkt verklighet hänvisar ocklusion vanligtvis till fysiska objekt som skymmer digitala. Du kanske har märkt det här problemet i mobilappar för förstärkt verklighet som Pokémon Go : Ibland kan du skapa en mycket realistisk scen med Zubat svävande ovanför marken; andra gånger verkar Squirtle vara halvt fast i en vägg. Sådana bilder beror på bristen på korrekt ocklusion i förstärkt verklighet. När ocklusion utförs korrekt, kan digitala objekt placeras exakt och realistiskt i alla relationer till verkliga objekt - under dem, delvis bakom dem, ovanpå dem, eller vad simuleringen kräver.

HoloLens- och Meta 2- enheterna kan utföra en rimlig grad av ocklusion, och Magic Leaps demovideor verkar visa en mycket hög nivå av ocklusion (men eftersom enheten ännu inte har levererats i mitten av 2018 är det svårt att förutsäga om produktionen enheten kommer att kunna nå den höga ribban i sina videodemos).

Bilden nedan visar en skärmdump av ocklusionen Magic Leap som visas i en av dess tidiga demovideor. Det digitala hologrammet för en robot är sömlöst tilltäppt av toppen och sidobenet på ett bord. Om Magic Leap kan replikera denna trohet av grafik, i kombination med denna nivå av ocklusion i sin masskonsumentenhet, kommer det att vara ett enormt steg framåt för förstärkt verklighet.

Det kanske inte verkar så mycket, men tänk på det i termer av den markörlösa orienteringen. För att kunna placera roboten bakom bordsbenet måste simuleringsmjukvaran förstå 3D-utrymmet och inte bara se en samling pixlar. Den behöver se scenen och kunna beräkna vad som ska vara i förgrunden, vad som ska vara i bakgrunden och var det digitala hologrammet ska passa in i allt detta. Den måste förstå vad "under bordet" betyder och veta vilka delar av bordet som är längre fram i rymden än andra. Det är inte lätt att uppnå.

Källa: YouTube
Magic Leap demovideo.

För att förstärkt verklighet ska kunna leverera en kvalitetsupplevelse i masskonsumentskala kommer det att vara en viktig fråga att lösa ocklusion för dynamiska miljöer.