Σχεδιασμός εφαρμογών επαυξημένης πραγματικότητας: Αλληλεπίδραση με αντικείμενα

Καθώς ξεκινάτε να σχεδιάσετε την εφαρμογή επαυξημένης πραγματικότητας, θα πρέπει να εξετάσετε τον τρόπο με τον οποίο ο χρήστης θα αλληλεπιδράσει με τα αντικείμενα. Οι περισσότερες αλληλεπιδράσεις εικονικής πραγματικότητας (VR) λαμβάνουν χώρα μέσω ενός ελεγκτή κίνησης, αλλά οι περισσότερες συσκευές επαυξημένης πραγματικότητας (AR) που βασίζονται σε ακουστικά χρησιμοποιούν έναν συνδυασμό βλέμματος και παρακολούθησης χεριών για αλληλεπίδραση. Συχνά, τα ακουστικά AR χρησιμοποιούν πλοήγηση με βάση το βλέμμα για να παρακολουθούν πού θέλει ο χρήστης να στοχεύσει στοιχεία στο περιβάλλον. Όταν ένα στοιχείο στοχεύεται, ένας χρήστης συχνά αλληλεπιδρά με αυτό το αντικείμενο μέσω χειρονομιών.

Ως εκ τούτου, πρέπει να σχεδιάσετε την εμπειρία AR σας ώστε να κρατάτε τα χέρια του χρήστη εντός της περιοχής αναγνώρισης των ακουστικών και να εργάζεστε με το συγκεκριμένο σύνολο χειρονομιών κάθε ακουστικού. Η εκπαίδευση του χρήστη σχετικά με την περιοχή αναγνώρισης των χειρονομιών — και η ειδοποίηση των χρηστών όταν οι χειρονομίες τους βρίσκονται κοντά στα όρια — μπορεί να βοηθήσει στη δημιουργία μιας πιο επιτυχημένης εμπειρίας χρήστη.

Επειδή αυτός ο τρόπος αλληλεπίδρασης είναι νέος για όλους σχεδόν, είναι σημαντικό να διατηρούνται οι αλληλεπιδράσεις όσο το δυνατόν απλούστερες. Οι περισσότεροι από τους χρήστες σας θα υποβάλλονται ήδη σε μια καμπύλη εκμάθησης για αλληλεπίδραση στο AR, υπολογίζοντας τις χειρονομίες για τη συγκεκριμένη συσκευή τους (επειδή δεν έχει ακόμη αναπτυχθεί ένα καθολικό σύνολο χειρονομιών AR). Τα περισσότερα ακουστικά AR που χρησιμοποιούν παρακολούθηση χεριών διαθέτουν ένα τυπικό σύνολο βασικών χειρονομιών. Προσπαθήστε να επιμείνετε σε αυτές τις προσυσκευασμένες χειρονομίες και να αποφύγετε να συντρίψετε τους χρήστες σας εισάγοντας νέες χειρονομίες ειδικά για την εφαρμογή σας.

Η παρακάτω εικόνα δίνει παραδείγματα των δύο βασικών χειρονομιών για το HoloLens , το "Air Tap" (A) και το "Bloom" (B). Το Air Tap είναι παρόμοιο με ένα κλικ του ποντικιού σε μια τυπική οθόνη 2D. Ένας χρήστης κρατά το δάχτυλό του στη θέση ετοιμότητας και πιέζει το δάχτυλό του προς τα κάτω για να επιλέξει ή να κάνει κλικ στο στοιχείο που στοχεύει μέσω του βλέμματος χρήστη. Η χειρονομία "Bloom" είναι μια καθολική χειρονομία για την αποστολή ενός χρήστη στο μενού Έναρξη. Ένας χρήστης κρατά τα δάχτυλά του ενωμένα και μετά ανοίγει το χέρι του.

Το παράδειγμα της Microsoft για έναν χρήστη που εκτελεί ένα "Air Tap" (A) και ένα "Bloom" (B).

Η αρπαγή ενός αντικειμένου στον πραγματικό κόσμο δίνει στον χρήστη ανατροφοδότηση όπως η αίσθηση του αντικειμένου, το βάρος του αντικειμένου στο χέρι του κ.λπ. Οι χειρονομίες που γίνονται για την επιλογή εικονικών ολογραμμάτων δεν θα παρέχουν στον χρήστη καμία από αυτές τις τυπικές απτικές ανατροφοδοτήσεις. Επομένως, είναι σημαντικό να ενημερώνετε τον χρήστη για την κατάσταση των ψηφιακών ολογραμμάτων στο περιβάλλον με διαφορετικούς τρόπους.

Παρέχετε ενδείξεις χρήστη ως προς την κατάσταση ενός αντικειμένου ή του περιβάλλοντος, ειδικά όταν ο χρήστης προσπαθεί να τοποθετήσει ή να αλληλεπιδράσει με ψηφιακά ολογράμματα. Για παράδειγμα, εάν ο χρήστης σας υποτίθεται ότι τοποθετεί ένα ψηφιακό ολόγραμμα σε τρισδιάστατο χώρο, η παροχή μιας οπτικής ένδειξης μπορεί να του βοηθήσει να επικοινωνήσει μαζί του πού θα τοποθετηθεί το αντικείμενο. Εάν ο χρήστης μπορεί να αλληλεπιδράσει με ένα αντικείμενο στη σκηνή σας, μπορείτε να το υποδείξετε οπτικά στο αντικείμενο, χρησιμοποιώντας ενδεχομένως την εγγύτητα για να ειδοποιήσει τον χρήστη ότι πλησιάζει ένα αντικείμενο με το οποίο μπορεί να αλληλεπιδράσει. Εάν ο χρήστης σας προσπαθεί να επιλέξει ένα αντικείμενο ανάμεσα σε πολλά, επισημάνετε το στοιχείο που έχει επιλέξει αυτήν τη στιγμή και παρέχετε ηχητικές ενδείξεις για τις ενέργειές του.

Αυτή η εικόνα δείχνει πώς το Meta 2 επιλέγει να εμφανίσει αυτό το feedback στον χρήστη. Ένας κύκλος με ένα δαχτυλίδι εμφανίζεται στο πίσω μέρος του χεριού ενός χρήστη καθώς πλησιάζει ένα διαδραστικό αντικείμενο (Α). Καθώς το χέρι του χρήστη κλείνει σε μια γροθιά, ο δακτύλιος γίνεται μικρότερος (Β) και πλησιάζει πιο κοντά στον κεντρικό κύκλο. Ένα δαχτυλίδι που αγγίζει τον κύκλο υποδηλώνει επιτυχή αρπαγή (C). Το χέρι ενός χρήστη που κινείται κοντά στην άκρη του αισθητήρα ανιχνεύεται επίσης και επισημαίνεται μέσω μιας κόκκινης ένδειξης και ενός προειδοποιητικού μηνύματος (D).

Λήψη οθόνης προβολής στο ακουστικό μιας αλληλεπίδρασης μεταφοράς Meta 2.

Αλληλεπίδραση φορητών συσκευών σε εφαρμογές AR

Πολλές από τις αρχές σχεδίασης για το AR ισχύουν τόσο για τα ακουστικά όσο και για τις εμπειρίες κινητών . Ωστόσο, υπάρχει σημαντική διαφορά μεταξύ της διαδραστικής λειτουργικότητας των ακουστικών AR και των εμπειριών AR για φορητές συσκευές. Λόγω των διαφορών στον παράγοντα μορφής μεταξύ των ακουστικών AR και των φορητών συσκευών AR, η αλληλεπίδραση απαιτεί ορισμένους διαφορετικούς κανόνες.

Η διατήρηση απλών αλληλεπιδράσεων και η παροχή σχολίων κατά την τοποθέτηση ή την αλληλεπίδραση με ένα αντικείμενο είναι κανόνες που ισχύουν τόσο για τις εμπειρίες AR με ακουστικά όσο και για κινητές συσκευές. Ωστόσο, οι περισσότερες αλληλεπιδράσεις για τους χρήστες σε κινητές συσκευές θα πραγματοποιούνται μέσω χειρονομιών στην οθόνη αφής της συσκευής αντί των χρηστών να χειρίζονται απευθείας τρισδιάστατα αντικείμενα ή να χρησιμοποιούν χειρονομίες σε τρισδιάστατο χώρο.

Ένας αριθμός βιβλιοθηκών, όπως η ManoMotion , μπορεί να παρέχει τρισδιάστατη παρακολούθηση χειρονομιών και αναγνώριση χειρονομιών για τον έλεγχο των ολογραμμάτων σε εμπειρίες AR σε φορητές συσκευές. Αυτές οι βιβλιοθήκες μπορεί να αξίζει να εξερευνήσετε ανάλογα με τις απαιτήσεις της εφαρμογής σας. Απλώς να θυμάστε ότι ο χρήστης σας πιθανότατα θα κρατά τη συσκευή στο ένα χέρι ενώ βιώνει την εφαρμογή σας, κάτι που θα δυσχεραίνει την προσπάθεια να τοποθετήσει και το άλλο της χέρι μπροστά από μια κάμερα που βλέπει προς τα πίσω.

Οι χρήστες σας πιθανότατα καταλαβαίνουν ήδη χειρονομίες κινητής συσκευής, όπως αγγίγματα με ένα δάχτυλο, σύρσιμο, τσίμπημα και περιστροφή με δύο δάχτυλα και ούτω καθεξής. Ωστόσο, οι περισσότεροι χρήστες κατανοούν αυτές τις αλληλεπιδράσεις σε σχέση με τον δισδιάστατο κόσμο της οθόνης αντί για τις τρεις διαστάσεις του πραγματικού κόσμου.

Αφού τοποθετηθεί ένα ολόγραμμα στο διάστημα, σκεφτείτε να επιτρέψετε την κίνηση αυτού του ολογράμματος μόνο σε δύο διαστάσεις, επιτρέποντάς του ουσιαστικά να γλιστρήσει μόνο στην επιφάνεια στην οποία τοποθετήθηκε. Ομοίως, εξετάστε το ενδεχόμενο να περιορίσετε την περιστροφή του αντικειμένου σε έναν μόνο άξονα. Η δυνατότητα κίνησης ή περιστροφής και στους τρεις άξονες μπορεί γρήγορα να προκαλέσει μεγάλη σύγχυση στον τελικό χρήστη και να οδηγήσει σε ακούσιες συνέπειες ή την τοποθέτηση των ολογραμμάτων.

Εάν περιστρέφετε ένα αντικείμενο, σκεφτείτε να επιτρέψετε την περιστροφή μόνο γύρω από τον άξονα y . Το κλείδωμα αυτών των κινήσεων αποτρέπει τον χρήστη σας από το να μετακινεί κατά λάθος αντικείμενα με απρόβλεπτους τρόπους. Μπορεί επίσης να θέλετε να δημιουργήσετε μια μέθοδο για να "αναιρείτε" οποιαδήποτε ακούσια κίνηση των ολογραμμάτων σας, καθώς η τοποθέτηση αυτών των ολογραμμάτων στον πραγματικό χώρο μπορεί να είναι δύσκολη για τους χρήστες σας να τα καταφέρουν.

Οι περισσότερες κινητές συσκευές υποστηρίζουν μια αλληλεπίδραση «τσιμπήματος» με την οθόνη είτε για μεγέθυνση σε μια περιοχή είτε για κλιμάκωση ενός αντικειμένου. Επειδή ένας χρήστης βρίσκεται σε ένα σταθερό σημείο στο διάστημα τόσο στον πραγματικό κόσμο όσο και στον κόσμο του ολογράμματος, πιθανότατα δεν θα θέλετε να χρησιμοποιήσετε αυτήν τη χειρονομία για ζουμ σε AR.

Ομοίως, εξετάστε το ενδεχόμενο να εξαλείψετε την ικανότητα ενός χρήστη να κλιμακώνει ένα αντικείμενο σε AR. Μια χειρονομία τσιμπήματος με δύο δάχτυλα για κλίμακα είναι μια τυπική αλληλεπίδραση για χρήστες κινητών. Στο AR, αυτή η χειρονομία κλίμακας συχνά δεν έχει νόημα. Τα τρισδιάστατα μοντέλα ολογράμματος AR έχουν συχνά καθορισμένο μέγεθος. Η οπτική εμφάνιση του μεγέθους του τρισδιάστατου μοντέλου επηρεάζεται από την απόσταση από τη συσκευή AR. Ένας χρήστης που κλιμακώνει ένα αντικείμενο στη θέση του για να κάνει το αντικείμενο να φαίνεται πιο κοντά στην κάμερα, στην πραγματικότητα κάνει το αντικείμενο μεγαλύτερο στη θέση του, συχνά όχι αυτό που ήθελε ο χρήστης. Το Pinch-to-scale μπορεί να εξακολουθεί να χρησιμοποιείται στο AR, αλλά η χρήση του θα πρέπει να ληφθεί προσεκτικά υπόψη.

Φωνητική αλληλεπίδραση σε εφαρμογές AR

Ορισμένες συσκευές AR υποστηρίζουν επίσης δυνατότητες φωνητικής αλληλεπίδρασης. Αν και η αλληλεπίδραση για τα περισσότερα ακουστικά AR είναι κυρίως το βλέμμα και οι χειρονομίες, για εκείνα τα ακουστικά με δυνατότητες φωνής πρέπει να εξετάσετε πώς να χρησιμοποιήσετε όλες τις μεθόδους αλληλεπίδρασης και πώς να τα κάνετε να λειτουργούν καλά μαζί. Τα φωνητικά χειριστήρια μπορούν να είναι ένας πολύ βολικός τρόπος για τον έλεγχο της εφαρμογής σας. Καθώς η ισχύς επεξεργασίας αυξάνεται εκθετικά, περιμένετε να εισαχθεί και να τελειοποιηθεί περαιτέρω ο φωνητικός έλεγχος στα ακουστικά AR.

Ακολουθούν ορισμένα πράγματα που πρέπει να έχετε υπόψη σας καθώς αναπτύσσετε φωνητικές εντολές για συσκευές AR που υποστηρίζουν αυτήν τη δυνατότητα:

• Χρησιμοποιήστε απλές εντολές. Εάν διατηρήσετε τις εντολές σας απλές, θα αποφύγετε πιθανά προβλήματα των χρηστών που μιλούν με διαφορετικές διαλέκτους ή προφορές. Ελαχιστοποιεί επίσης την καμπύλη εκμάθησης της εφαρμογής σας. Για παράδειγμα, το "Διαβάστε περισσότερα" είναι πιθανώς καλύτερη επιλογή από το "Παροχή περαιτέρω πληροφοριών σχετικά με το επιλεγμένο στοιχείο".
• Βεβαιωθείτε ότι οι φωνητικές εντολές μπορούν να αναιρεθούν. Οι φωνητικές αλληλεπιδράσεις μερικές φορές μπορούν να ενεργοποιηθούν ακούσια με την καταγραφή ήχου άλλων κοντινών. Βεβαιωθείτε ότι οποιαδήποτε φωνητική εντολή μπορεί να αναιρεθεί εάν ενεργοποιηθεί μια τυχαία αλληλεπίδραση.
• Εξαλείψτε τις αλληλεπιδράσεις με παρόμοιο ήχο. Προκειμένου να αποτρέψετε τον χρήστη σας από την ενεργοποίηση εσφαλμένων ενεργειών, καταργήστε τυχόν προφορικές εντολές που μπορεί να ακούγονται παρόμοια αλλά εκτελούν διαφορετικές ενέργειες. Για παράδειγμα, εάν το "Διαβάστε περισσότερα" εκτελεί μια συγκεκριμένη ενέργεια στην εφαρμογή σας (όπως η αποκάλυψη περισσότερου κειμένου), θα πρέπει πάντα να εκτελεί την ίδια αλληλεπίδραση σε όλη την εφαρμογή σας. Παρόμοιες εντολές θα πρέπει επίσης να αποφεύγονται. Για παράδειγμα, η "Ανοικτή αναφορά" και η "Ανοιχτές προτιμήσεις" είναι πολύ πιθανό να μπερδευτούν μεταξύ τους.
• Αποφύγετε τις εντολές του συστήματος. Βεβαιωθείτε ότι το πρόγραμμά σας δεν παρακάμπτει φωνητικές εντολές που έχουν ήδη δεσμευτεί από το σύστημα. Εάν μια εντολή όπως "αρχική οθόνη" είναι δεσμευμένη από τη συσκευή AR, μην επαναπρογραμματίσετε αυτήν την εντολή για να εκτελέσετε διαφορετικές λειτουργίες εντός της εφαρμογής σας.
• Παρέχετε σχόλια. Οι φωνητικές αλληλεπιδράσεις θα πρέπει να παρέχουν το ίδιο επίπεδο ενδείξεων ανάδρασης σε έναν χρήστη που παρέχουν οι τυπικές μέθοδοι αλληλεπίδρασης. Εάν ένας χρήστης χρησιμοποιεί φωνητικές εντολές, υποβάλετε σχόλια ότι η εφαρμογή σας άκουσε και κατανόησε την εντολή. Μια μέθοδος για να γίνει αυτό θα ήταν η παροχή κειμένου στην οθόνη του ποιες εντολές ερμήνευσε το σύστημα από τον χρήστη. Αυτό θα παρέχει στον χρήστη ανατροφοδότηση σχετικά με το πώς το σύστημα κατανοεί τις εντολές του και θα του επιτρέψει να προσαρμόσει τις εντολές του εάν χρειάζεται.