Саусақ ұшының қатты бетке басылғанда ағарып кетуі — бұл құбылыс кеңейтілген шындық (AR) панельдерін қабырғалар мен үстелдер сияқты нақты объектілерге орналастыруға арналған жаңа технологияның негізіне айналды.

AR гарнитуралары арқылы пайдаланушыларға сенсорлық панельдер мен пернетақталарды ауада қалқып тұрғандай етіп көрсетуге мүмкіндік беретін әдістер бар. Алайда, мұндай интерфейстермен әрекеттесу үшін әдетте арнайы контроллерлер немесе сенсорлы қолғаптар қажет. Сонымен қатар, қолды ұзақ уақыт көтеріп ұстау шаршауға әкеледі, ал нақты бетпен физикалық байланыс болмағандықтан, тактильдік сезім төмендейді.

Жаңа эксперименттік жүйе гарнитураның стандартты камерасын пайдаланып, саусақ ұшының қатты бетке тигенде ағаруын анықтайды. Жасанды интеллект бұл әсерді талдап, саусақтың виртуалды сенсорлық панельге тиген сәті мен орнын анықтайды, ол панель таңдалған бетке проекцияланады. Контакт тіркелгеннен кейін AR бағдарламасы тиісті әрекетті орындайды.

Бұл тәсіл кез келген қоршаған ортаның бетін — қабырғаларды, үстелдерді, қалқаларды — қосымша датчиктер, маркерлер немесе құрылғыларсыз сенсорлық панель ретінде пайдалануға мүмкіндік береді. Технология арнайы жабдықты қажет етпейді және кез келген адам қолдана алады.

Жұмыстың нәтижелері өткен айда Оңтүстік Кореяда өткен IEEE-нің виртуалды шындық және 3D пайдаланушы интерфейстері бойынша 33-конференциясында ұсынылды.