Пользователи Apple Vision Pro смогут управлять роботами благодаря приложению

Приложение под названием Tracking Streamer отслеживает движения человека. Всего фиксируются 26 точек на руках и запястьях, а также отдельные точки на голове. Также отслеживаются и пространственные характеристики, например, рост человека. Данные передаются роботу через Wi-Fi соединение и преобразует в соответствующие команды.

Разработчик приложения Юнхе Пак из Массачусетского технологического института, опубликовал видео, показывающее систему в действии. В нем соавтор исследования Гейб Марголис, аспирант Массачусетского технологического института, управляет четвероногим роботом, используя руки и движения тела. 

Apple выпустила гарнитуру виртуальной реальности (VR) Vision Pro в феврале 2024 года. Незадолго до выпуска устройства, ученые опубликовали исследование, в котором рассказали, насколько хорошо VR-гарнитуры работают, если использовать их в повседневной жизни. Они обнаружили, что устройства приводят к задержке действий, исключают периферийное зрение и вызывают искажения, похожие на отзеркаливание. Исходя из полученных данных, исследователи предостерегают от ношения VR-гарнитур во время вождения или спуска по лестнице.

Парк и Марголис предположили в своей статье, что некоторые пользователи все-таки смогут носить Apple Vision Pro постоянно, как очки, и что дальнейшее использование предоставит больше данных, которые можно будет использовать для обучения роботов тому, как двигаются люди, сообщает Live Science.

Источник: Younghyo Park