Инженеры KAIST разработали визуальный метод отображения тактильной текстуры в виртуальной реальности

DAEJEON, South Korea — Исследователи из Korea Advanced Institute of Science and Technology представили технологию отображения для виртуальной реальности, которая преобразует тактильные ощущения в динамические визуальные сигналы, позволяя пользователям воспринимать шероховатость виртуальных поверхностей без использования оборудования тактильной обратной связи. За счет изменения визуального контура и силуэта цифрового аватара руки пользователя при его контакте с текстурированными цифровыми поверхностями система передает структурную шероховатость исключительно через визуальное восприятие. Эта разработка открывает потенциальный путь к оптимизации многопользовательского взаимодействия в общих цифровых пространствах, где высокая стоимость, механическая сложность и задержка традиционных гаптических перчаток исторически ограничивали обмен тактильными данными между участниками.

## Key facts

- Инженеры из Korea Advanced Institute of Science and Technology (KAIST) разработали систему визуального рендеринга, которая кодирует физическую шероховатость виртуальных объектов в динамические изменения контура цифровой руки пользователя. - Данная методика позволяет участникам в средах виртуальной реальности (VR) визуально оценивать свойства поверхности без необходимости надевать перчатки с тактильными актуаторами или электромеханические устройства силовой обратной связи. - Кросс-модальный подход опирается на визуально-тактильное сенсорное замещение, используя способность зрительной коры человека интерпретировать структурные деформации как физическое сопротивление или текстуру. - Разработанная архитектура призвана облегчить выполнение совместных задач с использованием стандартных коммерческих VR-гарнитур, устраняя аппаратную асимметрию, возникающую, когда одни пользователи имеют специализированное тактильное оборудование, а другие — нет. - Физические гаптические устройства для корпоративного VR обычно стоят от сотен до тысяч долларов за единицу, а также добавляют физический вес, ограничения по заряду батареи и риски механических поломок, которых этот программный метод позволяет избежать.

## What happened

Согласно материалу Tech Xplore, исследовательская группа KAIST разработала механизм интерфейса, который переводит микроскопические текстуры поверхности в макроскопические визуальные модификации виртуального аватара участника. Когда пользователь протягивает руку для осмотра цифрового объекта в виртуальной среде, стандартные системы оптического трекинга или позиционирования на основе контроллеров фиксируют пространственные координаты руки относительно полигональной геометрии объекта.

Вместо попыток стимулировать механорецепторы кончиков пальцев человека посредством физических вибраций, пневматических камер или электрической стимуляции, система KAIST модифицирует саму визуальную границу модели руки. По мере того как аватар перемещается по поверхностям с различной степенью шероховатости, контур виртуальных пальцев и ладони претерпевает локальные геометрические возмущения в режиме реального времени. Высокочастотные, резкие изменения контура сигнализируют о грубых или абразивных текстурах, тогда как более плавные, непрерывные очертания отражают полированные или лишенные трения поверхности.

Такая трансформация обеспечивает мгновенный перцептивный индикатор физической текстуры. Поскольку обратная связь визуализируется полностью через графический конвейер дисплея гарнитуры, она обходит физические ограничения аппаратных актуаторов. В сценариях многопользовательского взаимодействия система формирует единую перцептивную основу: любой участник, наблюдающий за тем, как другой пользователь манипулирует объектом, может напрямую видеть ощущаемые тактильные характеристики, что создает пассивный канал невербальной сенсорной коммуникации, ранее недоступный без идентичных комплектов тактильного оборудования.

## Why it matters

Системы виртуальной и дополненной реальности на протяжении десятилетий сталкиваются с проблемой «тактильного разрыва» — огромной пропасти между визуальным погружением и механическим взаимодействием. В то время как коммерческие дисплеи эволюционировали от экранов с низкой плотностью пикселей до панелей с разрешением свыше 2000 пикселей на глаз, парадигмы взаимодействия в потребительском и корпоративном сегментах остаются в значительной степени ограничены жесткими пластиковыми контроллерами, оснащенными базовыми вибромоторами с эксцентрической вращающейся массой или линейным резонансным приводом. Эти базовые моторы способны сигнализировать о бинарном столкновении или передавать общую вибрацию, но они не могут точно передать шероховатость поверхности, податливость или структурное трение.

Высококлассные альтернативы, такие как моторизованные перчатки-экзоскелеты и микрофлюидные тактильные матрицы, обеспечивают более высокую точность, однако создают значительные логистические сложности. Подобные аппаратные комплексы механически хрупки, трудны в очистке при совместном использовании на предприятиях, сложны в калибровке под разные размеры рук и дорогостоящи. Перенеся репрезентацию тактильной шероховатости исключительно на визуальные сигналы, методология KAIST устраняет аппаратные барьеры для внедрения продвинутого тактильного моделирования.

Для промышленных дизайнеров, архитекторов и специалистов по дистанционному медицинскому обучению этот сдвиг несет ощутимые практические преимущества. Команда дизайнеров, оценивающая виртуальные прототипы автомобильных интерьеров, переплетение текстиля или строительные материалы, может инспектировать и согласовывать варианты отделки поверхностей в реальном времени без отправки физических образцов и оснащения каждой удаленной рабочей станции дорогими периферийными устройствами. В телемедицине и хирургическом образовании студенты, наблюдающие за аватаром инструктора, могут визуально считывать границы тканей или процедурное сопротивление на основе деформаций контура, что повышает наглядность обучения. Кроме того, за счет снижения вычислительного и аппаратного порога, необходимого для интерпретации текстур поверхности, данный метод расширяет сферу применения стандартных серийных гарнитур в образовании, совместном проектировании и потребительском ПО.

## The background

Восприятие человека по своей природе мультисенсорно и подчиняется кросс-модальной интеграции, при которой мозг непрерывно объединяет зрительные, слуховые и соматосенсорные сигналы для формирования целостной картины физической реальности. Когда сенсорные модальности предоставляют противоречивую или взаимодополняющую информацию, мозг зачастую опирается на зрительное доминирование — феномен, подробно описанный в психофизике, при котором зрительные стимулы видоизменяют или подавляют тактильные и проприоцептивные интерпретации. Классические эксперименты в области восприятия, такие как иллюзия резиновой руки и демонстрации псевдогаптической обратной связи, начатые в конце 1990-х годов, показали, что изменение визуальной скорости или смещения курсора на экране может убедить пользователя в том, что стандартная компьютерная мышь встречает физическое сопротивление или обладает весом.

В сфере иммерсивных пространственных вычислений исследователи неоднократно применяли псевдогаптику для симуляции физических свойств без специализированных устройств. В предшествующих экспериментах изменялась скорость руки аватара для имитации вязкости, вводилось визуальное дрожание для передачи трения поверхности или отображалась псевдодеформация жестких цифровых геометрических фигур для имитации механической мягкости. Однако воспроизведение микротекстур, таких как шероховатость, исторически представляло особую сложность. Тактильное восприятие шероховатости биологической рукой опирается на два различных физиологических механизма: пространственное кодирование через медленно адаптирующиеся механорецепторы I типа для грубых текстур (элементы крупнее приблизительно 200 микрометров) и временное кодирование через быстро адаптирующиеся тельца Пачини для мелких текстур (элементы менее 200 микрометров), распознаваемых через динамическую вибрацию во время движения.

Воспроизведение обоих режимов с помощью механических актуаторов требует широкополосного частотного отклика, низкой задержки и высокого пространственного разрешения — характеристик, которые современное гаптическое оборудование с трудом обеспечивает в легком форм-факторе. Институт KAIST, расположенный в Daejeon и признанный одним из ведущих научных центров Южной Кореи, на протяжении многих лет изучает взаимодействие человека и компьютера, интерфейсы пространственных вычислений и перцептивную инженерию. Этот последний проект опирается на устоявшуюся научную литературу по визуальному сенсорному замещению — практике проецирования данных от недоступного чувства в активный сенсорный канал, — демонстрируя, что динамическая модуляция границ аватара служит надежным аналогом для тактильного распознавания, не вызывая зрительной усталости и не нарушая пространственного погружения.

## Reaction

Хотя официальная реакция индустрии в коммерческих экосистемах разработчиков еще не сформирована, ожидается, что исследователи в области человеко-компьютерного взаимодействия и инженеры пространственных вычислений оценят методологию KAIST на предстоящих международных академических конференциях, таких как ACM Symposium on User Interface Software and Technology (UIST) и IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR).

Разработчики интерфейсов корпоративного VR неоднократно подчеркивали потребность в программных сенсорных решениях, позволяющих избежать аппаратной фрагментации. Независимые поставщики ПО, разрабатывающие виртуальные рабочие пространства для совместной работы, исторически избегали внедрения механик с интенсивным тактильным взаимодействием из-за низкого проникновения гаптических перчаток на рынке. В связи с этим сообщества разработчиков, как ожидается, изучат, насколько легко алгоритм деформации контура KAIST может быть интегрирован в стандартные игровые движки, в частности Unity и Unreal Engine от Epic Games, на которых базируется подавляющее большинство коммерческих корпоративных VR-приложений.

В то же время специалисты по пространственному восприятию, вероятно, тщательно проанализируют когнитивную нагрузку, связанную с визуальными деформациями руки. В профессиональных симуляционных средах точность отображения аватара критически важна для комфорта и чувства контроля пользователя. Некоторые эксперты по эргономике могут поднять вопросы о том, способны ли непрерывные искусственные колебания границ вызывать зрительное отвлечение, нарушать погружение пользователя или провоцировать легкий эффект «зловещей долины», если аватар руки деформируется слишком агрессивно при выполнении высокоточных задач.

## What we don't know yet

Технический обзор, опубликованный Tech Xplore, не содержит ряда важнейших технических параметров, определяющих эксплуатационные рамки системы. Исследовательская группа пока не раскрыла точную алгоритмическую взаимосвязь между реальными измерениями шероховатости поверхности (такими как средняя шероховатость Ra или среднеквадратичная шероховатость Rq) и частотой, амплитудой или цветовой модуляцией визуального контура аватара. Остается неподтвержденным, откалибрована ли система в соответствии со стандартизированными промышленными метриками поверхностей или использует качественные эвристические визуальные шкалы.

Кроме того, опубликованные данные не раскрывают вычислительные затраты, связанные с расчетом и рендерингом динамических деформаций границ в реальном времени на мобильных архитектурах систем на кристалле, таких как платформы Qualcomm Snapdragon XR2, используемые в автономных гарнитурах вроде линеек Meta Quest или HTC Vive Focus. Автономные гарнитуры работают в условиях жестких тепловых и энергетических ограничений, а это означает, что любой сложный вершинный шейдер или конвейер постобработки контуров должен быть легковесным, чтобы не допустить падения частоты кадров ниже стандартного порога в 72–90 кадров в секунду, необходимого для предотвращения укачивания.

Также неясно, как система проявляет себя при работе с различными группами пользователей. Такие факторы, как острота зрения, возраст, привычка к цифровым аватарам и предшествующий тактильный опыт, могут существенно влиять на то, насколько эффективно человек переводит визуальные искажения в интуитивное тактильное понимание. Комплексные психофизические испытания, сопоставляющие субъективные оценки шероховатости пользователями с физическими эталонными образцами, пока не были в полной мере представлены в открытых публикациях.

## What to watch

Дальнейшее развитие визуально-тактильного интерфейса KAIST будет зависеть от ряда предстоящих технических этапов и официальных публикаций института:

- Публикация полных рецензируемых массивов экспериментальных данных: следует ожидать официального выхода научной статьи в аккредитованном научном журнале или материалах конференции, где будут раскрыты размеры когорт участников, уровень ошибок, статистическая значимость и точные психофизические методики. - Доступность пакета для разработки ПО: важно отслеживать, выпустит ли команда KAIST или аффилированный технологический спин-офф плагины с открытым исходным кодом либо наборы разработчика для Unity или Unreal Engine, что позволит сторонним разработчикам протестировать конвейер контурной деформации на потребительском оборудовании. - Исследования кросс-модальной интеграции: предстоит наблюдать, объединят ли будущие итерации программного обеспечения визуальные сдвиги контура руки с пространственной аудиообратной связью — например, динамическими звуками царапания или скольжения, — которая, как исторически доказано, усиливает псевдогаптические иллюзии без необходимости в механическом тактильном оборудовании. - Корпоративные испытания и пилотные программы: следует ожидать потенциальных партнерств по тестированию с компаниями промышленного виртуального прототипирования, домами цифровой моды или отделами автомобильного дизайна, стремящимися сопоставить визуальный метод с библиотеками физических образцов. - Внедрение производителями оборудования: необходимо следить за обновлениями платформ для разработчиков от производителей оборудования пространственных вычислений, таких как Meta, Apple и Sony, чтобы оценить, включат ли встроенные на уровне операционной системы платформы отслеживания рук визуальные состояния контакта, вдохновленные подходом KAIST.

В материале использованы данные исходной публикации Tech Xplore, освещающей исследование, проведенное Korea Advanced Institute of Science and Technology.