Des ingénieurs du KAIST développent une méthode visuelle pour restituer la texture tactile en réalité virtuelle

DAEJEON, Corée du Sud — Des chercheurs du Korea Advanced Institute of Science and Technology ont présenté une technique d'affichage en réalité virtuelle qui convertit les sensations tactiles en signaux visuels dynamiques, permettant aux utilisateurs de percevoir la rugosité de surfaces virtuelles sans porter d'équipements de retour haptique. En modifiant le contour visuel et la silhouette de l'avatar de la main numérique de l'utilisateur lorsqu'il entre en contact avec des surfaces numériques texturées, le système transmet la rugosité structurelle par la seule perception visuelle. Cette avancée ouvre une voie potentielle pour simplifier la collaboration multi-utilisateurs dans les espaces numériques partagés, où le coût prohibitif, la complexité mécanique et la latence des gants haptiques conventionnels ont historiquement limité l'échange de données tactiles entre participants.

## Faits clés

- Des ingénieurs du Korea Advanced Institute of Science and Technology (KAIST) ont développé un système de rendu visuel qui encode la rugosité physique d'objets virtuels en modifications dynamiques de contour autour de la main numérique d'un utilisateur. - Cette méthodologie permet aux participants au sein d'environnements de réalité virtuelle (VR) d'évaluer visuellement les propriétés d'une surface sans porter de gants à actionneurs tactiles ni de dispositifs électromécaniques à retour d'effort. - Cette approche transmodale repose sur la substitution sensorielle visuo-tactile, exploitant la capacité du cortex visuel humain à interpréter les déformations structurelles comme une résistance physique ou une texture. - Le dispositif est conçu pour faciliter les tâches collaboratives sur des casques VR commerciaux standard, éliminant ainsi l'asymétrie matérielle lorsque certains utilisateurs possèdent des équipements tactiles spécialisés et d'autres non. - Les dispositifs haptiques physiques pour la VR d'entreprise coûtent régulièrement de plusieurs centaines à plusieurs milliers de dollars par unité et ajoutent un poids physique, des contraintes de batterie et des risques de défaillance mécanique que cette méthode logicielle permet d'éviter.

## Que s'est-il passé

Selon les informations rapportées par Tech Xplore, l'équipe de recherche du KAIST a mis au point un mécanisme d'interface qui traduit des textures microscopiques de surface en modifications visuelles macroscopiques sur l'avatar virtuel d'un participant. Lorsqu'un utilisateur tend le bras pour inspecter un objet numérique dans un environnement virtuel, des systèmes de suivi optique standard ou de positionnement par contrôleurs capturent les coordonnées spatiales de la main par rapport à la géométrie polygonale de l'objet.

Au lieu de tenter de stimuler les mécanorécepteurs du bout du doigt humain par des vibrations physiques, des coussinets pneumatiques ou une stimulation électrique, le système du KAIST modifie directement la délimitation visuelle du modèle de la main. Lorsque l'avatar parcourt des surfaces aux degrés de rugosité variables, le contour des doigts et de la paume virtuels subit des perturbations géométriques localisées en temps réel. Des variations de contour nettes et à haute fréquence signalent des textures rugueuses ou abrasives, tandis que des contours plus lisses et continus reflètent des surfaces polies ou sans friction.

Cette transformation fournit un indicateur perceptuel immédiat de la texture physique. Dans la mesure où le retour est entièrement rendu par le pipeline graphique de l'affichage du casque, il s'affranchit des goulets d'étranglement physiques des actionneurs matériels. Dans des configurations collaboratives multi-utilisateurs, le système crée une référence perceptuelle partagée : tout participant observant un autre utilisateur manipuler un objet peut constater directement les caractéristiques tactiles rencontrées, créant ainsi un canal passif de communication sensorielle non verbale qui était jusqu'alors inaccessible sans suites matérielles tactiles identiques.

## Pourquoi c'est important

Les systèmes de réalité virtuelle et augmentée sont confrontés depuis des décennies à la « fracture tactile » — le vaste fossé entre immersion visuelle et interaction mécanique. Alors que les résolutions des affichages commerciaux sont passées d'écrans à faible densité à des dalles dépassant les 2 000 pixels par œil, les paradigmes d'interaction grand public et d'entreprise restent largement limités à des contrôleurs rigides en plastique tenus en main, dotés de moteurs haptiques basiques à masse rotative excentrique ou résonance linéaire. Ces moteurs élémentaires peuvent signaler une collision binaire ou une vibration générique, mais ils ne peuvent pas restituer fidèlement la rugosité d'une surface, sa souplesse ou sa friction structurelle.

Les alternatives haut de gamme, comme les gants exosquelettes motorisés et les réseaux tactiles microfluidiques, offrent une fidélité supérieure mais posent d'importantes difficultés logistiques. De telles suites matérielles sont mécaniquement fragiles, difficiles à nettoyer dans des environnements d'entreprise partagés, complexes à calibrer selon les différentes tailles de mains, et coûteuses. En transposant l'intégralité de la représentation de la rugosité tactile sous forme d'indices visuels, la méthodologie du KAIST lève les barrières à l'entrée matérielles pour la modélisation tactile avancée.

Pour les designers industriels, les architectes et les formateurs médicaux à distance, cette évolution offre des avantages pratiques tangibles. Une équipe de conception évaluant des prototypes virtuels d'habitacles automobiles, des tissages textiles ou des matériaux de construction peut inspecter et communiquer les finitions de surface en temps réel sans expédier d'échantillons physiques ni équiper chaque poste distant de périphériques matériels onéreux. En télémédecine et en formation chirurgicale, les étudiants observant l'avatar d'un instructeur peuvent percevoir visuellement les délimitations tissulaires ou la résistance opératoire à partir des déformations de contour, ce qui améliore la clarté pédagogique. De plus, en abaissant le seuil informatique et matériel requis pour interpréter les textures de surface, cette technique élargit l'utilité des casques commerciaux prêts à l'emploi dans l'éducation, la conception collaborative et les logiciels grand public.

## Contexte

La perception humaine est intrinsèquement multisensorielle, régie par une intégration transmodale où le cerveau fusionne en permanence les signaux visuels, auditifs et somatosensoriels pour élaborer une représentation cohérente de la réalité physique. Lorsque les modalités sensorielles fournissent des informations contradictoires ou complémentaires, le cerveau s'appuie fréquemment sur la dominance visuelle — un phénomène largement documenté en psychophysique par lequel les stimuli visuels modifient ou supplantent les interprétations tactiles et proprioceptives. Des expériences perceptuelles classiques, telles que l'illusion de la main en caoutchouc et les démonstrations de retour pseudo-haptique initiées à la fin des années 1990, ont montré que la modification de la vitesse visuelle ou du déplacement d'un curseur à l'écran peut tromper un utilisateur en lui faisant ressentir une résistance physique ou un poids à partir d'une simple souris d'ordinateur standard.

En informatique spatiale immersive, les chercheurs ont tiré parti à plusieurs reprises de la pseudo-haptique pour simuler des propriétés physiques sans matériel spécialisé. Des expériences antérieures ont modifié la vitesse de la main de l'avatar pour simuler la viscosité, introduit un tremblement visuel pour simuler la friction de surface, ou affiché une pseudo-déformation de géométries numériques rigides pour simuler la souplesse mécanique. Toutefois, la simulation de microtextures telles que la rugosité a toujours posé des défis singuliers. La perception tactile de la rugosité par la main biologique repose sur deux mécanismes physiologiques distincts : le codage spatial via des mécanorécepteurs de type I à adaptation lente pour les textures grossières (éléments supérieurs à environ 200 micromètres), et le codage temporel via les corpuscules de Pacini à adaptation rapide pour les textures fines (éléments inférieurs à 200 micromètres) détectées par vibration dynamique durant le mouvement.

Reproduire ces deux régimes au moyen d'actionneurs mécaniques requiert une réponse en fréquence à large bande, une faible latence et une haute résolution spatiale — des spécifications que le matériel haptique moderne peine à fournir dans des formats légers. Le KAIST, basé à Daejeon et largement reconnu comme l'une des principales institutions scientifiques de Corée du Sud, consacre depuis des années des travaux à l'interaction homme-machine, aux interfaces d'informatique spatiale et à l'ingénierie perceptive. Ce dernier projet s'appuie sur la littérature établie relative à la substitution sensorielle visuelle — consistant à transposer les données d'un sens indisponible vers un canal sensoriel actif — en démontrant que la modulation dynamique des contours d'un avatar constitue un substitut fiable à la discrimination tactile sans induire de fatigue visuelle ni rompre l'immersion spatiale.

## Réactions

Bien que l'industrie n'ait pas encore formulé de réponses officielles au sein des écosystèmes de développeurs commerciaux, les chercheurs en interaction homme-machine et les ingénieurs en informatique spatiale devraient évaluer la méthodologie du KAIST lors de prochaines conférences universitaires internationales, telles que l'ACM Symposium on User Interface Software and Technology (UIST) et l'IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR).

Les concepteurs d'interfaces en VR d'entreprise ont souligné à maintes reprises la nécessité de solutions sensorielles d'origine logicielle qui évitent la fragmentation matérielle. Les éditeurs de logiciels indépendants développant des espaces de travail collaboratifs ont traditionnellement évité de concevoir des interactions fortement axées sur le toucher en raison de la faible pénétration des gants haptiques sur le marché. Par conséquent, les communautés de développeurs devraient examiner la facilité avec laquelle l'algorithme de déformation de contour du KAIST peut être intégré dans les moteurs de jeu standards, en particulier Unity et Unreal Engine d'Epic Games, qui animent la grande majorité des applications commerciales de VR d'entreprise.

Dans le même temps, les chercheurs en perception spatiale examineront probablement de près la charge cognitive associée aux déformations visuelles de la main. Dans les environnements de simulation professionnelle, la fidélité de l'avatar est essentielle pour le confort et le sentiment d'agentivité de l'utilisateur. Certains spécialistes des facteurs humains pourraient s'interroger sur le risque que des fluctuations de contour continues et artificielles provoquent une distraction visuelle, perturbent l'immersion de l'utilisateur ou déclenchent un léger effet de « vallée de l'étrange » si l'avatar de la main se déforme de manière trop agressive lors de tâches de précision.

## Ce que l'on ignore encore

La synthèse technologique publiée par Tech Xplore omet plusieurs paramètres techniques cruciaux régissant le champ opérationnel du système. L'équipe de recherche n'a pas encore détaillé la relation algorithmique précise entre les mesures de rugosité de surface du monde réel (telles que la rugosité moyenne Ra ou la rugosité quadratique moyenne Rq) et la modulation de fréquence, d'amplitude ou de couleur du contour visuel de l'avatar. Il reste à vérifier si le système est étalonné pour refléter des métriques de surface industrielles normalisées ou s'il utilise des échelles visuelles heuristiques et qualitatives.

De plus, les éléments divulgués ne précisent pas la surcharge de calcul imposée par le traitement et le rendu en temps réel des déformations dynamiques de contours sur des architectures de puces mobiles intégrées (SoC), telles que les plateformes Qualcomm Snapdragon XR2 utilisées dans les casques autonomes comme les gammes Meta Quest ou HTC Vive Focus. Les casques autonomes fonctionnent sous de strictes contraintes thermiques et d'autonomie de batterie, ce qui implique que tout pipeline complexe de shaders de sommets ou de post-traitement des contours doit être léger pour éviter les chutes de fréquence d'images en deçà des seuils standards de 72 à 90 images par seconde nécessaires pour prévenir le mal des transports.

On ignore également comment le système se comporte au sein de groupes d'utilisateurs hétérogènes. Des facteurs tels que l'acuité visuelle, l'âge, la familiarité avec les avatars numériques et une formation tactile préalable peuvent influencer de manière significative l'efficacité avec laquelle un individu traduit les distorsions visuelles en une compréhension tactile intuitive. Des essais psychophysiques complets comparant les classements subjectifs de rugosité des utilisateurs à des échantillons physiques de référence n'ont pas encore été détaillés dans la documentation publique.

## Les éléments à suivre

La trajectoire de l'interface visuo-tactile du KAIST dépendra de plusieurs étapes techniques et publications institutionnelles à venir :

- Publication des jeux de données expérimentales complets revus par des pairs : suivre la parution officielle de l'article de recherche dans une revue scientifique reconnue ou des actes de conférence, qui dévoileront la taille des cohortes de participants, les taux d'erreur, la significativité statistique et les méthodologies psychophysiques précises. - Disponibilité d'un kit de développement logiciel (SDK) : surveiller si l'équipe du KAIST ou une spin-off technologique affiliée publie des plug-ins open-source ou des kits de développement pour Unity ou Unreal Engine, permettant aux développeurs tiers de tester le pipeline de déformation de contour sur du matériel grand public. - Études d'intégration transmodale : observer si de futures versions du logiciel combineront les modifications du contour visuel de la main avec un retour audio spatialisé — tel que des bruits dynamiques de frottement ou de glissement —, dont il a été démontré par le passé qu'il amplifie les illusions pseudo-haptiques sans nécessiter de matériel tactile mécanique. - Essais et programmes pilotes en entreprise : surveiller les éventuels partenariats d'évaluation avec des cabinets de prototypage virtuel industriel, des maisons de mode numérique ou des départements de design automobile cherchant à comparer la technique visuelle à des échantillothèques physiques. - Adoption par les fabricants de matériel : suivre les mises à jour des plateformes pour développeurs de constructeurs d'informatique spatiale tels que Meta, Apple et Sony, afin de déterminer si les environnements natifs de suivi des mains intégrés au système d'exploitation incorporent des états de contact visuel inspirés de l'approche du KAIST.

Cet article intègre des informations initialement publiées par Tech Xplore détaillant les recherches menées par le Korea Advanced Institute of Science and Technology.