面向虚拟现实人机交互的多模态社交感知框架

研究提出一个融合语音、视觉与触觉的多模态框架，用于生成符合语境的机器人语音与动作。团队在虚拟现实中用18名参与者测试五种社交互动场景，并与人工遥操作基线对比：自主系统在自然度和社交适当性上均高于中性中点，但遥操作基线两项评分显著更高。行为编码与反馈显示，对话时机、澄清模糊请求和空间协调是造成差距的关键因素。