MIT 与纽约大学提出 FLEX:让机器人从自然语言指令中推断隐含意图
MIT 与纽约大学研究人员提出 FLEX,一个面向机器人运动规划的特征编辑流程,让机器人从自然语言指令中推断未明说的偏好。FLEX 分三步:Add 把用户提到的物体加入避让特征,Generalize 借助 GPT-4o 归纳出脆弱、易燃、电子设备等更高层类别,Mask 用视觉系统删除已不在环境中的物体,整个流程约 5 秒。
MIT 与纽约大学研究人员提出 FLEX,一个面向机器人运动规划的特征编辑流程,让机器人从自然语言指令中推断未明说的偏好。FLEX 分三步:Add 把用户提到的物体加入避让特征,Generalize 借助 GPT-4o 归纳出脆弱、易燃、电子设备等更高层类别,Mask 用视觉系统删除已不在环境中的物体,整个流程约 5 秒。
Sketch-MoMa 提出一种以用户手绘草图为指令的移动操作机器人遥操作方案,利用视觉语言模型(VLM)理解叠加在观测图像上的草图,推断所画形状与机器人底层任务。
作者提出一种自适应碰撞灵敏度框架,按机器人各连杆的有效质量(EM)动态估算碰撞力,并据此判断是否中断运动,不再对整机使用固定接触阈值。实验在带 AIRSKIN 敏感皮肤的 UR10e 实机与仿真上进行,并补充了基于关节力矩感知的 KUKA LBR iiwa 仿真实验;在包含瞬态与准静态碰撞的模拟拾放场景中,相比标准方法生产效率提升超过 45%。
研究团队开发了一款可穿戴触觉输入输出设备,将36通道电触觉阵列与电容触摸传感集成,使刺激位置与用户报告的感知位置能在同一身体参考坐标系中对齐。24名参与者的实验显示,电触觉与热触觉感知图存在明显的个体差异,但两种模态在参与者间保留了电极对特定的空间结构。
论文提出健康陪护机器人这一社会辅助机器人类别,并给出参照 SAE J3016 的六级自主性量表 CRAS(L0-L5)。以 DreamFace Technologies 商业化的 Ryan 为案例,NIH/NIA 资助的纵向研究(N=18,887 小时)显示认知评分 SLUMS 提升 2.61(p=0.015),抑郁症状 PHQ-9 下降 2.50(p=0.073)。
研究团队提出用超材料物理设计刚性板中的波传播,通过优化谐振器晶格产生慢波色散支,将虚拟触觉像素分辨率提升一个数量级。该显示器由8个外围执行器驱动,可在任意表面位置生成厘米级分辨率的局部虚拟触觉像素,输出带宽75-400 Hz。四项感知实验中,参与者对瞬态与持续振动的多像素图案定位、探索和辨别准确率为95.3%至100%。
该研究将同一套去中心化协调代码部署在桌面、空中和人形移动操作机器人三类集群上,并在现场艺术表演中观察其表现。结果显示算法在三类平台均可靠执行,但物理形态使可见运动的时间尺度变化超过三倍并改变轨迹几何。观众调查还发现,观察者对集群运动的意义归因与情绪反应(舒适或威胁)并不随技术成功同步变化,且二者彼此不相关。
一篇综述提出用于上肢外骨骼连续肌电控制的功能性“解码器-整形器-控制器”框架:解码器从表面肌电(sEMG)估计意图相关变量,整形器按辅助策略将其映射为控制参考,控制器通过执行器控制实现该参考。
该研究提出一种融合功能建模与图论表示的计算框架,用于在早期概念设计阶段分析人机系统中的联合工作策略,刻画系统功能关系与工作环境的物理和信息结构,并显式捕捉协作需求随时间的演变。以灾难救援机器人为案例,展示了该框架如何支持人机协作策略的早期权衡空间探索,并识别出灵活管理协作开销所需的合作能力。
作者提出 Fluidic Body 系统,让操作者通过手部动作改变手与群体机器人之间虚拟流体的属性,从而调整群体行为:张开手时群体变软、可变形绕开障碍,握拳时群体变硬、可聚合成整体推动物体。
研究用首尔街道的18张图像(分白天/夜间、道路等级、无机器人/配送机器人/人形机器人三种条件),让Qwen3.8-27B和Gemma4-26B两个多模态大语言模型各以500个合成人物画像为条件做两两选更安全的图像,并与25名人类受访者对比。
该论文将脑机机器人控制形式化为 POMDP,证明只要任意目标对都可被解码器区分,遗憾就有界,否则线性增长,边界由最差目标对的 Chernoff 信息 Γ_min 决定。
一项被 IEEE Telepresence 2026 接收的研究在水中实验中让 ROV 面对受控横向水流,通过柔软振动触觉触控板向操作员传递环境信息。结果显示,遇到未预见的横向水流会显著增加操作员的体力与时间需求,触觉反馈可缓解这些负担并提升自评表现,但同时也带来最高的心理需求与挫败感;尽管如此,操作员在触觉条件下驾驶 ROV 的速度显著快于仅有水流信息的条件。
一篇扩展摘要提出大语言模型(LLM)在水下机器人中应承担更高层级的作业支持角色,而非直接控制。水下外场任务的主要精力常花在故障诊断、遥测解读、任务调整与多装备多操作员协调上,LLM可依托结构化载具状态、告警、日志、任务上下文及现有规划与验证工具发挥作用。
LumiTac是一种无相机的光电式六轴触觉传感器,直径12 mm、厚4.75 mm、重不到2 g,元件成本约7美元。它用5个光发射器和5个RGBW光接收器经半透明硅胶耦合,由多层感知机从20个光通道重建三向力与三向力矩,独立测试R²为0.9657-0.9941,力的平均绝对误差0.054-0.190 N,力矩为0.304-1.419 mN·m。
论文提出 PHIL 框架,让操作员通过 XR 界面预览策略预测的未来动作,在不良动作发生前接管纠正,并将被拒绝的预测与纠正动作配对用于偏好后训练。在四项真实操作任务上,每条件五次纠正回合,扩散策略平均成功率从 44.0% 提升到 70.3%,X-VLA 从 57.8% 提升到 76.9%,对比基线为 HG-DAgger;用主动纠正训练的策略在成功回合中不必要的恢复行为更少。
苏州大学未来科学与工程学院2022级本科生汪瑞在陈涛教授团队指导下,以共同第一作者身份在《Nature Communications》发表触觉芯片TACHIP研究成果。该即插即用软触觉芯片用五像素气动阵列重构形状、硬度、粗糙度和温度等触觉模式,首轮识别率达95%,并通过反向触觉反馈将六类遥操作任务成功率从65%提升至85%。团队依托埃夫特工业机器人平台完成验证演示。
一项在真实家庭环境中开展的试点研究评估了面向犬类福利的“曲线绕行”导航动作——在狗的警觉距离触发横向弧线绕行轨迹,但结果与假设相反,该动作比直线基线引发更强烈的应激反应。作者认为,机器人多次停顿并重新定向以近似弧线的不连续执行削弱了行为可读性,这本身成为应激源。研究由此提出机器人行为对非人类的可读性与代理刺激效度是动物-机器交互(AMI)的结构性挑战。
一项研究提出面向辅助轮椅多目标导航的混合路径规划框架,将旅行商问题(TSP)用于全局任务排序,结合势场(PF)方法与RRT、A*等启发式局部规划器实现无碰撞导航,并开发出TSP-PF-RRT与TSP-PF-A*两种算法。在拥挤和超拥挤场景的蒙特卡洛仿真中,该框架能在含异构动静态障碍物的动态人类环境中完成高效多目标导航,其中TSP-PF-RRT碰撞更少或为零、行驶距离更短。
建筑机器人(如机器人隔断、天花板、家具与立面)可自主移动并重构空间,作者据此反思:其影响不止于运动瞬间,还包括运动停止后持续存在的空间配置。这类行动可能让部分使用者受益、另一些使用者受损,多台机器人还能共同让整个建筑空间显得在行动。作者主张,理解机器人建筑需超越短期人机交互,关注人如何居住、协商并保持对可自主重构空间的控制。
一项 arXiv 研究用肘部助力外骨骼服考察举重时力增强的生理、感知与认知后果,发现辅助虽降低肌肉活动,但行为结果并不简单对应这一生物力学变化。辅助降低了感知重量,但该效应受参与者初始经验强烈影响;辅助还选择性削弱了对环境条件变化的适应,努力决策的差异同样由初始经验塑造,而非单纯跟随肌肉活动或感知疲劳的下降。作者据此认为,力增强的感知与认知后果无法仅凭生物力学收益推断,需与身体表现一并评估。
该研究将 VLA 模型与柔顺控制器结合,用 RGB 观测、时序编码触觉反馈和本体感知的人类演示微调模型,实现机器人到人的双手交接。在人类受试者研究中,该系统与无触觉反馈、有触觉但无柔顺控制两个基线对比,结果显示柔顺控制与触觉历史互补,性能明显优于基线。项目页面已公开。
该研究提出一个语言驱动的导航框架,让移动机器人理解“去邮箱”这类自然语言请求,识别所指物体并用 RGB-D 数据估计其位置,生成导航目标后交由 ROS 2 Nav2 导航栈执行。
LOPAL 是一种局部性能感知的主动学习方法,用高斯混合模型(GMM)同时编码示教轨迹及其局部质量评估,从而生成优于不完美示教的轨迹。该方法还通过共享自主(SA)机制在数据不足区域主动请求用户纠正,机器人在此过程中自主执行已学行为。
一项遵循PRISMA 2020的系统综述梳理了2021至2026年间83篇人机协作实证论文,用联合行动理论将其归入表征、预测与整合三种能力下的九个构念。分析揭示了各构念在研究中如何分布与共现,指出实证证据集中与缺失之处,并给出未来研究指引。
作者提出 HumiTransfer 框架,把野外拍摄的人-人交互视频转换为物理可行的人-人形机器人交互动作。该方法先重建带脚地接触的3D人体运动,再通过交互建模把其中一方迁移到目标人形本体,并用重定向后优化保证平衡、接触与避碰。
UIUC、Google、斯坦福、UC Berkeley 和 CMU 的研究者联合发布综述《Proactive AI for Superintelligent Agents》,系统梳理主动式 AI 的研究脉络,并提出由 Awareness、Anticipation、Agenda、Arbitration、Action、Adaptation 六项能力构成的 6A 框架。
该研究将上肢功能活动度估计建模为主动感知问题,用损伤系数参数化健康关节限位的缩减,并集成到机器人交互时使用的人体模型中。作者提出在线主动感知流程,机器人通过反复递物请求主动探测用户,并逐步更新对损伤系数的贝叶斯信念。仿真研究与机器人平台上的概念验证显示,该流程能在真实人机递物中较准确地恢复损伤系数。
CognitiveReality 将机器人 RGB-D 流构建为语义索引的 Gaussian-TSDF 地图,供 VR 操作者与工具调用语言智能体共享。同一建图程序仅靠配置适配不同平台,可接入机器人 SLAM、关节运动学、动捕或视觉跟踪位姿,并以影子跟踪与关键帧锚定 PnP 应对定位中断,以 2 Hz 维护开放词汇实例身份和逐物体质量。
SHRIMP 系统让用户用自然语言自动生成分层机器人基元计划,并通过重新提示和显式修正迭代修改计划。每次修改后用户可在仿真中验证计划,满意后再在实体机器人上执行。一项 35 人参与的桌面厨房任务规划用户研究表明,SHRIMP 提升了用户的感知控制感和机器人透明度。
ArrayTac 是一个闭环压电触觉平台,可在 4×4 执行器阵列上同时连续渲染形状、刚度和摩擦三个触觉维度。每个单元集成三级微杠杆放大器和末端霍尔效应反馈,位移可达 5 mm,阵列刷新率超过 500 Hz,闭环带宽为 123 Hz。
论文提出一种带规划级意图预测的移动机器人共享控制框架,用意图域约束路径重规划,并将意图域预测与重规划联合建模为马尔可夫决策过程、通过深度强化学习求解。作者还设计了基于 Voronoi 的人类轨迹生成算法,使模型可完全在仿真中训练,无需人类参与或示教数据;仿真与真实用户实验显示该方法在任务效率不降的前提下降低操作员负担并提升安全性。
研究团队用864节点触觉-惯性手套以100Hz同步采集70余名参与者、五种技能水平的14000余次击球,提出基于力学的两层框架,从触觉历史中推断驱动球拍与稳定握持的控制并还原其时空力实现。
作者提出将环境编辑作为机器人纠正的补充反馈形式,在机器人运动保持不变时由人编辑场景,使编辑的唯一解释是被移动的物体。他们提出 FERRET(Feature Learning from Environmental and Robot-Relational Edit Traces),从机器人纠正和环境纠正中学习偏好,并展示环境编辑能消歧特征、学到仅靠机器人纠正无法学到的偏好。
研究团队用一辆真实车尺寸车辆开展 N=18 的实地实验,比较相机画面、原始 LiDAR 点云鸟瞰图和 LiDAR 与相机融合鸟瞰图三种遥操作界面。
研究提出一种多模态框架,利用大语言模型和视觉语言模型把自然语言表达的人类目的转化为机器人任务与驱动力,使开放式学习的自主机器人行为与人类意图对齐。系统分为语义对齐、任务生成和驱动力建模三层,形成人类输入定义高层目的、机器人扩展为可执行任务、反馈维持对齐的双向交互闭环。仿真和实体机器人实验表明该流程能生成有效任务与行为。
该研究提出一种从文本、音频、视频的多模态上下文描述自动生成并调制复杂全身表达性手势序列的方法,基于动态运动基元(DMP)统一实现动画原理,并用多模态基础模型生成高度上下文感知的参数化动作变体。
该论文在高速驾驶和物体交接两个场景中,用常见生成模型指标评估多类人类行为模型,并与用这些模型训练出的强化学习策略的下游表现对比。结果显示,现有行为评估指标无法稳定预测下游策略性能,且评估结果对轨迹表示方式敏感;即使已知真实测试行为分布,用不同分布训练也可能获得更好的下游表现。
这篇35页综述把网络化人形机器人智能按信息交换分为通信、协调、协作与人类社交交互四类功能,并从交互架构、交换信息、物理耦合、时间尺度、系统规模和本体六个维度梳理文献。
作者提出 Dream2Assist,一个基于模型的强化学习框架,把意图推断加入循环状态空间世界模型,使辅助策略能预判并支持人类离散目标而不取代人的控制权。研究还给出从世界模型策略到安全人机系统的完整部署流程,通过策略筛选与奖励重构应对仿真到真实人类的差距,并在高速竞速(N=30)和城市驾驶(N=10)两项人类被试研究与初步实车部署中验证,意图条件化在扭矩对齐和碰撞率上有可测改善。