BEACON:通过尽力适配实现生成式机器人策略的跨域协同训练
BEACON 提出一种理论引导的跨域协同训练框架,用充足源演示与有限目标演示训练基于扩散模型的视觉运动策略,并将协同训练建模为差异感知的重要性重加权问题。方法引入可扩展的实例级差异代理、策略与权重的随机交替更新以及多源扩展,在 sim-to-sim、sim-to-real 和多源操作设置中相比仅用目标数据、固定比例协同训练和特征对齐基线提升了鲁棒性与数据效率。
BEACON 提出一种理论引导的跨域协同训练框架,用充足源演示与有限目标演示训练基于扩散模型的视觉运动策略,并将协同训练建模为差异感知的重要性重加权问题。方法引入可扩展的实例级差异代理、策略与权重的随机交替更新以及多源扩展,在 sim-to-sim、sim-to-real 和多源操作设置中相比仅用目标数据、固定比例协同训练和特征对齐基线提升了鲁棒性与数据效率。
论文提出 Semantic Autonomy Stack(SAS)六层集成框架,在已验证的 ROS 2/Nav2 基础上构建语义推理、任务接口与运行记忆层,采用确定性优先的级联策略,把未解决或受保护的情况升级给预训练视觉语言模型(VLM)。
作者提出一个统一系统,在未知且动态的环境中同时约束全身轨迹的碰撞风险与抓取时的目标可见性,包含速度感知注视策略、分层子目标策略和滚动时域全身规划器三部分。在 400 个随机仿真场景和 Fetch 移动操作机器人的实机试验中,未知静态环境成功率为 70.4%,动态环境为 57.9%,分别比解耦的导航与操作策略高 16.3 和 9.3 个百分点,并显著减少碰撞。
论文提出一种基于串入并出(SIPO)移位寄存器的可扩展模拟传感器读出架构,传感器模块间仅用三根信号线即可扩展。作者在腱驱动灵巧手上集成16个关节传感器模块和1个四通道触觉传感器模块,实现20个通道1 kHz全扫描、最高1.5 kHz稳定运行;关节传感器最大斜率绝对百分比误差0.446%,触觉侧用LSTM模型在1 kHz下完成力估计与接触位置分类。
SentryVLA 是一种面向冻结 VLA 策略的轻量运行时包装器,无需重训或改动模型架构。它在动作层用保形分位数回归估计采样动作与专家行为的偏差上界,据此对多个随机候选动作排序;在执行层用马氏距离异常分数监测闭环控制中的异常状态。仿真与实机实验显示,该方法改善了动作选择,并能给出有用的运行时告警信号。
AffordSim 是一个可扩展的数据生成器与基准,将开放词汇三维可供性预测接入仿真轨迹生成,按自然语言任务描述合成场景、生成可供性查询并采样区域约束抓取,再用运动规划筛选可执行候选。
PrepTurn 是一个用于连续局部导航预判机动的强化学习框架,它把当前与下一个位姿目标直接映射为关节动作,让即将到达的目标影响机器人接近当前目标的方式。该框架用持续奖励鼓励在移动中完成整段目标序列,并用逐步提高目标难度的自动课程学习稳定转向行为;仿真与 Unitree Go2 机载实验显示其顺序穿越完成率高、走走停停减少。
RoboGene 是一个面向单臂、双臂和移动机器人的智能体任务生成框架,用于在 VLA 预训练前自动产出多样化操作任务。它结合多样性驱动采样、智能体自我反思评估任务质量,以及经人工核验的反馈记忆做执行验证与持续改进,共采集 1.8 万条轨迹,并引入任务可行性与多样性指标。
FlowHOI 是一个两阶段流匹配框架,以第一视角观测、语言指令和 3D Gaussian splatting 场景重建为条件,生成包含手部姿态、物体姿态与接触状态的语义落地手物交互序列。
UniManip 提出以智能体操作图(AOG)为核心的统一框架,用于开放世界机器人操作的任务编排、状态跟踪、执行验证与闭环失败恢复。该方法通过物理接地场景图把高层语义意图落到可执行原语,并结合安全感知局部规划器生成无碰撞轨迹。在 LIBERO-Pro 上取得最优性能,真实实验中任务成功率分别比领先 VLA 模型和分层基线高 22.5% 和 25.0%。
CRAFT-E 是一个模块化神经符号框架,将大语言模型导出的动词-属性-对象知识图谱与 CLIP 视觉对齐、基于能量的抓取推理组合,用于可供性取物。系统给出可解释的 grounding 路径,把抓取可行性纳入可供性推断,并支持不重训的图编辑。
研究提出自动生成机器人规划与执行失败数据的框架,构建了基于RLBench和BridgeDataV2的GuardianFail-36k失败推理数据集,并训练多视角推理视觉语言模型Guardian。Guardian在RoboFail、RoboVQA和新提出的UR5-Fail三个未见真实世界基准上取得最优性能,与基于大语言模型的操作策略结合后,在仿真和真实部署中均提升任务成功率。代码、数据和模型已公开。
论文提出一种带规划级意图预测的移动机器人共享控制框架,用意图域约束路径重规划,并将意图域预测与重规划联合建模为马尔可夫决策过程、通过深度强化学习求解。作者还设计了基于 Voronoi 的人类轨迹生成算法,使模型可完全在仿真中训练,无需人类参与或示教数据;仿真与真实用户实验显示该方法在任务效率不降的前提下降低操作员负担并提升安全性。
一篇 NeurIPS 2026 Position Paper 提出以身体-控制协同设计实现人形机器人的物理递归自我改进(RSI):利用当前身体与策略的经验,递归地同时改进形态与行为。文章讨论了基于策略性探索、Sim2Real 迁移和元策略学习的协同设计方法,并从方法论、应用和社区角度论证其必要性,同时列出从短期创新到长期目标的开放研究问题。
特殊伽利略群 SGal(3) 是 10 维李群,其重要子群包括特殊正交群、特殊欧氏群和扩展位姿群。该工作简述 SGal(3) 及其李代数,说明群结构如何支持空间与时间不确定性的统一表示,并指出该群对若干机器人问题的潜在用途。
OSWAM 提出一种只需一步扩散即可生成动作的世界动作模型,用于自动驾驶与具身控制。作者用想象 token 初始化扩散过程以提供物理先验和动作条件表示,并引入带未来条件的特权信息蒸馏,使动作质量与需要数十步的直接策略 WAM 和 Joint-WAM 相当或更好。相比直接策略 WAM 基线约有 3 倍加速,在 NVIDIA RTX 5090 GPU 上编译推理延迟低至 40ms。
该论文研究多目标强化学习中的策略学习问题,提出目标冲突系数并据此推导在线场景的近最优遗憾界,用于量化目标错位对学习效率的影响。作者设计了路由集成策略学习算法,维护一小组基策略并将轨迹动态路由到潜在奖励最高的策略;同时提出核代理轨迹归因算法,估计轨迹反馈信号对其他轨迹策略学习的影响。
论文提出 OpTTA,在世界模型测试时自适应目标中加入规划器的目标达成代价项,使模型对到达目标保持乐观。在操作、到达与导航任务的视觉和环境偏移下,仅自适应预测器时,OpTTA 将最终规划成功率平均提升 13.5 个百分点,而仅用预测目标的 AdaJEPA 为 6.9 个百分点;同时自适应编码器时两者分别为 13.5 和 7.5 个百分点。
研究团队用864节点触觉-惯性手套以100Hz同步采集70余名参与者、五种技能水平的14000余次击球,提出基于力学的两层框架,从触觉历史中推断驱动球拍与稳定握持的控制并还原其时空力实现。
该论文提出让视频世界模型的潜空间同时兼顾可预测性与像素重建精度,通过表征学习的时间目标配合过去条件化解码器架构实现。在相同训练预算下,推理成本最高降低 5 倍、训练速度提升 7 倍以上,分布外与长时程预测的像素和感知误差降低 15-24%。作者认为时间可预测性应作为视频世界模型潜空间的重要设计准则,并给出将其纳入自编码器训练的具体做法。
研究结合果蝇全脑记录与神经力学数字孪生,测试用内在动机算法训练的智能体能否在虚拟系留球实验中复现果蝇的自主探索行为。智能体从离散低级运动基元库中选择动作,在无外部奖励下用20种内在动机算法训练;其中DIAYN在行为与神经前瞻编码上最接近果蝇,并复现了半球间运动学编码的加减规则。
研究团队提出 FLORE 框架,用两只带力传感的 UMI 式手持夹爪和可穿戴追踪器采集无机器人演示,训练以视觉、本体感知和测量力旋量为输入的力反应扩散策略,输出动作与每只手力指令。配套的混合柔顺全身控制器借助真实力/力矩传感器的力误差积分实现单手力跟踪并保持平衡。在三项接触密集任务实机测试中,力反应策略成功率为 80%,同一控制器下仅位置策略为 26.7%。
该论文提出一种用于摩擦接触的平滑解析梯度,仅在后向传播中替换精确接触敏感度,前向硬接触求解与实机可行轨迹保持不变。作者用10万样本、在台式机上训练不到2分钟得到的策略无需微调即可迁移到硬件,机器人在小跑策略下能承受推挤并穿越碎石和湿滑地面;在轨迹优化中,该梯度能找到精确梯度和Signorini松弛梯度遗漏的富接触解。
该报告在 EBench 上评测 GPT-6-Astra 作为机器人智能体,采用与后训练策略相同的视觉和本体感知观测协议,比较直接控制与结合策略的 harness 两种配置。
作者提出 Zero-real Agent Policy(ZAP),用预训练的 27B 参数视觉语言模型配合简单工具接口控制机器人,经监督微调和 GRPO 在简单仿真任务上训练,训练中不使用任何真实机器人数据。
TrySee 提出一种模块化闭环机器人任务规划流程,将通用 VLM 推理与领域专用感知及既有机器人组件结合,无需 VLM 微调或端到端演示。系统采用反应式循环规划,并加入领域专用模块化视觉预处理以提供在线 grounding,同时通过动态预处理选择机制提升可扩展性。
FISRF 提出智能体与导师架构,用于估计机器人在任务规划中的最近发展区(ZPD),并自适应选择反思策略与导师引导,以缓解早期交互中错误经验累积的问题。在 ALFWorld 和真实机器人平台上的实验显示,该方法将平均纠错轮次减少 37%、冗余推理减少 25.1%,整体任务成功率提升 8%。
作者提出将环境编辑作为机器人纠正的补充反馈形式,在机器人运动保持不变时由人编辑场景,使编辑的唯一解释是被移动的物体。他们提出 FERRET(Feature Learning from Environmental and Robot-Relational Edit Traces),从机器人纠正和环境纠正中学习偏好,并展示环境编辑能消歧特征、学到仅靠机器人纠正无法学到的偏好。
研究提出一种多模态框架,利用大语言模型和视觉语言模型把自然语言表达的人类目的转化为机器人任务与驱动力,使开放式学习的自主机器人行为与人类意图对齐。系统分为语义对齐、任务生成和驱动力建模三层,形成人类输入定义高层目的、机器人扩展为可执行任务、反馈维持对齐的双向交互闭环。仿真和实体机器人实验表明该流程能生成有效任务与行为。
研究提出基于3D高斯泼溅(3DGS)的数据生成流程,用于腕部相机VLA策略的精细接近任务适配。该方法重建真实工作空间并从机器人对齐位姿渲染腕部相机观测,与平滑结构化接近轨迹配对用于VLA微调,并加入指令条件化的接近验证器在物理接触前判断终止。
该研究提出一种从文本、音频、视频的多模态上下文描述自动生成并调制复杂全身表达性手势序列的方法,基于动态运动基元(DMP)统一实现动画原理,并用多模态基础模型生成高度上下文感知的参数化动作变体。
RoboDoctor 是一个免训练框架,在固定模型权重下通过诊断、动作执行和持久经验记录三个修订目标,让通用机器人策略与语言模型智能体在执行中自适应。在 54 条 RoboDojo-Sim 任务条目上,该框架取得五维平均分 57.10、原生成功率 49.44%,记录交互展示了策略切换、选择性纠正和抓取修正。作者指出这些结果刻画的是所评估系统中的执行期自适应,仍需对照实验来分离跨回合经验的贡献。
作者提出 PIFR 基准,用于评测长程具身导航中高优先级指令打断当前任务序列后的抢占与恢复能力。PIFR 包含单次、重复和嵌套中断设置,并分别给出插入任务完成、原任务恢复和整段序列完成的阶段指标。作者还提出一个轻量候选排序基线,用于改善中断后目标重新定位。
该研究提出面向深度强化学习(DRL)的任务分解框架,将迁移学习(TL)与奖励重设计(RR)结合,以提升障碍环境下的学习效率与鲁棒性。
论文提出 RoKON,一种面向机器人操作的数据驱动预测控制方法,无需学习显式动力学模型。方法用高斯核非线性预测器表示输入输出数据关系,并提出阻尼高斯-牛顿法利用控制问题的最小二乘结构实现实时控制,同时引入混合缓冲管理策略,在保留相关离线数据的同时纳入有信息的在线数据,以适应动力学变化。
EmbodiedLab 是一个要求机器人“动手求知”的基准:智能体接收目标与实验装置,自行选择实验流程,在物理仿真实验室中通过相机读取仪器,评估其最终获得的知识以及任务要求的物理状态。
作者提出 Labference 基准,用于评估机器人如何根据实际物理执行结果调整后续操作,并分别测量操作选择、物理执行和任务完成情况。初步评测显示,受测 VLA 策略在物体转移成功的情况下仍出现目标选择错误,而 GPT 驱动的控制虽能正确选择,却遇到执行失败和较高计算开销。
RetroNav 是一个无需训练的终身导航框架,把导航、记忆积累与失败反思整合在一起,在五个导航基准上取得当前最优表现。它用统一记忆系统把几何与语义场景知识和历史导航经验关联起来,区分客观观察与依赖任务的解读;每次导航后由独立评估器判断是否需要重试,需要时由回溯智能体结合场景证据生成重试简报。作者表示方法将开源。
论文提出语义失效分析是可变形物体灵巧操作走向成熟的关键一步,并用概念验证实验支持这一主张。与刚体操作不同,线缆、塑料件、布料等会因材料、几何和行为差异出现屈曲、塑性变形、压力变化和撕裂等多样且难以检测的失效模式,需要不同的纠正策略。作者定义了语义失效分析的组成部分与挑战,并给出实验结果说明其作为研究方向的潜力。
Zero-HLM 提出 real-to-sim-to-real 框架,将手机拍摄与仿真源演示转化为人形移动操作的可扩展训练数据。研究生成 4800 条经物理验证的演示,在 Unitree G1 的三项任务上实现零样本迁移;仿真训练的 GR00T N1.7 平均全任务成功率为 66.7%,而真实数据训练为 46.7%。