ECCV'26 开源 MV2GF:用视觉几何基础模型提升跨视角行人检测泛化,MODA 最高涨 4.7 点
ECCV'26 论文提出多视角行人检测方法 MV2GF,借助预训练视觉几何基础模型 DA3 的多视角特征与 3D 点图,替代透视投影来聚合 BEV 特征。在训练与测试相机配置不同的设定下,MV2GF 在 GMVD-D、MVPerception、Wildtrack 上的 MODA 分别比此前最优高 4.6、4.7、2.2 个点。
ECCV'26 论文提出多视角行人检测方法 MV2GF,借助预训练视觉几何基础模型 DA3 的多视角特征与 3D 点图,替代透视投影来聚合 BEV 特征。在训练与测试相机配置不同的设定下,MV2GF 在 GMVD-D、MVPerception、Wildtrack 上的 MODA 分别比此前最优高 4.6、4.7、2.2 个点。
EmbodiedLab 是一个要求机器人“通过行动获取知识”的基准,覆盖 5 个学科、14 个实验装置平台上的 30 个定量科学实验,每个实例的参数都会重新采样,因此结果无法预先得知,但可以精确评分。
作者提出世界动作模型 Video Prediction Policy 2(VPP2),通过大规模操作视频的事件级预训练、将视频模型蒸馏为单步视觉规划器,并用 MoT 架构接入动作模块学习隐式逆动力学。
作者提出 IG-VLA 框架,让视觉-语言-动作模型在视觉表征空间中想象任务相关的未来场景演化,并通过 Scene Gist Memory 将推理结果内化为紧凑的 Scene Gist Token,从而在推理时跳过显式未来想象。
作者提出 JRDB-AVR,一个基于真实 JRDB 机器人数据构建的主动视觉推理基准:具身智能体收到视觉推理问题后,需按时间戳和视角请求有限观测,评估同时考察最终答案与支撑答案的视觉证据。
FlatVPR 提出一种即插即用几何线性残差适配器,对 DINOv2-ViT-S/14 等基础模型特征施加残差变换,并用 Pullback Flatness Loss 压低流形曲率,使相邻锚点间描述子可由线性插值重建。在 NCLT 数据集上,即使锚点间隔达 100m 且存在剧烈季节变化,该适配器仍带来明显性能提升。地图构建被纳入 EM 框架,分为流形适配的连续 M 步与锚点选择准则的 E 步。
ICLR 2026 论文重新检验了“可微仿真器能否给出更好的策略梯度”这一问题,指出不连续动力学带来的偏差并非主要障碍。作者提出轻量测试 DDCG,在非光滑区域切换估计器,仅需一个超参数且小样本下仍可靠;同时提出逐步骤逆方差实现 IVW-H,在可微机器人控制任务中无需显式检测不连续即可稳定方差。结论认为,估计器切换能提升受控实验中的稳健性,而实际部署中方差控制往往更关键。
Prateeth Rao 与 Sachit Rao 提出几何感知极线对应图方法,用极线约束引导对应关系图的构建与剪枝,再由图学习模块生成几何上下文向量,经 MLP 输出旋转和平移以估计相机位姿。
作者提出 ActECC,通过运动学引导的可用范围评估和延迟感知的重规划调度,解决边云协同 VLA 推理中动作块有效范围难确定、重规划请求难调度的问题。实验显示其单动作延迟最多降低 27.4%,云端调用最多减少 45.1%,并降低平均执行误差。
研究团队提出一套面向农业到达与抓取的仿真到现实机器人学习框架,基于 MuJoCo 搭建含多种番茄植株结构的农业环境,用摇杆遥操作采集专家演示。Octo 和 π0.5 两个预训练通用策略先用仿真演示适配,再在 Franka Research 3 机械臂上用真实演示微调。结果显示 π0.5 的任务表现分数高于 Octo,在视角与空间偏移等分布偏移下退化更小,研究还考察了本体感知信息对策略性能的影响。
CLARO 是一个 VLM 智能体,调度开放词汇目标检测、分割、6-DoF 抓取和非抓取推挤等技能,在杂乱环境中定位并取出语言指定的目标。它记录历史动作以支持长程执行,并输出抓取位姿或 3D 路点,从而无需任务特定训练即可迁移到不同机械臂。在动态仿真环境中,CLARO 平均成功率为 89.1%,在高杂乱场景中相对最强对比方法提升超过 16%;在真实机械臂上成功率为 88.8%。
作者提出 PlayPolicy 框架,机器人先通过行为克隆从数分钟人类玩耍数据中学得玩耍策略,再自主部署采集数小时交互数据训练世界模型,推理时由该策略为模型预测控制(MPC)提出候选动作序列。
作者提出一种巡检规划框架,用基于分类变分自编码器(VAE)的学习式相机信息度量替代几何可见性检查,以应对轨道光照剧烈变化导致的巡检失效。该方法在逼真物理仿真器中实现制导、导航与控制架构并测试多种轨道光照与视角,平均亮度达0.57、81.6%的观测高于0.25,而带光照带的几何规划为0.02(3.0%)、纯几何规划为0.04(6.0%)。
该研究将上肢功能活动度估计建模为主动感知问题,用损伤系数参数化健康关节限位的缩减,并集成到机器人交互时使用的人体模型中。作者提出在线主动感知流程,机器人通过反复递物请求主动探测用户,并逐步更新对损伤系数的贝叶斯信念。仿真研究与机器人平台上的概念验证显示,该流程能在真实人机递物中较准确地恢复损伤系数。
研究者提出 CapPro 框架,让视觉-语言-动作(VLA)策略仅凭一段人类演示视频就能适配此前未见的操作任务,无需目标任务的机器人演示或微调。该框架包含阶段感知的人类视频表示模块和视频条件适配模块,前者通过视觉 token 选择与阶段描述监督学习任务相关查询表示,后者将紧凑视频与查询表示注入预训练 VLA 策略的动作条件上下文。
OneDemo 提出一种强化学习框架,把单条成功演示编辑成适配新任务配置的轨迹,学到的编辑器既作任务策略也作可复用的演示生成器。在 15 个 Meta-World 任务上,它平均用 53.7k 次环境交互达到 92.7% 成功率;在 9 个 DexMimicGen 任务上生成演示的平均成功率为 98.4%,用生成数据训练的 BC-RNN 策略在同等数据规模下平均成功率达 99.6%。
DiVeR 提出从采样动作表示的离散度估计决策关键性,并据此重加权验证器学习,把学习重点放在动作选择影响最大的状态上,无需步级标注或额外环境交互。在 LIBERO、RoboCasa 和 Franka Research 3 实机实验中,DiVeR 通过更有效的验证器引导动作选择持续提升任务成功率,验证器推理开销可忽略。
CognitiveReality 将机器人 RGB-D 流构建为语义索引的 Gaussian-TSDF 地图,供 VR 操作者与工具调用语言智能体共享。同一建图程序仅靠配置适配不同平台,可接入机器人 SLAM、关节运动学、动捕或视觉跟踪位姿,并以影子跟踪与关键帧锚定 PnP 应对定位中断,以 2 Hz 维护开放词汇实例身份和逐物体质量。
DGT-Map 提出一种自监督框架,从 RGB-D 观测和运动信号学习全局、方向性且以车辆为条件的可通行性代价地图。它用共享多任务主干学习跨车辆的共同地形特征,再由各车辆专属预测头保留平台相关响应,推理时输出按航向索引的代价地图供方向感知规划器使用。
StepTrigger是一种面向VLM驱动足式机器人的接触状态触发后门攻击,触发信号来自Unitree Go1四足机器人走过密集地形时产生的足地接触压力模式,而非提示词或可见标记。
H2RBench 是一个用于评估人类到机器人(H2R)迁移方法的 Real2Sim 基准,基于真实人类视频演示与仿真机器人演示建立标准化协议,覆盖四类操作任务。
作者提出 Expert-Play Contouring Control(EPCC),把慢速专家演示与快速非专家试玩结合,实现快于演示的执行速度。专家演示训练隐轨迹生成器,其预测被重参数化为与时间无关的任务进展轮廓,试玩数据训练快速动作结果的世界模型,部署时规划器沿该轮廓优化动作并惩罚偏离。
论文提出一种面向单挂车铰接车辆的路径跟踪算法,在挂车侧施加横向控制律,并对牵引车转向角做短时域预测调整,使前进与倒车都能稳定收敛到目标路径。该方法基于几何、无需逐车标定或训练,在高保真物理仿真中直线、圆弧和倒车对接轨迹的稳态或最终横向误差为0.02–0.05 m。作者在小尺度牵引挂车机器人上实测,控制器运行于低成本微控制器,在约200 ms位姿检测延迟下重复倒车对接的横向误差低于13 mm。
作者提出 VLN on the Fly 机载视觉语言导航栈,将指令 grounding、规划与控制保持为可分别检查的阶段:量化 VLM 把指令定位到粗粒度图像单元,深度信息将其抬升为 3D 目标,快速 B 样条规划器生成可行轨迹,预训练强化学习策略在多种四旋翼上跟踪轨迹并输出电机指令。
ForceDelta-VLA 提出修正蒸馏框架,用冻结教师模型的力条件与无力条件两种预测构造显式力修正目标,并另设延迟修正目标处理参考动作不匹配。在九项单臂与双臂接触密集任务上,该系统平均成功率为 82.2%,ForceVLA 基线为 54.4%,第一阶段时序教师直接执行为 70.6%。相比 ForceVLA,完整系统在两个平台上将成功试验的平均峰值接触力降低约 26%。
X-WBC 是一个跨本体人形全身控制基础框架,将相对共享的人体运动语义与本体特定的物理执行分离。它用人类中心命令 token 对齐完整人体运动、机器人参考运动和稀疏 VR 观测,由因果 Transformer 从多机器人混合 rollout 中学习可复用时间结构,轻量机器人专属模块再把共享表示映射到各机器人的本体感知与动作空间。
推荐理由:论文提出跨本体人形全身控制框架,把共享人体运动语义与各本体执行解耦,并在九种仿真本体和四台实机上验证联合训练效果。
研究者提出一种“运动通信”方法,将任意短消息(如智能体当前意图)作为噪声编码进任意预训练策略的动作中,使机器人运动可被远程视觉或动捕检测,且不降低策略性能。该物理信道不依赖无线通信、无需额外硬件或与机器人建立直连。在50 Hz运行的实机上,四台机器人联合以0.8 bits/s的总速率恢复8位消息,并在仿真环境与实机部署中完成验证。
作者对 OpenVLA-OFT 和 pi0.5 在分布外 LIBERO-90 任务上的失败逐一标注,归纳出四类失败模式,其中只有执行错位一类能靠一句回顾性语言纠正修复。
该研究提出用仿真中的采样模型预测控制(SMPC)作为自动专家生成大规模离线数据集,再用纯稀疏任务奖励训练离策略强化学习智能体,从而免去稠密奖励的人工设计。高层智能体与低层动态稳定控制器结合后,学到的策略在任务目标上可超过原始最优控制教师。作者在搭载机械臂的 Spot 四足机器人和 G1 人形机器人上完成仿真到现实部署,论文为 CoRL 2026 录用版本。
SHRIMP 系统让用户用自然语言自动生成分层机器人基元计划,并通过重新提示和显式修正迭代修改计划。每次修改后用户可在仿真中验证计划,满意后再在实体机器人上执行。一项 35 人参与的桌面厨房任务规划用户研究表明,SHRIMP 提升了用户的感知控制感和机器人透明度。
研究提出接触隐式、基于直接仿真的多重打靶框架 DSMS,将运动学可行的参考动作转换为动力学可行的全身轨迹,并在非线性规划内处理接触、摩擦、碰撞与关节限位,无需预设接触时序。相比现有重定向方法,DSMS 加快运动模仿强化学习训练,策略成功率高、跟踪误差低。作者在 Unitree G1 上实现零样本仿真到现实迁移,完成行走、慢跑、接触丰富的爬行以及 180 度跳跃转身。
研究提出分阶段多智能体训练(SMAT)方法,在物理仿真中联合训练肌肉骨骼人体智能体与双侧髋关节外骨骼控制策略,学习考虑人机协同适应的辅助策略。该策略未经受试者个体化重训练即迁移到实体髋关节外骨骼,在八名健康成年人中测试,间接测热法显示主动辅助相对被动装置使净代谢率降低19.7%(p < 0.001),髋关节机械功率正功率比为0.984,并在训练条件之外的步行速度与地形上保持有效辅助。
论文提出一个与机器人无关的柔顺控制框架,通过插件式执行架构把 ROS 控制器样板代码与控制律实现分离,并扩展了 ROS 控制生态。框架用 Pinocchio 从 URDF 模型计算机器人运动学与动力学,标准化关节和笛卡尔指令接口支持运动参考、刚度与阻尼增益、零空间目标、期望交互力旋量及独立前馈输入。
该论文提出面向四足机器人经被动臂搬运载荷的 ZMP 建模方法,把被动接口的刚度、阻尼和载荷质量与 ZMP 响应关联起来,并指出轻阻尼被动模态可能与步态谐波重叠。
LaWAM 提出潜在世界动作模型,通过紧凑的潜在视觉子目标而非重建未来视频,把预测动力学暴露给机器人策略。其核心 LaWM 在预训练视觉基础模型的潜在空间中训练潜在动作模型,并复用其前向解码器预测未来观测特征。
GeoHAT 是一个端到端扩散策略框架,用轻量 Fourier 空间编码器把逐像素三维坐标映射为几何 token,再按深度有效性门控注入视觉基础模型特征,无需额外 3D 视觉骨干。
研究提出一种基于模型预测路径积分(MPPI)控制的时空信息规划方法,用于水面无人艇(ASV)搜索并捕获多个漂移目标。规划器通过代价设计耦合目标漂移预测与探索目标,在长时域上优化连续轨迹并直接生成运动学指令,拦截阶段使用纯追踪制导完成物理捕获。仿真中捕获目标数比最强基线多 18%,并在实艇试验中验证了该方法。
作者提出 PRISM,从冻结的潜在世界模型编码器特征中训练轻量动作头,得到目标条件动作先验,并用其均值和预测不确定性引导动作搜索,再由世界模型评估动作后果。在四个仿真控制任务和两个真实机器人平台上的实验显示,该轻量动作头提升了规划性能,同一融合接口还能在不修改的情况下接入基于相同冻结特征的扩散先验。
作者提出 MRO-GWM,一种以物体为中心的高斯世界模型,用于学习三维刚体对象的动作条件动力学。模型用物体坐标系下的高斯表示任意形状与多物体场景,并通过时序-空间 Transformer 从历史高斯和未来动作预测刚体运动;训练基于多视角重建,需处理遮挡导致的局部观测。
作者提出 Crazyflow,一个基于 JAX 的可微无人机仿真器,把高保真动力学与 GPU 加速结合,可在单 CPU 和 GPU 上扩展到数百万环境或数千架无人机的集群。实机实验显示,它支持解析梯度策略学习,无需域随机化即可实现高精度跟踪,采样式避障速度超过每秒 5 亿步。作者还演示了飞行中强化学习:把实体无人机抛向空中后,从零训练恢复策略仅用 0.37 秒,并在落地前接住。