MotorSense 发布首个大规模自我中心视频与肌电配对数据集
MotorSense 是首个大规模自我中心视频与表面肌电(EMG)配对数据集,包含 100 小时无脚本操作中的同步视频、双臂 EMG、IMU 和音频。研究利用该数据做视频与 EMG 跨模态预训练,学习视觉与运动空间共享的动作组织,并迁移到动作识别、3D 手部重建和 3D 接触重建等任务。在四类动作相关视觉任务和八个视频数据集上,这种感知运动对齐的表征均优于传统视频自监督方法。
MotorSense 是首个大规模自我中心视频与表面肌电(EMG)配对数据集,包含 100 小时无脚本操作中的同步视频、双臂 EMG、IMU 和音频。研究利用该数据做视频与 EMG 跨模态预训练,学习视觉与运动空间共享的动作组织,并迁移到动作识别、3D 手部重建和 3D 接触重建等任务。在四类动作相关视觉任务和八个视频数据集上,这种感知运动对齐的表征均优于传统视频自监督方法。
arXiv 论文在简化周界防御仿真中对比了集中指挥官、拍卖式共识团队和独立 LLM 智能体在五种网络条件下的表现,共识团队入侵率为 15%,指挥官为 32%,独立智能体为 29%。
cuPIQP 是一个基于近端内点法的 GPU 批量可微二次规划(QP)求解器,统一支持稠密、稀疏和多阶段问题。在每批最多 16384 个 QP 的基准中,其求解速度最高为 Moreau 的 18.8 倍、八核 PIQP 的 4.26 倍;端到端学习任务中训练加速为 QPAX 的 4.6 倍、Moreau 的 7.8 倍。
一项在真实家庭环境中开展的试点研究评估了面向犬类福利的“曲线绕行”导航动作——在狗的警觉距离触发横向弧线绕行轨迹,但结果与假设相反,该动作比直线基线引发更强烈的应激反应。作者认为,机器人多次停顿并重新定向以近似弧线的不连续执行削弱了行为可读性,这本身成为应激源。研究由此提出机器人行为对非人类的可读性与代理刺激效度是动物-机器交互(AMI)的结构性挑战。
AquaProbe 提出一种冻结视觉模型的水下图像适配方法,通过成对干净图像与物理渲染图像测量域差异在编码器各深度的分布,再按该分布分配固定的 LoRA 秩预算。
一项博弈论与多智能体研究提出,无法通信的团队可通过读取对手对群体整体的反应(tell)来获知单个成员看不到的信息,一次tell可替代全体成员的消息传递。在已求解的高斯模型中,团队通过承诺不使用全部信息来获得真相,并保留对手本应付出的隐藏成本;精确检验可判定该结论在有限博弈中何时成立。研究还分析了信任分配方式,指出两个可互换成员以不同方式响应可替代单个成员的私有随机源。
作者提出 ID-WM(Implicit Dynamics World Models)分层世界模型,用高层模型在状态流形上采样可行转移,低层世界模型作为逆动力学求解器把转移落到精确动作。在三个导航与操作测试集上,它比现有策略与扩散规划器提升 38.5%,相比单层世界模型 MPC 在复杂未见长程配置中提升 135%。
RoboArchitect 让编码模型观察机器人 rollout、诊断失败并迭代修改冻结策略外围的智能体框架,在不更新任何模型权重的情况下把未见场景平均成功率从 9.7% 提升到 43.3%(4.5 倍),未见任务从 12.7% 提升到 40.2%(3.2 倍)。
ROOF 提出一种带接触支撑几何逃逸引导的强化学习方法,让仅靠本体感知的人形机器人在头顶障碍下先腾出空间再完成起身。仿真中,在只能抬起的板下恢复成功率为 88.5%,无几何引导时为 18.9%;在尺寸、质量和位置随机化的自由板下为 98.6%。部署到 Unitree G1 后,在七类真实障碍场景的 150 次尝试中成功恢复 95 次,其中包含训练中未出现的家具和多物体布置。
作者提出 REA 路由式具身智能体运行时,让负责推理的 System 2、具身路由 System 1 与反应式 System 0 策略在同一运行时协作,核心规则是运行中的策略不等待大脑。
一项研究提出面向辅助轮椅多目标导航的混合路径规划框架,将旅行商问题(TSP)用于全局任务排序,结合势场(PF)方法与RRT、A*等启发式局部规划器实现无碰撞导航,并开发出TSP-PF-RRT与TSP-PF-A*两种算法。在拥挤和超拥挤场景的蒙特卡洛仿真中,该框架能在含异构动静态障碍物的动态人类环境中完成高效多目标导航,其中TSP-PF-RRT碰撞更少或为零、行驶距离更短。
研究提出证明携带演化(PCE)方法,让语言模型在搜索中同时给出控制器及其证书,只有通过证书校验的候选才能被返回,部署产物是控制律与证书。作者在限速对接、机动目标追踪和 SO(3) 姿态控制上比较四个语言模型与经典搜索和综合方法,线性问题用精确有理数算术校验证书,SO(3) 上先浮点校验再对每个报告冠军精确复验,各方法最佳运行还获得 Lean 4 证明。
作者提出 Nexus-VLA 混合策略学习框架,通过端到端人机联合训练实现跨本体知识迁移,让人类操作经验直接参与机器人策略学习。该框架先建立从任务意图到细粒度交互的分层跨本体语义对齐,再把多级共享知识编码为共享操作隐表示,直接用于连续动作生成。在 RoboCasa-GR1、OOD 设置和真实机器人实验中,Nexus-VLA 在 RoboCasa-GR1 上取得 80.5% 的任务成功率。
该论文提出悬垂织物机器人操作面(RMS)的可分离悬链线模型,可快速计算给定执行器高度下的表面形状,以及达到期望局部斜率所需的执行器高度。闭式逆解让简单 PID 控制器即可在织物面上定位物体,模型还把织物长度、模块跨度和执行器行程与可达工作空间关联,给出最小织物长度下界和设计图表。
研究团队发布了一款用现成部件搭建的开源膝部外骨骼,其生物力矩控制器完全由仿真生成,无需在目标设备上采集训练数据。方法是用肌肉驱动模仿策略从公开生物力学数据集复现深蹲动作,再把膝关节力矩蒸馏成仅依赖板载传感器的估计器。
研究提出用语言条件行为克隆实现自主内窥镜引导,定义了6种临床相关引导行为并采集235条子任务演示。在初步体模实验中,单一视觉运动策略在聚焦、全景和停止上成功率为100%,搜索尖端和跟随尖端为80%,水平校准为50%。作者指出失败模式说明更复杂的引导任务需要引入时间上下文。
研究将 CADENCE 与去中心化版本 DADENCE 两套算法扩展到动态版 POCGAGP(DPOCGAGP),新增 Agent Loss 与 World Change 两种部署期扰动设定,用于多智能体在未知受限空间中建立完全覆盖的通信网络。在超过 4500 个不同规模与结构的基准测试用例上,改进算法性能优于另一先进基准算法。该工作聚焦仿真基准评测,尚未涉及实机验证。
研究提出在冻结运动策略下在线学习闭环动力学的方法,用污染高斯模型区分可预测与不可预测响应,并结合高斯过程与随机傅里叶特征构建在线学习器,以降低异构观测带来的偏差。该方法与模型预测控制(MPC)结合后能更准确预测浮动基座运动,仿真与硬件实验中末端执行器跟踪误差为 0.01 m,并给出了在线学习的有限样本误差界。
研究团队提出 Movens-Zero 可扩展的理解-生成-执行架构,支持文本、语音、音乐和视频输入下的实时闭环人形运动生成。其配套数据集 Movens-5M 从互联网视频经片段生成、质量过滤、语义标注、运动恢复与人形重定向物理精炼构建,含 1500 万条人类运动序列和 500 万条可物理执行的人形运动序列,总时长超 1 万小时。
推荐理由:该技术报告给出从互联网视频构建人形运动数据集并训练统一理解-生成-执行模型的完整路径,可供参考数据规模与架构设计。
作者提出 META-Robot 框架,将自我认知与能力扩展结合,通过动作级谓词把执行结果显式化,供 LLM 推理使用。智能体据此识别自身局限、扩展评估标准,并引导技能的结构化扩展;本体感知反馈进一步把这一过程锚定在机器人的物理状态上。仿真与实机实验显示,该框架在整体任务表现、新任务泛化、技能与评估标准持续扩展以及非视觉本体感知信号利用方面均有提升。
作者提出 SimuGuard,一个面向 LIBERO、RoboTwin、RoboCasa 和 RoboDojo 的审计插件,用于识别仿真器而非策略导致的失败。在 RoboTwin 上,作者将这类失败追溯到物理引擎的碰撞检测:几何相距 1 至 2 厘米时引擎报告约 2 厘米穿透,求解器以数米每秒把物体弹出,原因是距离算法丢弃了低于固定面积阈值的三角形。
推荐理由:原文把仿真基准中的失败追溯到物理引擎碰撞检测常量,并给出修复前后的成功率对比,可供做仿真评测的团队参考。
SketchMate 让视觉语言模型为插入任务构建由少量几何基元和两个配合坐标系组成的草图模型,再由规划器与柔顺控制器执行。在 69 个仿真插入回合的严格运动学测试中,该方法以装配姿态插入 88% 的零件,而使用同一 VLM 的 ReKep 和 MOKA 均未插入成功。
研究把低推力(LT)轨道转移建模进部分可观测马尔可夫决策过程(POMDP),用于在轨服务(OOS)任务规划,状态空间加入服务航天器剩余推进剂以支持质量更新。高推力转移用预计算转移矩阵建模,低推力转移用解析GEO相位模型表示,并按给定转移时长备选方案计算推进剂消耗与机动可行性。在简化OOS场景中用SARSOP求解并比较高推力与低推力策略,定量评估低推力方案的可行性与运行影响。
研究提出编码器的生成式测量模型,并推导最大后验估计表达式与优化所需雅可比,构建了紧耦合的视觉-惯性-编码器 RGB-D SLAM 系统。在自建数据集上,该系统实时状态估计的均方根误差约为 2-7 cm,用于弥补纯视觉方案在特征点暂时缺失和快速运动时的失效。源码和含编码器信息的数据集已公开。
该论文利用串联机器人的高阶运动学导数,提出保形实时数值逆运动学方法,给出四阶与五阶收敛的 QuIK4、QuIK5 求解器。方法还包含沿步长外推雅可比行列式以预测并规避奇异的保形步长限制器,以及用 Hermite 插值验证解保形性的认证器与认证重启算法。作者称相较既有方法失败率最多降低四个数量级,并发布带 ROS 2 集成的 C++ 库。
建筑机器人(如机器人隔断、天花板、家具与立面)可自主移动并重构空间,作者据此反思:其影响不止于运动瞬间,还包括运动停止后持续存在的空间配置。这类行动可能让部分使用者受益、另一些使用者受损,多台机器人还能共同让整个建筑空间显得在行动。作者主张,理解机器人建筑需超越短期人机交互,关注人如何居住、协商并保持对可自主重构空间的控制。
该论文提出柔性感知操作框架,把柔性连杆的结构动力学与传感、运动学和控制直接连接起来。方法先按响应收敛和激励带宽准则识别各柔性连杆的主导振动模态,在全秩模态可观测条件下,m 个保留模态只需 m 个独立斜率测量和一个参考 IMU,并据此重建连续连杆变形,用于柔性感知正运动学和基于偏微分方程的控制器。
arXiv 论文《When the Past Shapes Action: Understanding Embodied Memory》将具身记忆定义为在当前观测之外保留决策相关信息,并按六个基本记忆需求与八类架构组织现有方法。
一项 arXiv 研究用肘部助力外骨骼服考察举重时力增强的生理、感知与认知后果,发现辅助虽降低肌肉活动,但行为结果并不简单对应这一生物力学变化。辅助降低了感知重量,但该效应受参与者初始经验强烈影响;辅助还选择性削弱了对环境条件变化的适应,努力决策的差异同样由初始经验塑造,而非单纯跟随肌肉活动或感知疲劳的下降。作者据此认为,力增强的感知与认知后果无法仅凭生物力学收益推断,需与身体表现一并评估。
作者提出一种基于模型预测路径积分控制的分散式运动规划器,同时计算自船轨迹和其他船舶的轨迹预测,并把交通规则编码为不连续代价,无需平滑近似。在取自阿姆斯特丹运河真实河段的地图中,780 次随机运行均无碰撞、无死锁到达目标,优于同领域优化规划器及不考虑交互的版本。两艘缩比船原型在户外以 10 Hz 机载规划与定位,完成对遇和交叉相遇且未违规。
OpenVIO 是一个以 MIT 许可开源的视觉-惯性里程计(VIO)系统,支持针孔相机、鱼眼相机,并扩展到拼接 360° 图像。作者介绍了系统各模块的设计考虑,并在公开数据集上与其他开源 VIO 系统进行了基准对比。代码已开源,论文共 7 页、6 张图。
该论文提出一种体素建图系统,用并行计算同时生成占据栅格地图(OGM)和欧氏距离变换(EDT),并增量构建全局 EDT,为在线运动规划输出高频局部距离信息。系统用 GPU 编程在局部体积内并行计算 EDT,再通过并行波前算法把新观测持续融入全局 EDT,同时保留历史观测。
ResMerge 提出两阶段框架,在冻结的预训练策略之上学习可合并的残差策略:残差强化学习在适配阶段无需额外专家示教即可获得任务特定修正,参数空间合并则整合兼容残差以减少存储参数。
作者提出 ∇Mimic,用可微仿真器的精确梯度训练人形机器人全身运动跟踪策略,在单张 GPU 上 20 分钟达到 0.82 分、1.8 小时达到 0.874 分,而世界模型方法达到 0.82 需 1.2 小时。
推荐理由:论文给出可微仿真下精确梯度训练人形策略的完整方案,并开源引擎与代码,便于对比一阶与零阶方法的效率差异。
作者提出 Direct Manifold Action Transformer(DMAT),把双臂动作生成重构为从随机插值中直接建模干净的、以观测为条件的关节空间动作块,实现单步推理,无需迭代去噪或轨迹拉直。
RTPolicy 是一种多视角视觉运动策略,通过视角感知特征融合与视觉压缩,把多相机信息聚合成紧凑 token 表示,并用流匹配动作生成器降低动作生成开销。在 RoboTwin 2.0 单任务 clean 评测的 50 项任务上,平均成功率为 52.26%,高于榜单最强基线 π0 的 46.4%。
研究在 LIBERO-Goal 仿真中对六个模型检查点施加空、中性、无意义、不可行和错误任务五类指令,固定初始状态只改变指令,考察 VLA 策略是否启动、完成哪个任务以及指令决定什么。
该论文针对双积分动力学与加速度平方目标,推导出两台机器人从静止到静止的最优无碰撞轨迹完整解析刻画,证明这些轨迹属于八类接触族,并给出每种初始与终止位置组合对应的族判定。作者分析了最优轨迹的几何性质,提供了数值计算算法,并讨论了这些结论如何改进现有数值轨迹优化器的性能。
作者提出顺序接触插入算法(SCI),围绕机器人达到最小允许间距的接触点组织优化,并在接触点之间解析重建轨迹。数值实验中,该方法可在数分钟内完成一百万台机器人的规划,数千台机器人只需不到一秒;在固定网格顺序凸规划基线可求解的问题上,SCI 在解精度相当的情况下取得数个数量级的中位加速。
作者提出 AC-SMPC,一种带状态约束的 actor-critic 模型预测控制框架,用于受限动态环境中的安全导航。该方法用顶点表示机器人与障碍物、半空间表示工作空间,将非线性动力学局部线性化并把基于超平面的避障约束凸化进可微 MPC 层,actor 通过闭环反馈调整 MPC 目标参数,critic 评估长期任务表现。