CLEAR-IR:将红外图像重建为RGB风格图像以支持黑暗环境机器人感知
CLEAR-IR提出一种双流架构,从带结构光发射器图案的红外图像重建干净、RGB风格的图像,让原本用RGB训练的视觉管线在无可见光条件下继续工作。该架构受DeepMAO启发,在目标检测、ArUco标记检测和视觉SLAM上评测,覆盖从光照良好到完全黑暗的场景;在完全黑暗时,被动RGB增强方法因传感器无信号而失效。论文已被IEEE/RSJ IROS 2026接收。
CLEAR-IR提出一种双流架构,从带结构光发射器图案的红外图像重建干净、RGB风格的图像,让原本用RGB训练的视觉管线在无可见光条件下继续工作。该架构受DeepMAO启发,在目标检测、ArUco标记检测和视觉SLAM上评测,覆盖从光照良好到完全黑暗的场景;在完全黑暗时,被动RGB增强方法因传感器无信号而失效。论文已被IEEE/RSJ IROS 2026接收。
论文研究基于视触觉传感器(VBTS)的主动采样策略,以实现样本高效的硬度分类,使用模型不确定性的信息论度量。作者在自建机器人采集的 VBTS 数据集和已发表数据集上评估了三种概率分类器、两种主动采样策略与随机采样基线,并针对相同物体开展了人类硬度分类研究。结果显示,以方差和熵作为不确定性度量的主动采样方法表现最佳,准确率达到 90%,而人类准确率为 48%。
研究团队采集带标注的第一视角网球数据集,训练并评测图像编码器、视频编码器和视觉语言模型在七项时空预测任务上的表现。最佳模型当前帧定位误差为自视角球员0.14米、球0.54米,1.1秒内轨迹预测误差分别为0.34米和0.91米,触球时间预测平均误差0.14秒。辅助深度信息明显改善3D球定位,更长的图像历史未提升球轨迹预测;团队还提出条件扩散模型,以实时速率从第一视角视频生成全身网球运动学动作。
一项遵循PRISMA 2020的系统综述梳理了2021至2026年间83篇人机协作实证论文,用联合行动理论将其归入表征、预测与整合三种能力下的九个构念。分析揭示了各构念在研究中如何分布与共现,指出实证证据集中与缺失之处,并给出未来研究指引。
作者提出 Just Action Model(JAM)框架,把 VLA 与 WAM 的差异拆解为骨干初始化、未来观测损失目标和推理时是否保留该损失机制三个可分离选择,统一为“预训练视觉骨干加动作专家、用动作损失与前瞻损失训练”的结构。
作者提出以多任务冠脉感知网络 MCP-Net 为核心的仿真驱动框架,用于机器人导丝导航,将冠脉血管分割、血管拓扑提取与路径图生成整合在一起。该方法从三维冠脉 CT 血管造影生成含模拟导丝、不同严重程度狭窄病变和多种血管几何的模拟透视图像及仿真真值,MCP-Net 从单帧透视图像联合完成血管分割、导丝尖端定位和狭窄定位。
该研究提出可靠性感知框架,将极性-时间定位、几何恢复、事件-CAD精化与轨迹优化串联,用三分支表示结合正事件、负事件与近期事件时序。在SPADES挑战赛官方测试集上完整系统取得0.0474综合位姿分数,比PASAN+IRIS低约5.4%。消融显示基础定位加均匀PnP为0.0772,完整级联降至0.0514;相同单帧观测下质量加权将分数从0.0549降至0.0514。
该论文分析近端策略优化(PPO)中各向同性高斯策略的可塑性丧失(LoP),指出策略标准差 σ 显著影响 LoP 程度,并给出理论与实验支持。实验包含 LoP 基准对比和 7 自由度机械臂上的真实策略部署,作者还据此解释了常见 LoP 缓解方法为何有效。
针对自主智能体在共享环境中需保证安全与任务完成等联合兼容性的问题,研究提出一种双层结构:监管方发布种子智能体,各开发者独立测试自己的智能体与所有种子兼容智能体的兼容性,即“面向未来的性质”。
论文研究部署策略变化后世界模型不确定性失效的问题,提出用加权共形校准把边际覆盖率迁移到目标策略分布,并用域分类器的对数损失遗憾界定权重误差。
ThinkWorld 是一个视觉-语言-动作(VLA)学习框架,把每个动作思考表示为动力学链(CoD),即一串离散运动 token,刻画当前世界到未来状态的中间动力学,并作为跨本体的通用动作表示。
研究团队提出面向 LEAP 灵巧手的在手中物体位姿到达训练配方,在仿真中无需人类数据训练,经系统辨识后零样本迁移到实机,可用动作捕捉或腕部单目深度相机。在 4 个物体、4,800 个未见目标、13.3 小时实机评测中,基于状态的策略在 2 cm 和 0.4 rad 内到达 95.2% 的目标;叠加可调保守度的学习残差安全过滤器后掉落减少 75%,仍到达 91.5% 的目标。
RESPLE2 提出一种基于非均匀B样条的递归多传感器状态估计框架,用于6自由度运动表示,并利用节点钳制边界性质,由惯性运动学直接预测控制点。该方法在迭代扩展卡尔曼滤波中完成预测与重置,并在更新步骤按原生时间戳融合LiDAR、相机、IMU和腿部运动学;另设轻量全局优化模块,用LiDAR-视觉回环约束精修控制点。
EgoThumb 是一个完全开源的视觉驱动附加机器人拇指,通过视觉模仿学习策略将掌心相机的第一视角图像直接映射为连续关节位置,实现自主抓取与持握辅助。其紧凑的双肌腱驱动手指把驱动单元移至前臂,以降低末端重量并支持精确的主动关节控制。作者称该设计可跨不同用户和环境泛化,硬件与软件均已开源,论文已被 IROS 接收。
研究提出可微分的移动窄缝建模方法,按到随时间变化的缝隙平面的有符号距离,对居中、对齐与平滑碰撞项进行门控,把稀疏的穿越事件转成稠密的路径目标,并集成到从随机初始化单阶段训练的视觉特征到指令策略中,无需教师、规划器或蒸馏。仿真中路径梯度明显优于得分函数梯度,单 GPU 训练几分钟后成功率达 99.3%。策略直接迁移到真实四旋翼,仅靠机载视觉与惯性测量,在 10 次实物试验中成功穿越动态窄缝 8 次。
作者提出约束参照策略(CRS),将策略指令的末端执行器旋量投影到物体关节轴上,把沿关节方向的进展与偏离约束的浪费分开。在74个仿真铰接物体上,二值成功率只显示迁移失败率更低却无法归因,CRS两个通道则给出各自不同的特征。
论文提出自适应残差修正(ARC),在冻结的模仿策略之上用强化学习学习残差修正,并用稀疏人类纠正决定何时启用残差控制、在残差动作空间的哪个方向探索。在真实机器人的三个精密操作任务上,ARC 将平均任务成功率从 33.3% 提升到 75.0%,人类纠正定义了七关节残差空间中 2-3 维的任务相关子空间,保留 96.0-97.7% 的纠正幅度平方。
作者提出一种解析式事件仿真器,直接由场景几何和自运动合成事件流,不经过图像渲染,单GPU生成64x64事件观测仅需17微秒,比先进渲染管线快400倍以上。基于该仿真器的事件相机强化学习避障策略训练不到30分钟即可收敛,比渲染事件训练快三个数量级,并可零样本迁移到Isaac Sim光线追踪事件仿真。
推荐理由:该工作用解析式事件仿真绕开图像渲染,把事件相机强化学习训练时间压到30分钟以内,并完成56克无人机实机部署。
StabBot 机器人对扣系统用摆锤卡尔曼滤波在立体图像中跟踪管接头,并以匹配速度靠近、通过触觉确认最后几毫米。在 200 组随机作业中,StabBot 全部完成对扣,传统固定导向器为 74%;中位接触速度从 18.4 cm/s 降至 2.3 cm/s,中位峰值头管力从 11.3 kN 降至 1.4 kN。
研究在仿真双臂工具使用任务上测量各传感通道能让诊断器判断出哪些失败原因:工具从插槽滑脱可在工具手一侧读出,哪只手延迟需双臂信息,单手机传感器只能读出本手延迟和另一手部分延迟,工具手延迟时无法从被动传感判断是否同时推力不足。
论文提出一种仅依赖通信基础设施分布式信道测量的框架,用于感知机器人视场外的被动实体并进行风险感知分类。该方法用超维计算(HDC)将测量嵌入高维表示,无需显式信道重建;基于商用光线追踪的数值仿真和 ROS 智能工厂场景验证显示,在严重遮挡下准确率最高达 89%,并保持较低计算复杂度。
World Dreamer v5-lite 是一个面向多机器人的世界动作模型,通过共享世界状态为各机器人分别预测动作序列。该模型用预训练视频编码器的校准特征在工作空间坐标中构建世界状态,其空间尺寸不随视角增加而改变;视觉语言模型提供场景上下文并为每个机器人提供一个查询,各查询读取共享状态并交换位姿感知信息,但动作流保持独立。
Ego-CEVR 提出一种数据原生的分层视觉表征学习框架,将全局表征与交互表征分配不同的学习目标。全局模块通过在第一视角视频上做未来预测,学习物体关系、任务状态和时间进度;交互模块结合全局上下文解读腕部观测,并通过机器人动作监督学习局部对齐与接触线索。两条残差路径把两种表征同时送入动作策略,全局视频模块可在大规模人类第一视角视频和多种机器人本体视频上独立预训练,无需机器人动作标签或配对的腕部观测。
荷兰代尔夫特理工大学团队提出一种由神经网络控制的固定翼拦截机,将滤波后的单目视觉观测直接映射为执行器指令,策略在自定义 Python 环境中用强化学习与近端策略优化(PPO)训练。仿真中该策略在多数条件下优于两个经典制导控制器,并已在真实飞行中成功拦截机动的固定翼目标。该工作为固定翼拦截无人机的自主控制提供了验证。
研究者提出一种转子由有限数量导电叶片间的分立电路元件构成的电场感应电机,以突破单一连续材料在电阻率、介电常数和电路特性上的限制。该宏尺度电机在转子表面用电路模拟磁感应电机的“深槽”转子设计,从而在宽转速范围内提供更高扭矩。研究完成了该电机的分析、设计与演示。
研究提出 MARL-Exo 多智能体强化学习框架,让全身肌肉骨骼模型与双侧髋部外骨骼策略在仿真中分两阶段共同训练,外骨骼仅观测延迟的髋部运动学与历史指令。仿真中代谢策略使建模肌肉代谢功率较无设备行走降低 13.8%,加入机械功率塑形后为 8.8%。
AuRaSim 是一个基于射线追踪的车载 FMCW 雷达仿真框架,面向动态场景生成相干多通道 ADC 数据。它基于 Blender 构建动态场景、基于 Sionna RT 做 GPU 加速电磁射线追踪,并加入路径级复系数传播、运动感知多普勒建模和波形配置驱动的 ADC cube 合成。在数字孪生场景中,仿真与实测距离-多普勒图的 RMSE 为 0.147、PSNR 为 16.93 dB。
作者提出质量可控策略 QCP,可在推理时控制执行速度、运动平滑度等单项质量属性及其组合。为把可控质量范围扩展到初始示教之外,作者设计了迭代事后重标注循环:按目标质量标签采集在线 rollout,把成功轨迹加入数据集,再按实测质量对累积轨迹做事后重标注并微调策略。
PDRVLA提出轻量物理动力学模块,从视觉-语言特征中提取物理token来条件化动作生成,无需在线生成视频。该模块通过直接预测未来RGB、深度和光流特征学习,并以冻结的预训练视频世界模型做辅助监督,训练数据全部来自公开数据并经人到机器人合成、子任务标注和具身思维链(ECoT)标注扩充。
研究者提出 VLA-Stem,一种基于强化学习的轻量安全机制,无需微调底层 VLA 策略,而是把其动作块转换为运动参考,在推理时结合本体感知与局部障碍信息自适应修正执行。在六个受限仿真设置中,VLA-Stem 平均无碰撞任务成功率为 52.8%,最强安全基线为 23.7%,且在无障碍环境中保持原策略性能;实机实验也显示静态与动态障碍下碰撞减少。
作者提出一种全自动、无需标靶的框架,可从原始图像和 LiDAR 扫描中联合估计相机内参、径向-切向畸变和相机-LiDAR 外参。该方法通过内参与畸变感知的对应学习,把基于深度像素点对应的标定从校正图像推广到原始相机,并在标定中迭代耦合对应预测与非线性优化。在 KITTI 未见配置和三个真实机器人平台上的零样本评测显示,联合标定提升了外参精度,同时恢复了准确的内参。
论文提出自适应失败引导学习(AFIL)框架,利用预训练 VLA 在线生成失败轨迹,作为扩散与流式 VLA 策略的自适应负向引导,避免手工设计失败模式或人工介入恢复。该方法在共享视觉-语言主干上联合训练成功与失败两个动作生成器(DAG),采样时按每个扩散步上成功与失败分布的距离调节引导强度。在域内与域外、短时程与长时程的机器人操作任务上,AFIL 相比现有 VLA 基线提升了任务成功率与鲁棒性。
该论文研究用脉冲神经网络实现的事件驱动脉冲控制器,用于欠驱动机器人的轨迹跟踪,目标是稳定预设周期轨道。作者通过横向线性化把轨道稳定问题化为周期线性时变系统的平凡解镇定,并将原本针对LTI系统的Lyapunov贪心设计扩展到该周期LTV横向动力学,从而构造反馈控制器,在butterfly机器人轨迹稳定问题上演示了方法有效性。
KEPT 提出一种面向隧道、矿井等封闭空间的导航方法,用共形预测在退化感知下为地图墙体标定禁区,并按无标签的退化程度估计调整余量以维持覆盖率。规划与控制层在规划时和每条指令上对禁区施加制动距离条件,以实测跟踪残差作为唯一余量且不改动禁区。
作者提出Retrieve to Act(R2A)测试时扩展框架,把成功示教组织成离线时空运动基元图,推理时用查询相关的图神经网络定位当前执行状态并检索结构兼容的未来运动基元,再通过逐维门控与冻结VLA的预测动作融合。
作者提出基于 Hadamard 记忆的局部空间矩阵记忆(LSMM),让强化学习智能体把任务相关信息存到基于位置的记忆单元中。在自主迷宫探索任务上,LSMM 的迷宫覆盖率与强循环网络和有限历史基线相当,并且是唯一能记住迷宫布局的架构,重建误差降低到三分之一。该工作针对人形与足式机器人在复杂环境中需要记住离开视野后很久才用到的信息这一问题。
针对月球重力(1.625 m/s²)下的平面单腿机器人,研究提出双层协同设计框架:差分进化外层搜索连杆长度,每个候选方案由QP任务空间控制器(QP-TSC)或直接配点轨迹优化评估垂直跳跃性能。
论文提出一种去噪反事实协议,用逐位可复现分支、重复续写、留出预言机和公共随机数测量世界动作模型(WAM)在测试时选择候选动作所能实现的可选空间,并据此构建失败门控选择器。
该论文研究降低扑翼膜翼声学特征的两种被动几何方法,并在一副示例翼上验证。基于膜翼动态突弹模型优化翅脉布局后,实验测得行程反转突弹噪声最多降低8 dB;仿蜂鸟羽毛的附加后缘须进一步将宽频嗖声降低3–4 dB,且不损失升力。论文指出工程翼比其模仿的动物噪声高15–30 dB。
研究者在低成本 SO-101 机械臂上,用 12 到 200 条遥操作示教训练 ACT、Diffusion Policy、SmolVLA 和 π0.5 四种模仿学习策略,共评测 1340 个回合。