UCA-Flow:统一条件-动作建模实现单步动作生成
UCA-Flow 提出统一条件-动作建模框架,将观测条件、时间步条件、区间条件与动作 token 编入同一序列,由统一 Transformer 联合学习表示,实现准确的一步动作生成。
UCA-Flow 提出统一条件-动作建模框架,将观测条件、时间步条件、区间条件与动作 token 编入同一序列,由统一 Transformer 联合学习表示,实现准确的一步动作生成。
RAPAC-DP 提出一种响应对齐的待执行动作补偿框架,让扩散与流式动作生成器在云端推理延迟下仍能输出与交接时刻对齐的完整动作块。该方法用轻量待执行动作编码器和 LoRA 适配器学习补偿,基础策略保持冻结,并从无延迟示教构造延迟条件训练样本,无需显式动力学模型或额外延迟数据。
论文提出环境约束利用(Environmental Constraint Exploitation,ECE)方法,通过有意与环境接触来降低运动规划的维度和计算复杂度。作者将ECE集成到基于RRT的规划器中,把探索偏向任务相关区域,并利用接触减少不确定性以提升执行鲁棒性,在真实场景中展示了实际效果。该工作整合并扩展了此前研究,说明ECE能在复杂环境中简化运动规划并增强适应性。
论文提出 Semantic Anchoring,一种即插即用的方法,将 VLA 的动作表示锚定到语义流形,并拆分为共享语义通道与私有通道,推理时全部丢弃、不改变部署模型。
论文提出 Graph-as-Policy(GaP)多智能体编码框架,从模块化开放机器人技能库 MORSL 生成包含感知、规划与控制节点的有向计算图,并构建内部仿真环境并行演练不同图结构以迭代优化成功率和吞吐量。作者在 4 个仿真和 4 个真实世界的新开放变异性自动化任务基准上评测,称 GaP 的成功率显著优于基线。
作者提出 Language Sensor Model(LSM),将每句自然语言描述及其场景图上下文映射为多模态分布,用混合权重表示指代歧义、用分量协方差表示空间不确定性。
该综述梳理3D生成在具身智能与机器人仿真中的三类角色:作为数据生成器产出带关节结构、物理属性和可变形内容的仿真就绪资产,作为仿真环境构建可交互、任务导向的场景,以及作为仿真到现实桥接支持数字孪生重建、数据增强和合成示教。作者指出该领域正从视觉真实感转向交互可用性,并列出物理标注有限、几何质量与物理有效性脱节、评测碎片化和仿真到现实差距等主要瓶颈。
该论文提出在因子图框架内估计紧致几何变应变(GVS)参数化系数,并用应变场 Magnus 展开推导的运动学因子把 GVS 应变系数与骨干位姿变量关联起来,从而重建连续体机械臂形状。方法在仿真与实验数据上对比高斯过程回归基线,在部分和稀疏测量场景下精度更高,同时保持计算效率。该状态向量紧致,可直接用于基于模型的控制。
作者提出 ENAP(Emergent Neural Automaton Policy)神经符号模仿学习框架,用自适应聚类和 L* 算法扩展从示教中学习 Mealy 状态机作为可解释高层规划器,再引导低层反应式残差网络通过行为克隆学习连续控制。
作者提出 VORL-EXPLORE 混合学习与规划框架,用执行保真度估计局部可通行性与执行可靠性,并将其耦合进带机器人间斥力的 Voronoi 分配目标,在导航中仲裁全局 A* 引导与反应式强化学习策略。保真度模型利用近期进展与安全结果生成的自监督伪标签重新校准。随机动态栅格实验与严重拥堵消融显示成功率更高、探索路径更短、机器人间覆盖重叠更低,并给出 Gazebo 工厂场景部署示例,代码已开源。
作者提出一致动作-响应执行(CARE),把局部控制建立在可执行动作索引的人机联合转移上,让同一可执行动作同时决定操作者响应预测、人机联合推演与候选选择。在训练与留出地图上,当指示路线仍可局部通行时 CARE 保持接近饱和的性能,当操作者可继续而机器人需绕行时取得最高的成功率与服务可用性。
研究团队在国际空间站 Astrobee 自由飞行机器人上完成基于机器学习热启动加速轨迹优化的在轨演示,用神经网络预测序列凸规划(SCP)求解的初值,再由 SCP 求解器保证安全约束。在含旋转动力学的场景中,训练后的网络将收敛所需求解器迭代次数减少 60%,在训练分布内的障碍场景中减少 50%。该工作发表于 iSpaRo 2025。
作者提出面向徒手牙科操作的触觉双边遥操作系统 FH-HBTS,包含兼容标准临床工具的机械末端执行器并集成内窥镜相机。系统通过操作者与机器人之间的运动与力对应关系提升操作者的感知与动作精度,并仅依据测得的接触力缩放输入导纳控制器的运动参考,从而在无需预先了解环境的情况下限制交互力。在牙科模型上开展的技术评估与体外临床前研究显示,该系统提升了遥操作的自然性、安全性和精度。
SceneBloom 提出一种智能体式框架,将视觉布局采样与契约引导的 3D 编译结合,用于生成逼真且多样的仿真室内环境。其分层采样器利用扩散先验在功能区内生成家具布局,编译器再依据提案中提取的关系进行几何拟合与局部位姿修正。
RobustRLlib 是一个以算法为中心的鲁棒强化学习库与基准,在统一接口下集成了17种代表性在线、离线与安全强化学习算法。其评测平台覆盖多种现实偏移以及人形机器人和视觉-语言-动作任务,在273种扰动配置上给出当前鲁棒强化学习算法的能力分布,指出哪些场景仍然有效、哪些仍存在明显鲁棒性缺口。项目提供开源代码、项目页和教程,便于复现与扩展。
作者提出基于 soft mellowmax 价值函数的正则化强化学习算法 SMM-AC,在 MuJoCo 连续控制基准上与 SAC 等基线相当,在真实机器人上取得更高回报,且对观测、环境和动力学扰动更鲁棒。研究对比了常用强化学习算法的仿真到现实迁移表现,指出正则化能提升策略对仿真到现实差距和真实环境变化的鲁棒性。
研究提出从大规模示教数据中学习速度先验,给定任务指令、运动路径和沿途图像,预测路径上的执行速度分布,并用选定分位数作为统一时钟为每条示教重定时。该方法在机器人遥操作数据和人类手持夹爪示教上拟合速度先验,把机器人示教重定时到手持节奏后再微调视觉-语言-动作策略,执行时配合实时最优控制层在机器人约束下跟踪预测动作块。
研究在 HandMeThat v2 基准上对比了基于结构化社交与具身推理的 FISER 和通过文本提示合成叙事与逼真图像做多模态增强的 CEMIR,覆盖 Qwen2.5-Omni-3B 至 GPT-5 四款大语言模型。
论文指出人形机器人安全过滤器的数学保证只在参数配置正确时成立,而参数依赖具体任务与环境,部署后可能失效。作者提出目标插入攻击并开发自动化工具 SIREN,在 SPARK 数据集的所有脆弱场景中均识别出攻击,数量为基线方法的三倍,并在真实人形机器人上触发碰撞。
作者提出 SAGE(Semantic-to-Action Grounded Execution)框架,用视觉语言模型(VLM)输出的轨迹作为对完整几何候选路径的偏好,并通过排序融合把候选的几何得分与 VLM 轨迹一致性结合。
StackGen3D 框架可根据给定积木库存与三张正交轮廓图生成稳定的积木装配结构。其先用物理信息图神经网络(PI-GNN)建模积木支撑关系并筛选稳定结构数据集,再训练条件流匹配模型学习符合目标轮廓的多模态积木配置分布。初步实验中,Best-of-10 选择将物理稳定性从 45.3% 提升至 72.4%,轮廓 IoU 达 0.970。
作者提出PnP*,称其为首个实用的可认证求解器,能在保证高效计算的同时返回全局最优的相机位姿。论文证明该凸松弛在中等噪声下是精确的,并利用弦稀疏模式和商环约简使松弛可解且可扩展,数值验证显示PnP*以超过10 Hz的频率返回可证明正确的相机位姿。
研究用匹配的仿真器与模型响应,在 Reacher 和 OGBench Cube 近千个状态上以 Gram 矩阵测量 LeWorldModel(LeWM)对小幅动作扰动的敏感性。
研究系统测试了小型足式机器人 SandBot 在沙等颗粒介质上的速度与步态参数关系,高性能仅出现在很小的参数空间区域内。将已有的机器人运动学模型与新的各向异性颗粒穿透力律结合,可预测其速度。性能在步态参数使机体加速度和肢体干涉最小化、并利用颗粒介质固化特性时达到最优。
DexPort 是一个面向高自由度机器人手的手持数据采集接口,采集与部署使用同一套手部硬件,记录关节目标指令和实测关节状态。操作者移动手持接口指定腕部运动,并通过选择或调整技能来协调手指动作,无需逐关节控制。
ViT-H 提出生成加跟踪的视频到人形控制框架,用扩散模型直接从单目视频生成人形参考动作,跳过人体动作重建与重定向环节,并用运动跟踪结果以直接偏好优化后训练生成器。作者还给出自回归变体,可在低于 400 ms 延迟下实现实时人形视频遥操作。在 Unitree G1 上的实验显示,ViT-H 在动作质量与可执行性上优于现有的重建-重定向-跟踪流水线,且性能随模型规模及预训练、后训练数据规模提升。
研究提出 OCT 引导的数据驱动框架,用用户示教学习软组织形状控制并以 OCT 闭环反馈执行。在 12 种配置、576 次体模试验中,带残差条件的体素点云 Explicit 策略在深度任务上达到 0.534 mm、方向任务 0.443 mm 的 Shape RMSE,全体积 Diffusion 加残差条件把方向误差从 0.748 mm 降到 0.555 mm。
作者提出 Backtrack,一种面向冻结 VLA 的轻量失败检测与恢复机制,无需恢复演示、策略重训或额外推理模型。它用仅增加 0.48-0.88% 参数量的失败预测头读取 VLA 内部表示,预测失败概率超阈值时暂停策略、回溯机械臂近期运动并交回原策略重试。
HoloBoxing 提出一种基于预训练全身控制器的人形机器人拳击学习方案,将可复用运动技能与任务决策分离:紧凑规划器输出未来身体点目标,冻结的控制器负责关节级执行。
针对联邦学习与 VLA 策略结合的前景,研究指出跨任务、环境、人员和机器人本体共享人类纠正适配时存在安全风险:提升平均任务成功率的共享更新可能压制罕见的安全干预,或在另一台机器人上产生不安全响应。
研究提出动作感知量化方法,用视觉语言模型把长程操作轨迹拆成物体级子任务并分配加权动作信用,构建800小时以上训练视频数据集和含19618个人工校准评估帧的LOOM基准。
作者提出 VERID,一个面向自动化实验室的持久高保真语义数字孪生,为 AI 智能体提供四项核心服务:可查询内省、时间压缩仿真、完整轨迹留存和安全执行框架。基于水溶性染料与去离子水混合物的三个案例研究验证了其光学与流体基础,展示了实验协议关键错误的预先检测、运行中状态化错误恢复以及事后识别细微物理故障。
AWARE 是一个世界模型框架,仅依靠外部摄像头监测,通过系统动力学估计与状态预测实现异常检测,无需电机编码器等机载传感器。在 240 条真实机器人吊车轨迹(含载荷碰撞与电机退化)上,其异常分类比最强基线提升 26%;推断出的动力学参数还可解码定位故障来源,退化电机定位准确率达 88%。
研究评估条件神经过程(Conditional Neural Processes)能否自主学习对动作潜在目标有信息量的动作表征,发现隐空间加入注意力机制后,在动作序列观察早期即可形成稳健的目标表征。作者据此认为该模型有望作为机器人自监督通用学习器,成果以海报形式发表于 IROS2023 认知机器人学世界模型与预测编码研讨会。
作者提出增强滤波蒙特卡洛定位(AF-MCL),仅用四个单点测距传感器和实测航向实现室内无人机二维定位,并剔除与已知静态地图不一致的测距数据、自适应注入粒子以应对定位发散和绑架问题。
论文提出一个自然语言策略接口,把操作员指令接入 ROS 2 Nav2:本地大语言模型将指令转成 JSON 策略,指定目的地、空间约束和时间或事件条件,再由确定性检查决定是否接受,并通过三个 costmap 适配器注入现有导航栈,不改变规划器与控制器。
作者提出 OWLS(开放世界语言条件速度场),直接在以视觉语言模型(VLM)的稠密特征图上规划:给定可通行地形描述后,VLM 为单张相机图像的每个像素打分,OWLS 将这些分数投影到地面,经两次形态学操作适配平台,再作为最小时间规划器的速度场,使地形外观与障碍间距共同塑造同一条轨迹。
UAV-SwarmAgent 是一个分层多智能体系统,操作员用一句自然语言下达任务,地面站智能体生成并执行代码,将其转化为每架无人机的航线。系统用视觉语言模型在空中地图上定位巡检目标,按路线长度均衡分配给 N 架无人机,再由搭载轻量决策模型的 worker 智能体核实事件。
作者提出HGWM,将大语言模型生成的房间锚点先验与持续空间语义记忆结合,用于零样本物体导航中的搜索方向选择。在HM3D v0.1上报告62.6%成功率和31.5% SPL,对比WMNav的58.1%和31.2%;在MP3D上为46.8%和17.9%,对比45.4%和17.2%。
Yonghyeon Lee 汇编并编辑的《机器人优化、最优控制与强化学习》讲义 v1 已在 arXiv 发布,强调三者的数学联系与实际应用。该讲义由人与 AI 协作撰写,属已有材料的整理而非新研究成果,目前为初步版本,尚无图表,后续计划修订与扩充。