Cortical Labs 用活细胞生物计算机控制机器狗运动
Cortical Labs 用活细胞构建的生物计算机 CL1 在模拟二维环境中训练后,被用于控制一台真实机器狗的运动。该公司尚未经过同行评审的论文显示,神经网络在持续输入相同数据的情况下随时间改善,香港教育大学的 Ferrante Neri 认为这是有限经验下学习的初步证据。Cortical Labs 称生物计算机运行能耗可能低于数字方案,其细胞来自经捐赠者同意的血液干细胞。
Cortical Labs 用活细胞构建的生物计算机 CL1 在模拟二维环境中训练后,被用于控制一台真实机器狗的运动。该公司尚未经过同行评审的论文显示,神经网络在持续输入相同数据的情况下随时间改善,香港教育大学的 Ferrante Neri 认为这是有限经验下学习的初步证据。Cortical Labs 称生物计算机运行能耗可能低于数字方案,其细胞来自经捐赠者同意的血液干细胞。
研究人员开发了一种单一控制策略,让 Unitree 的 G1 通过决定九个不同身体部位的落点,完成爬梯、匍匐、翻越障碍、踩踏石和跌倒后恢复。机器人可用手、肘、膝、脚甚至骨盆支撑,而不只依赖步行,在仿真障碍赛道中取得 92.5% 成功率,但该灵活性在不可预测真实环境中的表现仍是更大的考验。
NVIDIA、MIT、香港大学、UCSD 团队的 Long-WAM 与 Meta FAIR、Mila 等机构的 RoboJEPA 于 10 月 7 日同日提交 arXiv,分别衡量增加视觉历史与扩充训练算力的收益。
清华大学张长水、崔森团队提出具身智能系统RoboCoach,用世界模型CoachWorld在想象中闭环试跑长程任务,定位首个超时的薄弱子任务并定向请求人类示教,只更新对应技能专家。在固定示范预算下,Franka成功率从13.3%提升至75.0%,AgileX从40.0%提升至83.8%,均匀采集基线分别仅为30.0%和47.5%。四条未见过的新任务路线平均成功率35.0%,共享策略基线为0%。
推荐理由:论文给出世界模型定位薄弱子任务、定向示教后成功率提升的完整实验,可参考其数据预算分配思路。
UIUC、冷泉港实验室、布朗大学和马普所的研究者提出 DSReg(Dependency-Sparsity Regularization),可直接加在已训练好的 LeJEPA 上,使学到的每一维对应一个真实世界变量,无需重建观测、解码器或标签。
三星 Samsung RX Lab-China 团队提出 ε4P(Imperfection for Precision),按数据缺陷类型把不完美数据分别准入 flow matching 的不同噪声区间,从而把直接混训时有害的数据转化为性能增益。
清华大学和新加坡国立大学研究者提出ParallelWorld,在具身智能体高层规划中加入多步候选未来预演,将任务成功率从56%提升至83%。该方法在预演循环中生成并验证多条候选动作分支,执行时只走选中轨迹的第一个动作,再依据新观察重新规划。在LIBERO-Pro的八种设置中成功率均高于直接基线,但自适应搜索平均耗时约为直接执行的5.8倍。
DUET 提出将人形机器人的操作策略与平衡控制器分开,只在机器人接口处组合两者指令,使学习新操作技能时不再需要重训步态控制器。作者称这省去了操作策略每次变化都要重训平衡的隐性成本,论文、代码和完整总结见首条评论。
NVIDIA 团队联合西蒙弗雷泽大学提出 GATOR,用生成式重建打底、多模态智能体局部精修,从随手拍照片重建完整且带场景位姿的 3D 物体。该方法只在合成场景上训练,零真机微调即在真实桌面与室内扫描的几何、外观、位姿指标上领先基线,不精修约 0.5 分钟就胜过 GPT-6-Astra 跑 20 分钟。作者同时指出合成数据依赖、商业 API 绑定和极端位姿下的稳定性仍是落地待解问题。
研究人员开发出仿生机器人BeetleBot,模仿甲虫身体与肢体结构及步态控制,可在碎石、沙地、狭窄缝隙等复杂地形稳定移动。实验显示它能翻越复杂障碍物,并在受外力冲击或翻倒后迅速恢复运动状态。该机器人未来有望用于灾后搜救、危险区域探测、工业设施巡检和环境监测。
作者提出 CATS 方法,将时间惩罚与线性 ramp-up 结合,用于抑制深度强化学习策略的动作振荡。论文证明时间惩罚能够约束共享同一后继状态的当前状态之间的期望动作差异,从而带来空间平滑效果,并在仿真和真实环境中验证该方法在不降低任务性能的前提下显著减少动作振荡,计算开销很小。该工作投稿至 ICRA 2027。
GenTrack3 提出一种融合确定性与随机原理的在线多目标跟踪(MOT)框架,用随机粒子集计算目标与检测的匹配代价,以在不确定性下保持跟踪鲁棒。论文还引入新的轨迹-检测匹配方法,在目标数量增加时提升可扩展性并支持群体跟踪,跟踪推理使用包含标识、状态、速度、轨迹惩罚和轨迹年龄的 tracklet。作者称参考实现与基线跟踪器已发布在 GitHub。
作者提出 TouchSafeBench,一个在 Habitat 3.0 中构建的物理接地基准,用于评估视觉语言模型(VLM)的碰撞接地能力,包含 2,940 个模拟室内共处片段,覆盖社交导航与社交重排两类场景,并提供同步多视角 RGB-D 观测、俯视轨迹图、标定相机元数据与仿真器接触标签。
作者提出 TopoGS-SLAM,用覆盖触发的高斯初始化与有界拓扑优化把细化与容量解耦,将建图转为有界维度问题。在标准室内基准上,其定位与重建精度不逊于基于致密化的流程,同时显著改善内存可扩展性与吞吐。作者据此认为,在多视角覆盖充分的有限区域静态室内场景中,高斯 SLAM 无需迭代拓扑变异。
GenTrack2 提出一种视觉多目标跟踪方法,联合使用随机粒子滤波与确定性关联,在目标数量未知且随时间变化、动力学非线性的条件下保持标识一致。粒子滤波借助粒子群优化(PSO)引导粒子向状态分布模态收敛,适应度综合运动一致性、外观相似性和与邻近目标的社会交互线索;确定性关联则通过包含粒子与当前检测空间一致性、检测置信度和轨迹惩罚的代价矩阵强化标识一致。
DepTR-MOT 提出一种基于 DETR 的类别无关检测器,通过实例级软深度标签监督和稠密深度图蒸馏,把实例级深度感知嵌入检测器并在推理时输出实例深度,用于改善遮挡和近距离交互下的多目标跟踪。
作者提出 LENS,在 AMD KR260 的 FPGA/ARM 平台上加速 ACEsplat 式场景记忆负载,包含 INT16 场景坐标回归加速器与定点有序 3DGS 渲染器。
作者提出 ContactBench 1.0,用 36 个参考任务和 40 多个物体资产把接触丰富操作拆解为八项基本技能,资产可在消费级 3D 打印机上复现并配有对应仿真模型。在六个基准任务上评测近期纯视觉与视觉-触觉策略学习方法,结果显示纯视觉策略难以感知或响应接触事件,视觉-触觉策略也未带来明显提升。该基准将开源,提供实物与仿真资产及受控任务变体,用于评测机器人系统的泛化能力。
论文提出一种串联-并联人形腿部设计,将膝关节并联机构、踝关节并联机构与非线性膝踝耦合结合,所有执行器靠近髋部布置。作者推导耦合的非线性传动模型并在仿真和硬件上验证,6 kg 的腿在足端实现 0.37 kg 有效反射质量,耦合在屈膝时被动辅助踝背屈以抬脚,伸膝时辅助跖屈以蹬地。
ArtifactArena 是一个开放式评测平台,让模型面对软硬件协同设计挑战,在仿真竞技场中构建可运行的机器人并互相对战。平台通过文本描述、物理仿真器反馈和对战数据三种方式引导模型改进机器人产物,并用头对头锦标赛产生的 Elo 排名比较前沿模型。作者开放框架与锦标赛基础设施,供社区持续提交,形成不饱和的长期测试平台。
研究团队提出 DASH,即面向串联臂与人形机器人的 da Vinci 适配器,无需改装器械本身即可将 da Vinci Classic 和 Xi 器械装到通用机器人上。两类适配器兼容多种负载能力的机器人平台,可卡合器械原生锁扣,并无线识别插入的器械以加载对应的运动学与耦合矩阵。遥操作实验验证了该方案的有效性及其降低手术机器人研究门槛的作用。
作者提出 RMMBench,一个要求机器人理解语言指令并在连续空间中执行长程任务的移动操作评测基准,构建了覆盖 70 个典型任务场景的“导航-操作”任务套件。结果显示,领先的视觉-语言模型(VLM)在移动操作任务的空间定位上仍面临明显挑战,长程交互中的空间感知能力有待加强。该工作已被 CoRL 2026 接收。
研究提出Embodied Agent Arena,在几何、空间推理、可供性、任务规划与操作五个维度评测十个VLM智能体,共1000个案例,其中包含168例的GeoProbe基准,用于相机、运动、深度与尺度估计。
作者提出 WorldEcho,通过视觉完整性和 SE(3) 末端执行器轨迹对齐,在更广动作分布上评估动作条件世界模型是否真正遵循指令动作。诊断显示,专家数据训练的模型在演示动作上表现较好,但在非专家轨迹上会出现动作不一致或视觉无效的生成。
PartialBiGrasp 是一个直接基于部分点云观测的双臂抓取生成框架,通过卷积占用网络隐式学习几何特征,推理可抓取性、无碰撞接触区域和物体厚度。该方法据此生成满足力闭合的抓取对,并用基于采样的优化修正不完整几何带来的歧义。作者用解析力闭合指标、大规模仿真实验和真实机器人上的噪声部分点云评测了该方法。
该论文已被作者 Zeyu Ni 撤回。OccamView 是面向帧预算受限主动3D高斯重建的物体条件视角选择框架,用开放词汇检测构建在线物体记忆,将检测物体周围未解析的局部占据表示为保守隐藏区域代理,并以遮挡感知的代理覆盖分数评估候选视角。
UCA-Flow 提出统一条件-动作建模框架,将观测条件、时间步条件、区间条件与动作 token 编入同一序列,由统一 Transformer 联合学习表示,实现准确的一步动作生成。
RAPAC-DP 提出一种响应对齐的待执行动作补偿框架,让扩散与流式动作生成器在云端推理延迟下仍能输出与交接时刻对齐的完整动作块。该方法用轻量待执行动作编码器和 LoRA 适配器学习补偿,基础策略保持冻结,并从无延迟示教构造延迟条件训练样本,无需显式动力学模型或额外延迟数据。
论文提出环境约束利用(Environmental Constraint Exploitation,ECE)方法,通过有意与环境接触来降低运动规划的维度和计算复杂度。作者将ECE集成到基于RRT的规划器中,把探索偏向任务相关区域,并利用接触减少不确定性以提升执行鲁棒性,在真实场景中展示了实际效果。该工作整合并扩展了此前研究,说明ECE能在复杂环境中简化运动规划并增强适应性。
论文提出 Semantic Anchoring,一种即插即用的方法,将 VLA 的动作表示锚定到语义流形,并拆分为共享语义通道与私有通道,推理时全部丢弃、不改变部署模型。
论文提出 Graph-as-Policy(GaP)多智能体编码框架,从模块化开放机器人技能库 MORSL 生成包含感知、规划与控制节点的有向计算图,并构建内部仿真环境并行演练不同图结构以迭代优化成功率和吞吐量。作者在 4 个仿真和 4 个真实世界的新开放变异性自动化任务基准上评测,称 GaP 的成功率显著优于基线。
作者提出 Language Sensor Model(LSM),将每句自然语言描述及其场景图上下文映射为多模态分布,用混合权重表示指代歧义、用分量协方差表示空间不确定性。
该综述梳理3D生成在具身智能与机器人仿真中的三类角色:作为数据生成器产出带关节结构、物理属性和可变形内容的仿真就绪资产,作为仿真环境构建可交互、任务导向的场景,以及作为仿真到现实桥接支持数字孪生重建、数据增强和合成示教。作者指出该领域正从视觉真实感转向交互可用性,并列出物理标注有限、几何质量与物理有效性脱节、评测碎片化和仿真到现实差距等主要瓶颈。
该论文提出在因子图框架内估计紧致几何变应变(GVS)参数化系数,并用应变场 Magnus 展开推导的运动学因子把 GVS 应变系数与骨干位姿变量关联起来,从而重建连续体机械臂形状。方法在仿真与实验数据上对比高斯过程回归基线,在部分和稀疏测量场景下精度更高,同时保持计算效率。该状态向量紧致,可直接用于基于模型的控制。
作者提出 ENAP(Emergent Neural Automaton Policy)神经符号模仿学习框架,用自适应聚类和 L* 算法扩展从示教中学习 Mealy 状态机作为可解释高层规划器,再引导低层反应式残差网络通过行为克隆学习连续控制。
作者提出 VORL-EXPLORE 混合学习与规划框架,用执行保真度估计局部可通行性与执行可靠性,并将其耦合进带机器人间斥力的 Voronoi 分配目标,在导航中仲裁全局 A* 引导与反应式强化学习策略。保真度模型利用近期进展与安全结果生成的自监督伪标签重新校准。随机动态栅格实验与严重拥堵消融显示成功率更高、探索路径更短、机器人间覆盖重叠更低,并给出 Gazebo 工厂场景部署示例,代码已开源。
作者提出一致动作-响应执行(CARE),把局部控制建立在可执行动作索引的人机联合转移上,让同一可执行动作同时决定操作者响应预测、人机联合推演与候选选择。在训练与留出地图上,当指示路线仍可局部通行时 CARE 保持接近饱和的性能,当操作者可继续而机器人需绕行时取得最高的成功率与服务可用性。
研究团队在国际空间站 Astrobee 自由飞行机器人上完成基于机器学习热启动加速轨迹优化的在轨演示,用神经网络预测序列凸规划(SCP)求解的初值,再由 SCP 求解器保证安全约束。在含旋转动力学的场景中,训练后的网络将收敛所需求解器迭代次数减少 60%,在训练分布内的障碍场景中减少 50%。该工作发表于 iSpaRo 2025。
作者提出面向徒手牙科操作的触觉双边遥操作系统 FH-HBTS,包含兼容标准临床工具的机械末端执行器并集成内窥镜相机。系统通过操作者与机器人之间的运动与力对应关系提升操作者的感知与动作精度,并仅依据测得的接触力缩放输入导纳控制器的运动参考,从而在无需预先了解环境的情况下限制交互力。在牙科模型上开展的技术评估与体外临床前研究显示,该系统提升了遥操作的自然性、安全性和精度。
SceneBloom 提出一种智能体式框架,将视觉布局采样与契约引导的 3D 编译结合,用于生成逼真且多样的仿真室内环境。其分层采样器利用扩散先验在功能区内生成家具布局,编译器再依据提案中提取的关系进行几何拟合与局部位姿修正。