RoboJudge:用多模态语言模型评判具身视频生成
研究团队提出 RoboJudge-Bench,用于评测多模态大模型作为具身视频生成评判者的表现,覆盖物理合理性与指令一致性两个维度,包含来自 8 个源语料和 10 个视频生成器的 800 条人工标注视频。
研究团队提出 RoboJudge-Bench,用于评测多模态大模型作为具身视频生成评判者的表现,覆盖物理合理性与指令一致性两个维度,包含来自 8 个源语料和 10 个视频生成器的 800 条人工标注视频。
Daimon Robotics 正在构建连接触觉传感、数据采集、仿真与 AI 模型的管线,定位为基础设施提供方而非基础模型开发者,触觉反馈控制目标为 30 Hz。
NEURA Robotics 与 NXAI 宣布合作,为认知机器人共同开发记忆组件,将 NEURA 的 Physical AI 技术栈与 NXAI 的 xLSTM 循环架构结合。
新加坡具身智能创企Ropedia联合南洋理工大学、杜克大学、加州大学圣地亚哥分校及清华大学发布跨本体移动操作世界模型Ropedia W0,通过统一动作表示预测人类、机械臂和人形机器人执行动作后的第一视角未来场景。
厦门大学HumanPlus实验室与MIT、CMU研究人员推出CLOTHO,一种把10个IMU集成进宽松衣物的全身动作捕捉系统,论文获SIGGRAPH Asia 2026期刊轨道录用,将发表于ACM Transactions on Graphics。
智源研究院在2026人工智能开放计算大会暨众智FlagOS技术大会展示FlagOS 2.2进展,该版本已于9月30日发布。九大算子库公开算子由564增至1454个(新增890个),在上千个算子、10款异构AI芯片测试中跨芯算子性能较上一版提升约27%;首次发布FlagOS-Compressor权重转换与量化工具,新模型一天内可适配多达12款芯片。
推荐理由:原文给出算子、量化与服务吞吐的具体数字,读者可据此评估存量芯片承接新模型的性能与成本空间。
智元、NVIDIA及多所高校研究人员联合开发的世界模型评测平台WorldOracle正式上线并开放评测提交。该平台采用335条真实操作轨迹,约四成交互片段包含失败或次优操作,以真实执行结果检验模型预测能力。对7款世界模型的测试发现,部分模型虽能较准确还原机械臂动作,但对物体状态的预测仍存在较大偏差,长时序预测表现也明显下降。
自变量发布可进化的仿真评测基准X2Real,其仿真评测与真机评测的任务成功率相关性达0.96、进度分相关性达0.99。
推荐理由:给出了仿真与真机评测的相关性数据和统一接入方式,读者可据此判断仿真评测能否替代部分真机测试。
2026年10月19日下午,2026物理AI与世界模型大会的医疗健康世界模型分会在南京国际博览中心举行,以“预见疾病·推演生命——世界模型重构医疗人工智能”为主题,设八场主旨演讲与六方面成果发布。
大晓机器人发布具身空间感知模型ACE-Brain-0.6,基于Qwen3.5-9B、冻结视觉编码器并监督微调语言模型参数,在八项Grounding评测中六项超越GPT-6 Astra,七项公开基准平均74.53分领先Astra的73.68分,RobotGrounding得94.13分超91.10分。
10月16日,由智元、NVIDIA、普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学研究人员联合完成的动作驱动世界模型评测平台 WorldOracle 正式发布,并向开发者开放评测提交。
推荐理由:该评测用真实执行记录逐帧对照世界模型预测,揭示了机械臂运动被复刻但物体状态被系统性脑补的普遍问题,为判断模型可用性提供了具体坐标。
中控技术在宁波举办工业AI成果发布会,推出以TPT时间序列大模型为核心的工业AI基座平台,并与通用控制系统UCS融合构建自主运行工厂系统AOP,打通“感知—分析—决策—执行”链路。TPT与AOP已跨行业复制至29个细分行业,中控技术同时与华为、阿里云等签约产业链合作,工业AI数据联盟成员超300家。万华化学、镇海炼化等企业披露了TPT在氯碱、炼化装置上的预警与优化运行成效。
在SIVA2026全球空间计算产业发展论坛上,PICO、诠视科技和小派科技都谈到机器人数采,VR围绕沉浸式体验积累的空间定位、动作追踪技术正被用于具身智能数据采集。
福州市勘测院有限公司低空无人机感知网高质量数据集建设项目中标结果公布,中国移动通信集团福建有限公司以6680万元中标。项目工期至2028年5月30日,中标后60天内须完成数据标注系统、数据集管理系统和数据价值服务系统的定制开发;2026年内需完成低空经济+城市治理领域不少于10个高质量数据集、不少于100万组图文生产,同步建设不少于5个工具链,并选取不少于5个典型场景开展模型适配与试点应用。
Metro-WM 提出一种分层规划框架,不再生成无约束的潜空间子目标,而是从离线专家演示或随机动作轨迹的已观测帧中检索真实状态作为子目标,并把不同回合的帧连成通往目标的路径。实验显示其长程成功率比次优分层方法最高高 37.33 个百分点,速度快至 10.9 倍,离线计算量少 13-56 倍,且调参更少。作者还指出,现有领先的宏规划器会频繁输出物理上不可实现的子目标。
WorldOracle 是一个针对动作条件世界模型(ACWM)的基准,用相同初始观测和低层动作序列,检验预测 rollout 能否复现真实世界的物理后果与任务状态转移。评测覆盖物理状态正确性、交互空间对齐、关键交互区域保真度和多视角动作一致性四个维度,并配套包含成功与失败执行的长多段真实数据。对七个代表性 ACWM 的实验显示出不同模型的优势与失效模式,数据集、评测代码和排行榜已公开。
研究团队提出 DexBioLab,一个面向真实生物实验室环境的灵巧操作仿真基准与框架,包含 4 种机器人本体上的 14 项任务,覆盖功能性工具使用、精细操作、语言条件下的视觉定位与仪器操作。
CoRL 2026 论文提出 OpenDexGrasp,用于开放词汇任务导向的灵巧抓取生成,让机器人从自由语言推断功能意图,结合多视角视觉观测与物体几何生成可执行的高自由度抓取。
论文提出 RoboReel,一个用于评测从人类视频学习策略(Learning from Observation)模型的统一基准,收录十个操作任务的真实人类演示视频、仿真机器人轨迹与评测环境。
ADEPT 是一个大规模强化学习框架,先在通用物体重摆任务上预训练灵巧策略,再以该先验后训练下游策略,实现跨高自由度本体、直接从原始视觉触觉感知求解长程任务。为避免朴素微调破坏零样本重摆能力,作者提出结合行为克隆蒸馏、评论家预热与保守在策略更新的稳定后训练方案,并引入关节空间 Geometric Fabric 协调策略与机器人。
该论文从指令空间覆盖的角度研究序列机器人操作任务中的组合泛化,把泛化差距分解为边际指令偏移、指令组合偏移和上下文-动作偏移三个来源。结果显示穷举指令元组并非必要,覆盖动作相关依赖的结构化子集即可获得较强的分布外性能;稀疏训练失败往往源于指令引导而非缺失底层技能,每个任务仅用一条演示微调即可将分布外成功率从0.4%提升到54.7%。
论文提出OptCar,一种把通用前向运动学动力学(FKD)模型特化为特定车辆专用模型的方法,同时保留跨地形泛化能力。其核心是用FiLM将近期状态-动作历史汇总成单个动力学上下文token来条件化多步预测的Transformer FKD架构,再结合有限实车数据与系统辨识产生的定向合成轨迹进行特化。
WireCraft 是面向工业可变形线状物体(DLO)操作的仿真基准,涵盖连接器插入、卡扣走线和线槽压入三类任务,支持铰接与可变形两种物理模型,发布轨迹同时来自仿真和真实 UR5 机械臂。
SidewalkBench 是一个基于 NVIDIA Isaac Sim 构建的城市人行道视觉导航基准,提供 GPU 加速的高保真人行道环境,包含程序化生成与真实扫描场景,并加入事件驱动的行人反应行为。作者在 330 个单元测试场景、800 个行人反应场景和 105 个长时程场景上评测了 9 个视觉导航模型,发现行人交互与长时程鲁棒性仍是现有模型的关键瓶颈,扩大人行道合成数据训练规模是可行方向。
OrbiSim 提出一种机器人仿真范式,把世界模型重构为完全可微的物理引擎,打通结构化场景资产、神经动力学与下游强化学习。整个仿真回路从显式状态转移到视觉观测生成均支持端到端可微,可支持可微接触建模、稀疏奖励下基于梯度的策略优化以及物理推理等任务。实验显示 OrbiSim 在预测保真度和控制性能上显著优于现有世界模型,且对资产配置和物理参数保持一致响应。
PanoAir 提出一套全景视觉-惯性 SLAM(VI-SLAM)框架,并构建了覆盖不同光照、高度、轨迹长度和运动动态的真实世界全景数据集。方法通过全景特征提取与全景回环增强特征约束和全局一致性,在自建数据集和公开基准上跑完全部 17 个序列无跟踪失败,相比最优基线将 ATE 最多降低 47.1%,嵌入式平台部署验证了其计算效率与 PC 实现相当。源代码与数据集已公开。
HydroShear 是一个非完整约束的流体弹性触觉仿真器,被 RSS 2026 接收,用于解决接触密集任务的触觉 sim-to-real 策略迁移问题。它建模了黏滑转换、路径依赖的力与剪切累积以及完整的 SE(3) 物体-传感器交互,并用有符号距离函数(SDF)追踪压头表面点在与传感器膜交互时的位移,可从任意水密几何生成物理基础且计算高效的力场。
Schrödinger's Navigator 是一个面向零样本物体导航(ZSON)的信念感知框架,在推理时对多条候选路径生成的轨迹条件化想象 3D 未来进行推理,而非过早收敛到单一地图。
作者提出自建实验室(SBL)系统,可根据高层科学目标设计、配置并运行实验室装置,从空房间或已有自驱动实验室起步,补齐实验室布局、数字孪生、机器人技能与实验流程。系统在多种机器人与装置上演示,可从单工作站扩展到多机器人协同的实验室,并通过真实量子点合成实验验证端到端能力。作者称这让人工研究者的角色从手动配置和编程设备自动化转为指定科学目标。
论文发布三模态人体检测数据集 TriSAR-3D,用 128 通道激光雷达、RGB 相机和热成像相机在室内外、不同时段采集,覆盖躺卧等多样姿态;同时提出融合方法 PaintFusion。
论文提出EmbodiedMidtrain,通过中训练弥合视觉语言模型(VLM)与视觉-语言-动作模型(VLA)之间的差距。作者先刻画两者数据分布差异,发现VLA数据占据与VLM分布大体分离的紧凑区域,随后构建中训练数据引擎,用轻量可学习的邻近度估计器从大规模VLM池中筛选与VLA最对齐的候选,产出EmbodiedMidtrain-1M数据集用于中训练VLM。
该研究训练只观测关节位置、速度与自身动作短历史的盲装配策略,不使用视觉、力、扭矩或触觉传感,在仿真中用强化学习完成插销、齿轮啮合与螺母拧紧。插销策略零样本迁移到真实世界,73% 试验中成功插入不同形状和尺寸的插销;对照实验显示盲策略对未见零件形状尺寸的泛化更好但可能更慢。
HexaShell 是一个让编码智能体通过命令行控制双臂机器人的轻量框架,在 RoboDojo 全部 42 项任务上取得 39.7% 成功率和 48.0 进度分,为 RoboDojo 新的最优成绩。
研究团队在Shadow Dexterous Hand Lite上仅用本体感觉和二值触觉反馈完成Baoding球旋转,实现零样本仿真到现实迁移。实机单次连续试验完成225次180°旋转(112.5整圈),速度约0.36转/秒,全程无视觉与物体状态信息。作者还对比触觉与纯本体感觉的作用,指出触觉信息最关键的手部区域。
作者提出 LAW 闭环 VLM-WAM 框架,通过语义子任务进度把语言推理、动作生成和世界建模统一起来,在 50 项 RoboTwin 任务上平均成功率达 94.21%。
PASS 是面向固定翼飞机 CAT III 完整性算法开发的可信精密进近仿真系统,在统一时空几何框架内集成可配置机场环境、规定轨迹、惯性仿真、标定双目图像与连续跑道相对真值,支持可控传感器误差与环境变化下的导航与完整性研究。
该论文提出 MAP(Masked Action Space)接口,把关键点、流、朝向和关键姿态等时空参考统一为同一时间笛卡尔动作空间的部分约束,并将可控操作建模为动作修复问题。
arXiv 论文提出 Hardware-as-Regularization 方法,通过低成本被动关节模块(可调机械离合器加 3D 打印螺旋弹簧)将每个关节拉向用户定义的中立姿态,以被动回正力充当关节空间 L2 正则化的物理先验。
SenseSwarm 在集群共享占据地图上运行一个 709K 参数的轻量地图预测器,并把预测结构折返到基于 stigmergy 的引导场中,用集群自身多前沿观测微调,单机器人预测器在该视角下会失效。
该研究提出一套视觉运动模仿学习流程,用于草莓果柄靶向采摘,统一了感知、运动规划与接触操作:从人类遥操作示教采集数据,训练以ResNet-50为视觉骨干的Action Chunking with Transformers(ACT)策略,并在Jetson AGX Orin边缘平台上以15 Hz自主部署。