如何用 NVIDIA 工具链构建机器人:从 Isaac Sim 到实机部署的图解流程
NVIDIA 发布图解教程,以一家虚构初创公司构建仓库人形机器人为例,串联 Isaac Sim、Isaac Lab、GR00T、Cosmos、Omniverse 等工具,覆盖虚拟环境搭建、演示示教、策略训练与测试、Sim2Real 差距处理及 AI 部署到实机硬件的流程。教程还解释了 AI 模型决定移动手臂到电机实际执行之间的环节,作者希望与真实使用过这些工具的开发者交流实际工作流与示例的差异。
NVIDIA 发布图解教程,以一家虚构初创公司构建仓库人形机器人为例,串联 Isaac Sim、Isaac Lab、GR00T、Cosmos、Omniverse 等工具,覆盖虚拟环境搭建、演示示教、策略训练与测试、Sim2Real 差距处理及 AI 部署到实机硬件的流程。教程还解释了 AI 模型决定移动手臂到电机实际执行之间的环节,作者希望与真实使用过这些工具的开发者交流实际工作流与示例的差异。
Sereact 本周与 Teradyne Robotics(含 Universal Robots 和 Mobile Industrial Robots)达成合作,让 Cortex 物理 AI 平台驱动 UR 机械臂处理退货分拣、拣选等非结构化任务,双方称已在欧洲客户现场交付数百台 UR 双臂机器人系统。
Dexory 宣布与 NVIDIA 合作推进仓储物理 AI:DexoryView Storage Health 集成 NVIDIA Cosmos,用基础模型推理识别开箱、托盘错位、货物错放等存储异常。
上海交通大学、加州大学伯克利分校、斯坦福大学等机构的研究者在论文《Who Improves the Robot? Toward Physical Recursive Self-Improvement》中提出 Physical RSI 框架,将任务能力更新与改进流程更新纳入统一分析,并给出 L0–L5 分级。
哈萨克斯坦正从AI基础设施规划转向部署,NVIDIA创始人兼CEO黄仁勋10月23日访问阿斯塔纳,宣布对哈萨克斯坦创立的初创公司Higgsfield AI进行投资。
10月23日早报涵盖AI行业动态:Meta第三季度营收646亿美元但自由现金流转为-21.2亿美元,AI代理Muse上线40天获超1000万下载;OpenAI以1.25万亿美元投前估值募资至多300亿美元,Anthropic拟公开递交S-1目标估值约2万亿美元;英伟达发布模块化AI工厂参考设计DSX POD,现场部署时间由约6个月压缩至最快14天。
英伟达GTC柏林大会与特斯拉三季度财报电话会等事件在同一窗口交汇,为A股AI产业链带来多重催化,万得人工智能概念指数10月19日以来累计上涨超2%。分析人士认为,英伟达对AI工厂与物理AI的系统级布局,叠加特斯拉在Robotaxi与人形机器人上的商业化推进,有望带动液冷散热、高速互联、机器人执行器等配套环节。行情能否从事件驱动转向基本面驱动,仍取决于订单能见度与场景兑现进度。
黄仁勋在 GTC 柏林宣布 Vera Rubin 平台已全面量产,并推出模块化 AI 工厂参考设计 DSX POD,由 7 个液冷计算机架组成、约 17 公里线缆互连、采用 800V 直流供电,在电力和场地就绪前提下部署时间可从约 6 个月缩短到最快 14 天,预计 2027 年初开始交付。
太可爱了。 黄仁勋在NVIDIA GTC柏林主题演讲中带了四只Microduck机器人上台。
黄仁勋在GTC柏林演讲中发布多项产品,包括把Agent权限约束在沙箱外的OpenShell参考架构、可在工厂预集成并将部署时间从约六个月缩到最短14天的DSX POD,以及与Agile Robots合作的人形参考机器人Agile ONE SN。
2026年10月21日,NVIDIA在柏林举办首次欧洲主场GTC大会,黄仁勋发表主题演讲。演讲前夕,NVIDIA宣布Vera Rubin GPU家族七款芯片全部完成流片,量产提前至2026年第三季度;9月底发布的开源智能体安全平台OpenShell已有超100家机构宣布采用;RTX Spark系列PC确认今年秋季上市。
黄仁勋来展台值班了。 在 GTC 柏林四处走动,会见将 AI 带到欧洲各地的人们和合作伙伴。 🧵
施耐德电气、Nvidia 和 HPE 达成战略合作,推出可在工厂和 process plant 内部监控并优化工业运营的 AI 智能体,首批 Industrial AI Agents at the Edge 聚焦运营技术(OT)监控、网络安全和能耗优化。
黄仁勋在柏林GTC宣称PC需要被重新发明为个人Agent,并展示与微软合作四年的RTX Spark,采用融合CPU与GPU的芯片设计,提供最高128GB统一内存和最高1 petaflop的FP4 AI算力,可在本地运行更大规模模型。
LG集团旗下LG Innotek与英伟达合作,共同开发面向物理人工智能及机器人技术的感知解决方案。LG Innotek将提供摄像头模组、激光雷达以及雷达融合感知技术,英伟达则贡献其Holoscan Sensor Bridge平台,实现传感器与图形处理器之间的数据直连。
特斯拉与英伟达将分别出资1.1万亿韩元和2.6万亿韩元,与三星电机共建面向AI半导体的FC-BGA(倒装芯片球栅阵列基板)产线,该基板已成为AI供应链的新瓶颈。据22日业内消息,三星电机已与特斯拉签署FC-BGA长期供货协议,并在世宗工厂新建专属产线;特斯拉的出资用于产线扩建与设备投入,换取中长期稳定供货保障,这批基板将供给特斯拉自动驾驶电动车和人形机器人Optimus搭载的AI芯片。
NVIDIA 扩展 Cosmos 平台,新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图,用于世界模型的训练、评估与部署。
推荐理由:原文列出 Cosmos 新增的训练、仿真检查点与数据蓝图,并给出保时捷、ANYbotics 等使用方的具体数据,可据此判断世界模型开发流程的变化。
NVIDIA 公布欧洲零售业使用开放模型与物理智能的多项落地案例:Shopify 用 NVIDIA Megatron Bridge 与 NeMo RL 后训练 Nemotron 3.5 Lightning,在内部基准上服务成本降 90%、响应快 7 倍。
英伟达CEO黄仁勋在巴黎宣布对四家法国初创企业进行新一轮战略投资,覆盖医疗科技、化学材料、商业规划与机器人领域,其中Genesis AI是唯一的机器人标的,正以约30亿美元、约合200亿元人民币估值洽谈新一轮融资。
智元宣布从10月22日起连续七个工作日发布七项全栈技术成果,覆盖数据集、作业平台、重载机器人G2 Max、具身Agent框架GenieMaster、仿真平台、基座大模型及群体经验学习范式。
黄仁勋在GTC柏林演讲中表示,机器人领域的ChatGPT时刻正在迅速逼近,而非已经到来,并同日发布Isaac平台升级、人形机器人参考框架及仿真与数据工具,为这一时刻做基础设施准备。
英伟达 CEO 黄仁勋在伦敦 Build a Claw 活动上称 OpenClaw 是迄今最重要的模型之一,并称其为“首个真正可信的智能体运行框架”,认为它像为 LLM 提供实时运行框架,可用于机器人领域。他同时强调自主系统须默认任何对象不可信、只授予最低权限,并介绍英伟达为此开发的 OpenShell 隔离系统,持续监控越权行为并告警。
思灵机器人(Agile Robots)在英伟达GTC柏林大会上推出人形机器人参考平台Agile ONE SN,整合英伟达Isaac GR00T机器人开发平台与Jetson Thor边缘计算系统,计划2027年初推出。
黄仁勋在GTC柏林演讲中宣布英伟达与Agile Robots推出参考人形机器人Agile ONE SN,身高1.4米、体重40公斤、31个自由度,预置Isaac GR00T模型、由Jetson Thor驱动,预计2027年初上市,用于把机器人研究的软硬件搭建时间从几周缩到几天。
英伟达在GTC柏林2026大会上扩展Isaac机器人开发平台,正式可用的Isaac Lab 3.0支持多GPU训练并接入Newton、PhysX等物理引擎,开源运行框架Isaac OS负责连接AI模型、传感器、控制系统和机器人硬件。
英国 AI 与机器人公司 Humanoid 宣布扩大与 NVIDIA 的合作,共同为下一代人形机器人开发高性能机器人边缘运行时。Humanoid 将集成 NVIDIA Jetson Thor、Isaac OS、Holoscan Sensor Bridge 和 Holoscan SDK,用于处理大量传感器数据、在机载端运行 AI 模型并实时协调感知、推理与控制。
Agile Robots 在 NVIDIA GTC 上联合 NVIDIA 发布面向研发的紧凑型人形参考平台 Agile ONE SN,基于 NVIDIA Isaac GR00T 开发平台,集成示教采集、仿真、训练、评估、部署与实测的完整工作流。
推荐理由:原文列出整机自由度、算力与预配置软件栈的具体配置,可据此判断它面向研发实验室的集成方案与工业型号之间的衔接方式。
Hexagon Robotics 用 NVIDIA Holoscan 与 Holoscan Sensor Bridge 重构 AEON 人形机器人的传感器融合管线,通过单根光纤连接把同步预处理后的数据送入 NVIDIA Jetson Thor 主计算模块。
英伟达发布并开源数据引擎Flora,将原始机器人视频转化为带时间戳动作描述、过程奖励和结果奖励等训练数据,目前已用于训练GR00T系列模型。Flora由动作描述模型、时间分段模型和奖励模型组成,基于Qwen3.5系列视觉语言模型微调,依托512块GB300 GPU每天可标注20万小时数据。
推荐理由:英伟达开源的数据引擎把机器人视频标注成本压到通用大模型的约1/125,并给出多项基准对比,可据此判断数据标注环节的替代空间。
英伟达发布并开源实时生成式手术世界模型 Cosmos3-H-Dreams,可根据机器人操作指令实时生成手术画面,模拟器械移动、组织牵拉及形变,支持腹腔镜胆囊切除术场景。
1 petaflop。
连Microducks也需要睡个午觉。😴
NVIDIA 在 GTC Berlin 展示本地 AI 硬件全线产品,并公布 RTX Spark、DGX Spark 与 DGX Station 的多项软件与生态更新。
英伟达宣布升级Isaac通用机器人开发平台,推出新的人形机器人参考框架、仿真工作流及数据工具,旨在加速通用机器人开发。相关更新覆盖机器人训练、仿真验证和部署流程,帮助开发者利用合成数据和仿真环境训练机器人,并在实际部署前验证机器人行为。
NVIDIA 在 GTC Berlin 宣布 OpenShell 参考架构现已可用,用于在企业基础设施和边缘系统上构建、隔离、观测和管控安全的 AI 智能体。
推荐理由:原文说明了参考架构的分层设计和毫秒级隔离机制,读者可以据此理解它如何把智能体安全落到硬件层。
T-Mobile 在华盛顿州贝尔维尤商用网络上完成全球首次 AI-RAN 通话,使用商用 ARC 服务器、Nokia 的 CUDA 加速 RAN 软件与大规模 MIMO 无线电,并接入现有 5G Standalone 核心网和商用智能手机。
NVIDIA 与 UW Medicine 蛋白质设计研究所推出开放模型 RFD4-Proteina,将可编程蛋白质设计与搜索能力结合,在研究草稿报告的蛋白质结合、小分子结合、酶支架和 DNA 结合四组基准测试中,计算设计成功率和生成吞吐量均高于所评估基线。
NVIDIA 在 GTC Berlin 宣布扩展 Isaac 开源机器人开发平台,新增 Isaac OS 运行时、正式发布的 Isaac Lab 3.0 学习框架,以及基于 DGX Station 的开源参考工作流。
推荐理由:原文列出 Isaac 平台新增的运行时、学习框架与开源工作流,读者可据此判断数据到部署链路的具体变化。
NVIDIA 欧洲、北欧、非洲和中亚的云合作伙伴正扩展区域算力,用于模型训练与推理,并支持智能体和物理 AI 应用开发。Nscale 在 GB300 NVL72 系统测试中借助 DSX MaxLPS 在同等供电预算下多部署 37% 的 GPU、聚合推理吞吐提升近 50%,并计划部署 Vera Rubin 基础设施覆盖五个欧洲市场。
NVIDIA 在 GitHub 开放 Factory Operations Blueprint(FOX)早期访问,供开发者构建协调机器作业的常驻工厂管理智能体和视觉检测、根因分析等专用智能体。