OxyGen论文提出VLA统一KV缓存推理设计

Xiangyu Li 等人在 arXiv 发布论文，提出 OxyGen——把 KV cache 作为跨任务、跨控制周期共享资源的统一管理推理设计，用于多任务并行的 VLA（视觉-语言-动作）模型推理。设计包含跨任务 KV 共享以消除共享观测的冗余 prefill，以及跨帧连续批处理，在每帧解码预算内推进未完成的语言请求。 论文称在 π0.5 上评测，OxyGen 相比隔离执行最高取得 3.7 倍加速，在 RTX 4090 上同时达到超过 200 tokens/s 的语言吞吐和 70 Hz 的动作频率；设计还在 Xiaomi-Robotics-0 和 StarVLA 上跨不同骨干与专家配置验证，并在搭载 Jetson AGX Thor 的人形机器人上演示推理增益。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。