arXiv cs.RO· Xiangyu Li, Huaizhi Tang, Xin Ding, Weijun Wang, Ting Cao, Yunxin Liu·· 4 小时前AI 评分62
OxyGen：面向多任务并行 VLA 推理的统一 KV Cache 管理
OxyGen: Unified KV Cache Management for VLA Inference under Multi-Task Parallelism
AI 导读
OxyGen 提出统一 KV cache 管理的推理设计，把 KV cache 作为跨任务、跨控制周期的共享资源，通过跨任务 KV 共享消除共享观测的冗余 prefill，并用跨帧连续批处理在每帧解码预算内推进未完成的语言请求。
来源：arXiv cs.RO · arxiv.org