跳到正文
甲子光年 · 微信公众号· 陈博远·· 21 天前AI 评分67

逆矩阵陈博远解读物理AI推理系统PhysisServe如何兼顾智能与高频输出

陈博远独家解读:物理AI推理引擎PhysisServe如何兼顾智能与高频输出|甲子光年

AI 导读

逆矩阵与vLLM、智源研究院、北京大学联合发布的物理AI推理系统PhysisServe,在200张GPU上让33B参数的MiniMax H3每隔4.083毫秒完成一个chunk,约每秒245个chunk,等效帧吞吐接近每秒1000帧,稳态输出间隔短于1.3B参数的Wan2.1。

来源:甲子光年 · 微信公众号 · mp.weixin.qq.com