甲子光年 · 微信公众号· 陈博远·· 21 天前AI 评分67
逆矩阵陈博远解读物理AI推理系统PhysisServe如何兼顾智能与高频输出
陈博远独家解读:物理AI推理引擎PhysisServe如何兼顾智能与高频输出|甲子光年
AI 导读
逆矩阵与vLLM、智源研究院、北京大学联合发布的物理AI推理系统PhysisServe,在200张GPU上让33B参数的MiniMax H3每隔4.083毫秒完成一个chunk,约每秒245个chunk,等效帧吞吐接近每秒1000帧,稳态输出间隔短于1.3B参数的Wan2.1。
来源:甲子光年 · 微信公众号 · mp.weixin.qq.com