跳到正文
世界人工智能大会 · 微信公众号·· 29 天前AI 评分39

不止于TOPS:端侧大模型芯片的效率之争|《WAIC UP!》辑趣

AI 导读

余浩提出端侧大模型芯片评估应从TOPS转向有效内存带宽、能效比与tokens/s等综合指标。3D-DRAM叠加立方脉动TPU架构在平均5W功耗下实测3B模型INT4量化Decode约80tokens/s,词元能效比15token/W,带宽利用率约80%。相关3D-TPU方案处于样片阶段,迈特芯AI智能体MetaClaw已适配Qwen、MiniCPM、Gemma并展开试点应用。

来源:世界人工智能大会 · 微信公众号 · mp.weixin.qq.com