跳到正文
Guyuehome·· 8 天前AI 评分15

INT8 了却没变快:RK3588 上被内存墙吃掉的那部分时间

AI 导读

RK3588 上模型转成 INT8 后推理并未变快,瓶颈来自内存墙而非算力。文章围绕这一现象分析被内存访问吃掉的那部分时间,说明量化收益受限于带宽而非计算精度。

来源:Guyuehome · guyuehome.com