szftx.com科学 · 物理化学
技术 · 前沿动态

端侧量化:精度、速度与内存的三方取舍

位宽降下来,内存和时延随之下降,代价藏在长尾输入里。选哪种量化,先看业务能容忍多少偏差。

编辑部约 6 分钟技术 · 前沿动态

把模型放进手机、车机与嵌入式设备,参数位宽直接决定内存占用与推理时延。

常见做法是八位整数量化,权重与激活统一压缩到八位,内存约为浮点版本的四分之一。

位宽换来的三样东西

位宽继续往下走,收益开始递减,四位量化在部分层会出现明显的精度塌陷。

混合精度更稳妥,把敏感层保留在高位宽,其余层激进压缩,需要逐层评估。

校准数据决定误差

量化误差的大小取决于校准样本,取真实业务分布的样本,比随手抓一批数据更贴近实际。

速度提升不一定线性,算子是否被硬件指令集支持,往往比位宽更能决定实际时延。

评估要分任务看

内存也分峰值与常驻,中间激活占用在长序列任务上会突然抬高,不能只算权重体积。

评估要按任务拆开看,分类任务容忍度高,生成与回归任务对数值偏差更敏感。

上线前保留一条回退路径,遇到异常输入时能切回高精度版本,比事后补救从容。

本文由本站编辑部整理撰写,内容仅作知识分享,不构成医疗、投资、法律建议,转载请注明出处。

读者留言 · 3 条

算
端侧工程师

混合精度那段很实用,逐层评估确实是关键。

嵌
嵌入式开发

校准样本要取业务分布,这点吃了不少亏才明白。

读
长期读者

原来量化不是越狠越好,还有长尾的问题。

留言为读者个人观点,不代表本站立场。