szftx.com科学 · 物理化学
技术 · 前沿动态

模型蒸馏:小模型怎么接住大模型的能力

不是简单复制答案。软标签、温度与数据配比,决定了小模型能学到多少。

编辑部约 6 分钟技术 · 前沿动态

蒸馏的思路是让小模型模仿大模型的输出分布,而不只是记住标准答案。

只学硬标签信息量有限,一题一个答案,模型对相近选项的判断被丢掉了。

从硬标签到软标签

软标签带概率分布,能说明哪些答案接近正确、哪些明显不合适,信号更细。

温度参数控制分布平滑程度,温度升高时差异被放大,可供学习的细节更充分。

容量决定上限

数据配比同样关键,任务样本与通用样本失衡,小模型容易向一侧倾斜。

容量是硬约束,参数少一半,能承载的能力上限就下降,不能指望无损复制。

分层推进更稳

实践中常做分层蒸馏:先对齐格式与常识,再补专业分支,最后做输出规范与安全。

评估要看分项通过率与推理成本,只看总分容易掩盖某个分支的明显塌陷。

本文由本站编辑部整理撰写,内容仅作知识分享,不构成医疗、投资、法律建议,转载请注明出处。

读者留言 · 3 条

算
算法工程师

软标签这段说清了蒸馏和微调的区别。

小
小模型实践

容量上限讲得实在,不吹无损。

读
长期读者

分层推进的顺序很有参考价值。

留言为读者个人观点,不代表本站立场。