模型蒸馏:小模型怎么接住大模型的能力
不是简单复制答案。软标签、温度与数据配比,决定了小模型能学到多少。
蒸馏的思路是让小模型模仿大模型的输出分布,而不只是记住标准答案。
只学硬标签信息量有限,一题一个答案,模型对相近选项的判断被丢掉了。
从硬标签到软标签
软标签带概率分布,能说明哪些答案接近正确、哪些明显不合适,信号更细。
温度参数控制分布平滑程度,温度升高时差异被放大,可供学习的细节更充分。
容量决定上限
数据配比同样关键,任务样本与通用样本失衡,小模型容易向一侧倾斜。
容量是硬约束,参数少一半,能承载的能力上限就下降,不能指望无损复制。
分层推进更稳
实践中常做分层蒸馏:先对齐格式与常识,再补专业分支,最后做输出规范与安全。
评估要看分项通过率与推理成本,只看总分容易掩盖某个分支的明显塌陷。
本文由本站编辑部整理撰写,内容仅作知识分享,不构成医疗、投资、法律建议,转载请注明出处。
读者留言 · 3 条
算
算法工程师
软标签这段说清了蒸馏和微调的区别。
小
小模型实践
容量上限讲得实在,不吹无损。
读
长期读者
分层推进的顺序很有参考价值。
留言为读者个人观点,不代表本站立场。