想省算力别找大模型当老师，自己训几个领域专家再合并，能省42%的算力。我看Salesforce这篇新论文挺有意思的，从大型外部教师模型做蒸馏，通常比纯强化学习更费算力，蒸馏出来的模型回复还常常变长。他们是按每单位训练FLOP的留出准确率来对比蒸馏和GRPO的，覆盖了不同任务难度、模型规模和领域，用外部后训练教师时GRPO普遍胜出。把各领域GRPO专家蒸馏进一个学生模型，在数学加代码上能跟联合GRPO持平，总FLOP还少42.0%。我自己训...

🌐 链接: https://x.com/taiyanghere/status/2119354904590319781
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-11-08 17:02:39
X (formerly Twitter)
太阳 (@taiyanghere) on X
想省算力别找大模型当老师，自己训几个领域专家再合并，能省42%的算力。我看Salesforce这篇新论文挺有意思的，从大型外部教师模型做蒸馏，通常比纯强化学习更费算力，蒸馏出来的模型回复还常常变长。他们是按每单位训练FLOP的留出准确率来对比蒸馏和GRPO的，覆盖了不同任务难度、模型规模和领域，用外部后训练教师时GRPO普遍胜出。把各领域GRPO专家蒸馏进一个学生模型，在数学加代码上能跟联…