预训练大模型，再通过强化学习 增加推理时计算继续提高能力. 这种结构是不是会导致一步错步步错的窘境： 正确性、格式、偏好评分都可以成为训练信号。 但理解一个模糊问题、发现用户前提错误、判断什么时候该直说，往往更难准确计分。 OpenAI 的强化学习微调文档也明确提醒：模型可能学会获得高分，却没有真正答对。 正确回答问题 却 不能解决问题 。 我已经不是第一次发现GPT把问题润色一遍再还给回来了。 你可以在下图中找出GPT模型吗？ 提问：为什么OpenAI会变成今天这样 从左到右依次是…