给模型打分的卷子自己先判错了题，我看到这结果真的有点上头。Amazon 审计了 9 个政策类决策基准，像 LegalBench 这种，方法是把参考答案追溯回原始规则、重跑参考程序，再拿受控答案去测评分器，修好一处就把同一批已经保存的模型回答重新打一遍分。最离谱的是 LegalBench 的税务评分器会把小数点删掉，$259,487.13 直接读成 25,948,713，就这么一个小毛病，3 个模型的通过答案数从 8 或 9 个涨到了 87 到 91 个，满分是 96。所以...

🌐 链接: https://x.com/taiyanghere/status/2119617968237576350
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-11-09 10:27:58
X (formerly Twitter)
太阳 (@taiyanghere) on X
给模型打分的卷子自己先判错了题，我看到这结果真的有点上头。Amazon 审计了 9 个政策类决策基准，像 LegalBench 这种，方法是把参考答案追溯回原始规则、重跑参考程序，再拿受控答案去测评分器，修好一处就把同一批已经保存的模型回答重新打一遍分。最离谱的是 LegalBench 的税务评分器会把小数点删掉，$259,487.13 直接读成 25,948,713，就这么一个小毛病，3…