长上下文别练一半就停:面壁的新缩放定律外推 R²=0.97,32K 练出的收益能迁到 128K。这数字一出来我第一反应是,以后长上下文训练终于不用全靠玄学试错了。面壁智能给长上下文训练总结出一条经验缩放定律,把 log(LongPPL) 写成模型规模和两类数据量的加性幂律,还配了个 Constant-Last4 监控协议,在单条可扩展训练轨迹上就能稳定跟踪效果,SFT 之后和长上下文、智能体任务里收益也还在。

🌐 链接: https://x.com/taiyanghere/status/2122329899616575851
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-11-16 22:04:13