YC 创业公司 Synthetic Sciences 发了个新基准 FrontierML,专门测 AI 智能体能不能自己做实证 ML 研究:25 道开放式题目,5 个前沿模型测下来,没有一个摸到强结果线。 任务里目标是藏起来的,智能体在 Lab0 拿 12 小时和 H100 GPU,自己设计进度代理、校准可信度,最后在 held-out 评估上打分。作者还点了一点:多数 ML 研究基准会给智能体一个和最终分数高度相关的验证集,但人类研究者手里很少有这个,实证研究的大头就是决定...
🌐 链接: https://x.com/taiyanghere/status/2123314936017244223
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-11-19 15:18:24
🌐 链接: https://x.com/taiyanghere/status/2123314936017244223
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-11-19 15:18:24