斯坦福 SNAP 团队刚开源了 Memorilla，给冻结的大模型外挂一个 194M 参数的“压缩记忆”。 思路挺直接：把整套文档压成 16 个 memory token 喂给大模型，编码器和解码器（Qwen3-8B）本身都冻着不动，代码和检查点按 Apache 2.0 开源。 研究团队自报的成绩：FactKG 上 84.33%，比全量上下文的 80.43% 还高，文档 token 少用 108 倍；8 个基准平均 49.68 分拿了最高；NarrativeQA 上 16 个 token 顶了 67,385 个文档 token，压缩 4,2...
🌐 链接: https://x.com/taiyanghere/status/2121590105303290024
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-11-14 21:04:32
🌐 链接: https://x.com/taiyanghere/status/2121590105303290024
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-11-14 21:04:32
X (formerly Twitter)
太阳 (@taiyanghere) on X
斯坦福 SNAP 团队刚开源了 Memorilla，给冻结的大模型外挂一个 194M 参数的“压缩记忆”。
思路挺直接：把整套文档压成 16 个 memory token 喂给大模型，编码器和解码器（Qwen3-8B）本身都冻着不动，代码和检查点按 Apache 2.0 开源。
研究团队自报的成绩：FactKG 上 84.33%，比全量上下文的 80.43% 还高，文档 token 少…
思路挺直接：把整套文档压成 16 个 memory token 喂给大模型，编码器和解码器（Qwen3-8B）本身都冻着不动，代码和检查点按 Apache 2.0 开源。
研究团队自报的成绩：FactKG 上 84.33%，比全量上下文的 80.43% 还高，文档 token 少…
