一个 4B 小模型，同一份权重能当 4 个档位用，循环越多算力越大，参数一个不加，我一开始真没反应过来。我看的是 NVIDIA 的 Dory 1.0 4B，一共 3.98B 参数，共享循环模块占 1.84B，每个 token 能在里面循环跑 1 到 4 次，72 个层分成输入组 16 个、共享循环组 40 个、输出组 16 个。本地跑只要 3.67 GB 的 Q5_K_M 文件，但得用模型卡指定的 llama.cpp 分支自己构建，上游还是草稿 PR，没有现成二进制能加载。还有个坑，文件头默认...

🌐 链接: https://x.com/taiyanghere/status/2119219028866842709
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-11-08 08:02:44
X (formerly Twitter)
太阳 (@taiyanghere) on X
一个 4B 小模型，同一份权重能当 4 个档位用，循环越多算力越大，参数一个不加，我一开始真没反应过来。我看的是 NVIDIA 的 Dory 1.0 4B，一共 3.98B 参数，共享循环模块占 1.84B，每个 token 能在里面循环跑 1 到 4 次，72 个层分成输入组 16 个、共享循环组 40 个、输出组 16 个。本地跑只要 3.67 GB 的 Q5_K_M 文件，但得用模型…