同样是 MoE 模型,本地跑起来差别能大到哪去:gpt-oss-120b 总共 117B 参数,每次只激活 5.1B,一张 80GB 显卡就能跑。我最近对着 10 款开放 MoE 模型的路由配置一项项看下来,这个反差最让我意外。Llama 4 Maverick 总参数 400B,每次只激活 17B,每个 token 只走 1 个共享专家加 128 个路由专家里的 1 个。DeepSeek-V4-Pro 更夸张,总参数 1.6T,每次只激活 49B,384 个路由专家里每次激活 6 个。专家数从 Mixtral 的 8 个到 Kim...

🌐 链接: https://x.com/taiyanghere/status/2119414759313264777
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-11-08 21:00:30