手机离线跑大模型能到 350 token/s，模型文件才 173MB，我看到这个数字第一反应是不敢信。 淘宝 MNN 团队开源的 MNN-Pocket-0.3B 就是个面向手机应用的轻量模型，约 3 亿参数，重点支持中文和英文。 它在 iPhone 18 Pro 上完全离线跑，峰值内存不到 300MB，iPad Pro M5 上解码能到 466 token/s，是同条件 Qwen3-0.6B 的 1.63 倍，部署体积比 Qwen3-0.6B 少约 49%。 一加 13 上跑 100 次推理只用掉约 0.3% 的电，英文 IFEval 73.20...

🌐 链接: https://x.com/taiyanghere/status/2118659474416402688
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-11-06 18:59:16
X (formerly Twitter)
太阳 (@taiyanghere) on X
手机离线跑大模型能到 350 token/s，模型文件才 173MB，我看到这个数字第一反应是不敢信。
淘宝 MNN 团队开源的 MNN-Pocket-0.3B 就是个面向手机应用的轻量模型，约 3 亿参数，重点支持中文和英文。
它在 iPhone 18 Pro 上完全离线跑，峰值内存不到 300MB，iPad Pro M5 上解码能到 466 token/s，是同条件 Qwen3-0.6…