iPad Pro 外接显卡跑 Qwen3.8-27B,干到 159 tok/s。 但功劳不在显卡——基线只有 31。 加上 MTP 投机解码到 109,再叠 DFlash2 草稿树,直接 159。 连 Strix Halo 核显都能跑到 64。 本地部署早就不是拼参数量了,拼的是推理栈。同样 27B 的模型,解码栈做得好,口袋里也能跑。
🌐 链接: https://x.com/taiyanghere/status/2108441739862401489
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-10-09 14:17:38
🌐 链接: https://x.com/taiyanghere/status/2108441739862401489
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-10-09 14:17:38