用cot长度堆出来的智力，需要更高的tps才能维持使用体验

🌐 链接: https://linux.do/t/topic/3033258
🏷️ 分组: LinuxDo论坛
🕒 时间: 2026-10-16 16:43:31
LINUX DO
用cot长度堆出来的智力，需要更高的tps才能维持使用体验
试了下在5060 8g上跑 Swift-Bonsai-2-GGUF 1bit 量化。 二三十的tps搭配巨长的思维链，流口水的Qwen3.5-9B Q4_K_M 两三分钟干完的活（50tps左右），它干了快二十分钟。。。