商汤的 9B 开源模型 SenseNova-Loop-9B 刚上了量化权重:4-bit AWQ 只有 4.9 GB,64K 上下文显存低到 9 GiB,GGUF 格式也能直接跑 llama.cpp。 这次除了 AWQ,还给了 Q4_K_M、Q5_K_M、Q8_0 和 BF16 的 GGUF 格式,配的是商汤自己的 llama.cpp fork,AWQ 那边还带了一个配套的 MTP draft model,两种权重都已经上架 Hugging Face,可以直接试用和反馈。 按商汤自称的口径,9B 参数在多个基准上能和 Qwen3.8-27B 竞争,相比 Preview ...
🌐 链接: https://x.com/taiyanghere/status/2123076991138099648
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-11-18 23:32:54
🌐 链接: https://x.com/taiyanghere/status/2123076991138099648
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-11-18 23:32:54