125B 模型 Q4 量化， xHigh256k 调优峰值 64tps。附部署和调优源码

🌐 链接: https://www.v2ex.com/t/1248208#reply0
🏷️ 分组: V2EX技术
🕒 时间: 2026-10-12 19:58:45
V2EX
125B 模型 Q4 量化， xHigh256k 调优峰值 64tps。附部署和调优源码 - V2EX
Local LLM - @flkaylor19 - Strata windows96G 显存分配 32G RAM修了识图，去拒答配置：q4xs 量化、上下文 256K ，配置如下，96G 显存分配 32GRAM峰值 64.63TPS