H200 上跑 Qwen3.5-35B-A3B,rigtune 测出来的吞吐比原生 vLLM 快 2.26 倍。 这是个开源工具,会在你的 GPU 上自动实测引擎、权重精度、KV cache 和投机采样组合,找出最优配置,再用兼容 OpenAI 的 API 对外服务,本地部署不用改调用方式。 同一套思路下,Qwen3.5-9B 提速至少 1.8 倍,GSM8K 准确率保持稳定。 上手前注意:要 Linux + Python 3.10–3.13 + 算力 7.5 以上的 NVIDIA GPU,首次校准要花 22–56 分钟,适合有卡、想把...

🌐 链接: https://x.com/taiyanghere/status/2124005381664088270
🏷️ 分组: X|太阳(taiyanghere)
🕒 时间: 2026-11-21 13:01:59