最近strata用大内存部署大模型刷屏一个月了。 火的时候是自媒体标题 【12G显存能部署qwen3.8-flash-next】 但是进去一看，全是iq3-s，用32G显存甚至双卡的佬估计敢上iq4。 问题是这样的MoE模型，据我所知是最怕量化的，尤其kv cache量化尤为严重。 就那10几-32G的显存，放得了几个“热"专家和kv cache？ 很多自媒体都是部署起来截图个32k的decode速度就完了， 负责点的再跑个鹈鹕自行车。 但是这能长期稳定使用？还是说部署来聊几句就关。 我…