SGLang 出了个统一内存，把全注意力 KV、滑动窗口 KV 和循环状态塞进同一个显存池子，不用启动时先猜着切分了。 LMSYS 这次推出的 --enable-unified-memory，我看完第一反应是终于有人把这个痛点捅破了。以前混合模型跑起来，得在启动时、还不知道工作负载的情况下，先把显存切给全注意力 KV、滑动窗口 KV 和循环状态各一份，切多了浪费、切少了跑不动。现在所有 token 生命周期共用一个 arena，容量跟着需求动态走，不用再提前设...

🌐 链接: https://x.com/taiyanghere/status/2120718549018620111
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-11-12 11:21:17
X (formerly Twitter)
太阳 (@taiyanghere) on X
SGLang 出了个统一内存，把全注意力 KV、滑动窗口 KV 和循环状态塞进同一个显存池子，不用启动时先猜着切分了。

LMSYS 这次推出的 --enable-unified-memory，我看完第一反应是终于有人把这个痛点捅破了。以前混合模型跑起来，得在启动时、还不知道工作负载的情况下，先把显存切给全注意力 KV、滑动窗口 KV 和循环状态各一份，切多了浪费、切少了跑不动。现在所有…