Qwen3 235B 的 KV 缓存传输，谷歌直接从几秒压到了约 230 毫秒，延迟降了九成以上。 谷歌云刚开源了一个 C++ 库叫 TPU Sync，Apache-2.0 协议。思路挺直接：把 TPU 的 HBM、主机内存、共享存储和数据中心网络当成一层统一内存，用异步 DMA 搬 KV cache 和模型权重，推理时等缓存的时间就这么省下来了。 这是谷歌内部实验室的测试数据（2026 年 7 月，TPU v7x 2x2x1）：235B 平均首词延迟降 60%，480B 低并发下降 90%；流量高峰时 2...

🌐 链接: https://x.com/taiyanghere/status/2121227783225692536
🏷️ 分组: X｜太阳（taiyanghere）
🕒 时间: 2026-11-13 21:04:48
X (formerly Twitter)
太阳 (@taiyanghere) on X
Qwen3 235B 的 KV 缓存传输，谷歌直接从几秒压到了约 230 毫秒，延迟降了九成以上。

谷歌云刚开源了一个 C++ 库叫 TPU Sync，Apache-2.0 协议。思路挺直接：把 TPU 的 HBM、主机内存、共享存储和数据中心网络当成一层统一内存，用异步 DMA 搬 KV cache 和模型权重，推理时等缓存的时间就这么省下来了。

这是谷歌内部实验室的测试数据（202…