今天有个搞Infra的小男娘发消息跟我说这是他成年以来最好的秋天这一年他终于找到了做推理优化的工作每天和GPU、Kernel、MoE、KV Cache打交道以前想研究DeepSeek的推理系统，只能对着论文、技术博客和Benchmark，一点点猜他们线上到底是怎么跑的今天DeepSeek突然把DeepInfer开源了分布式推理、推测解码、SWA Bounded Replay，连调度器和高性能算子都放出来了英伟达和华为昇腾都支持，连生产级的Token编解码组件也一起开源过...

今天有个搞Infra的小男娘发消息跟我说这是他成年以来最好的秋天这一年他终于找到了做推理优化的工作每天和GPU、Kernel、MoE、KV Cache打交道以前想研究DeepSeek的推理系统，只能对着论文、技术博客和Benchmark，一点点猜他们线上到底是怎么跑的今天DeepSeek突然把DeepInfer开源了分布式推理、推测解码、SWA Bounded Replay，连调度器和高性能算子都放出来了英伟达和华为昇腾都支持，连生产级的Token编解码组件也一起开源过...

🌐 链接: https://x.com/MaxForAI/status/2112501497674235913
🏷️ 分组: X｜为你推荐
🕒 时间: 2026-10-20 19:09:40

X (formerly Twitter)

Max For AI (@MaxForAI) on X